ИИ для прогнозирования: как был разработан подход для предсказаний в разных сферах
Новости рынка, редакционные обзоры, экспертные материалы и выпуски изданий. Выберите формат, который удобен вам.
Одновременное развитие искусственного интеллекта и инструментов обработки больших данных позволило повысить эффективность прогнозирования в самых разных сферах — от розничной торговли до промышленности. Теперь прогнозы учитывают сотни разных факторов, а результат стал более надежным и точным. Мы в Rubbles были одними из пионеров таких разработок.
Контекст и вызов
В современном мире большие корпорации генерируют терабайты данных о своем бизнесе. При этом для крупных компаний самых разных секторов все более важной задачей становится прогнозирование на основе этих больших данных.
Раньше большинство прогнозов делалось эконометрическими методами — например, в ретейле анализировали продажи каждого отдельного товара в прошлом и использовали эти данные для прогноза на будущее. При этом довольно давно стало понятно, что такие аналитические подходы не справляются с извлечением всей ценной информации из большого количества данных, которые теперь собирают крупные компании. Еще одно ограничение возможностей прогнозирования до некоторых пор было связано с мощностями обработки данных: в том же ретейле они позволяли анализировать информацию по одному предприятию или магазину, но не годились для анализа данных из тысяч и десятков тысяч мест.
Необходим был подход, сочетающий точность предсказаний и промышленную масштабируемость — такой метод, который мог бы учитывать десятки разных факторов и их взаимное влияние друг на друга. Возможности для разработки нового метода накопились к 2017 — 2018 году — таким новым подходом стало построение ИИ-алгоритмов для прогнозирования. Тогда мы решили создать собственный инструмент, помогающий делать прогнозы и принимать решения на основе ИИ и анализа больших данных. Здесь мне помогли собственные наработки, сделанные несколькими годами ранее.
Именно в тот момент сошлись три важных пункта. Во-первых, многие компании к тому времени уже стали собирать огромное количество разных данных. Во-вторых, технологии ИИ развились настолько, что можно было на должном уровне работать с этими данными. И в-третьих, появились инструменты и технологии, позволяющие использовать большие объёмы данных для обучения моделей, которые могут делать прогнозы на основании этой информации.
Важность такого метода прогнозирования с использованием ИИ состоит, в частности, в том, что его можно применять в самых разных сферах, внося лишь небольшие изменения. С точки зрения алгоритмов и машинного обучения разные предметные области не слишком отличаются друг от друга. Ретейлерам нужно прогнозировать продажи товаров в магазинах, промышленным предприятиям — поломки оборудования или эффективность тех или иных производственных решений, а банкам — финансовое поведение клиентов. С технологической точки зрения это похожие задачи, решение которых сочетает два фактора: большие объемы данных и сходные алгоритмы ИИ для работы с ними. На практике алгоритмы все же приходится адаптировать под задачи конкретных компаний и их данные, но это именно доработка, а не создание системы с нуля.
Суть подхода
Раньше в основном использовались подходы, основывающиеся на эконометрических моделях: отдельно делались прогнозы для временных рядов продаж или других данных. Например, в случае ретейла это выглядело так: оценивали продажи товара в прошлом и на основании этого делали прогноз. В итоге такой анализ недостаточно точно учитывал десятки дополнительных факторов, воздействующих на конечный результат: влияние на продажи похожих товаров, эффективность промоакций, погоды и многие другие.
Для повышения качества прогнозирования мы использовали технологии машинного обучения, а именно градиентный бустинг над деревьями решений. Существуют разные методы машинного обучения — сейчас больше всего на слуху нейронные сети, но для наших задач они не подходили. Мы выбрали именно градиентный бустинг над деревьями решений, потому что этот метод хорошо подходит для анализа разно-структурированных данных. Это связано с необходимостью анализировать очень разные данные, исчисляемые в разных единицах: например, в случае с ретейлерами это продажи в рублях, погода в определенный день в градусах Цельсия и т.д. Если говорить о конкретных практических реализациях, то мы использовали решения с открытым кодом, такие как CatBoost и LightGBM.
Вторым важным моментом наряду с разработкой нового метода была работа с большими данными. Чтобы созданные нами алгоритмы работали и приносили ценность бизнесу, они должны обучаться на большом объеме данных. Поэтому очень важно, что к тому времени сложилась инфраструктура работы с большими данными: было оборудование для работы с ними, появились кластеры больших данных, ПО для того, чтобы обрабатывать эти данные и строить поверх них какие-то модели. Мы в нашей работе использовали платформы для распределенного хранения и обработки данных Spark и Hadoop.
Для обучения алгоритма прогнозирования каждый момент времени в истории используется для формирования отдельных объектов для обучения — точек для обучения. Также для каждого момента времени в прошлом, про который у нас есть информация, формируется набор параметров-признаков — в реальной практике используют сотни или даже тысячи признаков для описания объектов. И дальше алгоритм учится на их массиве, то есть автоматически выявляет существующие в исторических данных закономерности и взаимосвязи.
Практическая реализация
В итоге были построены масштабируемые пайплайны обработки и обучения моделей, которые можно было применять для решения разных задач. Наш подход применяется клиентами из разных отраслей — крупными банками, ретейлерами, сетями кафе быстрого питания, промышленными компаниями. Такой метод прогнозирования помогает большим компаниям оптимизировать свои бизнес-процессы.
Подход доказал эффективность на реальных задачах предсказания спроса, планирования промоакций, предсказания оттока клиентов в розничных банках, прогнозирования поломок в производстве и т.д. В случае с ретейлом наша модель учится на огромных массивах исторических данных и в итоге может прогнозировать, как разные товары будут взаимодействовать друг с другом (способствовать продажам или наоборот каннибализировать друг друга), и как их продажи зависят от других условий.
Помимо общего повышения точности прогнозирования, такой подход дает очень высокую детализацию: в случае ретейла можно отслеживать продажи товара или состояние оборудования по часам в течение дня, а не несколько раз в неделю, как раньше. Кроме того, сокращается риск человеческих ошибок: прогноз становится более точным и прозрачным, при этом эксперты на основании ИИ-анализа делают собственные выводы и в случае необходимости могут корректировать машинный прогноз.
Особенно актуально применение такого метода прогнозирования для крупных корпораций. Это связано с тем, что они собирают огромные массивы данных, на которых может учиться модель. Кроме того, именно в их случае происходит существенная экономия за счет масштаба: повышение эффективности бизнес-процессов на пару процентов благодаря применению ИИ и машинного обучения дает экономию миллионов и миллиардов рублей.
Разные компании, использующие этот метод прогнозирования, отмечают конкретное повышение эффективности. Например, один из ретейлеров за счет этого смог сократить торговые запасы на 15%, а списания — на 10%. Разные компании сообщают, что точность прогнозов повысилась до 20%, прибыльность промоакций (ROI) — до 10%, а валовая прибыль — до 1% (что довольно существенно в случае с крупными корпорациями). Промышленные компании, применяющие такой инструмент прогнозирования, также сообщали о сокращении времени простоя оборудования и снижении себестоимости продуктов.
Выводы и перспективы
Разработанный нами метод прогнозирования с использованием ИИ и больших данных стал первым решением такого масштаба в России. Сейчас такое прогнозирование стало нормой для рынка: топ-10 ретейлеров и FMCG-компаний в России используют эти подходы для решения своих задач.
Интеграция машинного обучения и инструментов больших данных — ключ к практическому применению ИИ. Это касается развития ИИ в самых разных сферах и для самых разных задач, во всех случаях важны прежде всего два фактора: с одной стороны, продвинутые алгоритмы машинного обучения, с другой — огромные массивы данных, на которых они могут обучаться. Это верно для всего рынка ИИ-инструментов: от алгоритмов, которые генерируют изображения после того, как их научили на миллиардах картинок, до алгоритмов, прогнозирующих спрос после обучения на огромном количестве данных.
Перспективы дальнейшего развития таких инструментов связаны в первую очередь с тем, чтобы использовать более легковесные алгоритмы, которые требуют меньше вычислительных мощностей. Уже сейчас очевидно, что есть большой потенциал с точки зрения экономии — есть возможность сохранять высокое качество прогнозирования и другой работы с ИИ при использовании алгоритмов, которые будут более простыми с точки зрения вычислений, но не менее мощными с точки зрения качества. Это большой тренд, который позволит снизить и расходы на разработку, и затраты на вычислительные мощности.
Опубликовано 20.12.2023
