Искусственный интеллект в BI: конец профессии аналитика или новая специализация?
Сегодня технологии искусственного интеллекта получают большое распространение во всех областях, даже в самых неожиданных. И хотя в сфере бизнес-анализа (BI) нейросети используется давно, с появлением GPT-технологий ИИ в BI переживает второе рождение. Об особенностях применения машинного обучения в аналитике рассказывает Иван Вахмянин, управляющий партнер и сооснователь компании Visiology.
Искусственный интеллект — одна из наиболее перспективных и при этом наиболее маркетинговых сфер развития ИТ. С одной стороны, именно машинное обучение позволяет оптимизировать многие рутинные задачи. Но с другой — отсылка к ИИ очень часто помогает продавать тот или иной продукт, хотя реального преимущества от него никакого нет. В истории Business Intelligence есть немало примеров, когда преимущества ИИ-технологий не оправдывали ожиданий, сформированных маркетологами.
AutoML: автоматический поиск зависимостей, трендов и отклонений в данных
За последние 10 лет практически все ведущие вендоры BI внедрили в свои продукты функциональность AutoML. С ее помощью можно получить автоматический анализ зависимостей в загруженном датасете. Пользователю нужно только выбрать целевой параметр (столбец), и система автоматически прогонит все наиболее часто используемые статистические модели (различные виды регрессий, случайный лес и другие) на его данных и выдаст результат. Это полезная функция, способная в некоторых случаях помочь аналитику, но у нее есть ряд ограничений. Во-первых, нужен очень чистый датасет с качественными данными (иначе будет garbage in — garbage out), а во-вторых, аналитик все равно должен хорошо знать статистический анализ, чтобы иметь возможность правильно интерпретировать и верифицировать результат. Также важна возможность подстройки полученной модели вручную, а не только работа в режиме «черного ящика».
К сожалению, эта полезная, но вспомогательная функция со многими ограничениями подавалась маркетологами многих вендоров как волшебная таблетка для всех проблем аналитики, а иногда даже и как полная замена BI-аналитика. Одним из показательных кейсов можно считать IBM Watson Analytics. После того как суперкомпьютер Watson триумфально победил в игре Jeopardy! (российский аналог — «Своя игра»), корпорация представила свою аналитическую систему, которая, как заявлялось, может сделать выводы из набора данных вообще без участия аналитика. У проекта была красивая презентация, его даже где-то пытались использовать, но практика показала, что результаты анализа либо бесполезны, либо очевидны — например, ИИ мог сообщить, что вероятность продления контракта выше у тех, кто дольше работает с компанией, или спрогнозировать бóльшую прибыль от более крупных клиентов. А чтобы найти хотя бы какой-нибудь реальный инсайт для бизнеса, все равно потребовалось участие профессиональных датасайентистов и аналитиков, которые фактически по-прежнему выполняют ключевую часть работы. Количество пользователей и продажи системы оказались, по-видимому, провальными. Именно поэтому в итоге компания IBM завела свою классическую BI-систему Cognos под зонтичный бренд IBM Watson Analytics, и теперь IBM Watson представляет собой обычную BI-платформу, с приятным дополнением в виде вспомогательного ИИ-инструмента — например, так же, как и у Power BI или Qlik.
NLQ: общение с BI-системой на естественном языке
Еще одно применение искусственного интеллекта, которое позволяет снизить нагрузку на аналитиков и ускорить принятие BI-системы в компании, относится к обработке аналитических запросов на естественном языке. Эту функцию также уже внедрили все ведущие разработчики BI-платформ. Технологии Natural Language Query (NLQ) позволяют упростить формулирование запросов для пользователей. В идеале это должно позволить руководители задать вопрос: «Покажи, у каких филиалов нашей сети в прошлом году был рост меньше 15%?» и получить ответ в удобной ему форме — в виде графика, отчета или дашборда.
Верхний уровень этой задачи решается практически без искусственного интеллекта — формирование визуализации на базе уже существующей модели и витрин происходит на уровне фильтраций и группировок — мы, кстати, уже несколько лет назад реализовали их в ViTalk, которым пользуется топ-менеджмент ряда крупнейших заказчиков Visiology.
Но что делать, если мы имеем дело с принципиально новым запросом? Если требуется определенное преобразование данных? Формирование новых витрин и представлений? Эти задачи были практически не решаемы до появления развитых моделей категории GPT. С 22 ноября 2022 года начались активные изыскания в этой сфере, и сегодня мы имеем готовые решения в рамках всех популярных платформ.
Больше всего из зарубежных вендоров BI в этом направлении продвинулась компания Microsoft. В Power BI был добавлен функционал MS Copilot. В своей демонстрации компания Microsoft показала возможность генерации целого дашборда на базе одного текстового запроса. Конечно, он будет содержать определенные неточности, его потребуется подкорректировать — уточнив запрос или уже стандартными методами работы с дашбордом, — но времени на подобные задачи уйдет значительно меньше, чем на создание дашборда с нуля. Витрины будут предварительно подготовлены, примерные выкладки на языке DAX — написаны.
После первых экспериментов с GPT-технологиями мы поняли, что это направление имеет очень хорошие перспективы. Именно поэтому еще до появления интеграции Power BI и Copilot мы в Visiology занялись активной разработкой собственного GPT-бота, который сегодня позволяет генерировать аналитические формулы для русскоязычных пользователей. И уже первая оценка эффективности работы с ViTalk GPT показала экономию времени аналитиков как минимум на 20%.
Кстати, секрет успеха ViTalk GPT лежит в той же самой плоскости, что и Microsoft Power BI. Дело в том, что Visiology использует синтаксис аналитических запросов, совместимый с Microsoft DAX, а огромное количество материалов, примеров, кейсов и лучших практик по DAX, открыто доступных в Интернете, позволяет очень качественно обучить языковую модель и получать отличные результаты. Из-за специфики работы языковых моделей GPT для любого вендора, который использует собственный язык запросов, не имеющий такого же масштабного применения, как DAX, создать аналогичного бота будет намного сложнее, а качество его ответов будет на порядок хуже.
Более того, генерация DAX с учетом возможностей Visiology стала стимулом для того, чтобы пользователи применяли и вторую часть функциональности ViTalk GPT — помощь в написании скриптов для извлечения и преобразования данных (ETL) на языке Python. Например, для получения работающего скрипта интеграции достаточно просто написать: «Подготовь скрипт для выгрузки данных из «Яндекс.Метрики» и загрузки их в Postgres». В этом вопросе на стороне пользователей также играет огромная база доступных примеров и накопленного опыта.
Так исчезнет ли профессия аналитика?
Мы в Visiology убеждены, что ИИ из семейства GPT не заменит аналитиков в обозримой перспективе. Но уже сейчас аналитик, применяющий такие технологии в ежедневной работе, получает огромное преимущество в плане карьерного роста. Любой работодатель выберет того специалиста, который максимум своего ресурса направляет на решение бизнес-задач, а рутинные процессы умеет автоматизировать с помощью легкодоступных сегодня технологий ИИ.
На своем примере мы видим, что нагрузка на чат-бота растет в геометрической прогрессии, потому что генерировать запросы с учетом реальных переменных, уже продуманной модели данных намного эффективнее, чем искать примеры в Интернете и переделывать их под свои задачи. Что интересно, пользуются ViTalk GPT не только клиенты Visiology, но и специалисты по Power BI и даже других BI-платформ. Последние активно применяют его для создания интеграций на Python, де-факто ставшего стандартом в области ETL.
По мере перехода на Visiology 3, которая стремительно расширяет функциональные возможности и получает распространение в крупных корпоративных проектах, мы ожидаем, что частота применения ИИ и чат-бота ViTalk GPT будет достигать 100% проектов. И это логично, ведь новая технология позволяет экономить время аналитиков, а также быстрее получать нужные бизнесу результаты.
Опубликовано 02.08.2023
