Проблемы и особенности российского BI-рынка: аспекты внедрения
(Продолжение. Начало в IT News № 6/2023)
Очевидно, что за последние несколько лет они претерпели определенные изменения. Современные технологии обработки данных существенно продвинулись в своем развитии, а ИИ, нейросети и Big Data все чаще находят место в реальных проектах. Безусловно, не обходится и без проблем. Во-первых, отмечаются сложности с целеполаганием: заказчики не всегда понимают, что именно они хотят получить, либо хотят то, что рынок на данный момент предложить им не в состоянии, по крайней мере за те деньги, которые они готовы вкладывать. После того, как заказчик определится с целями, можно переходить к другим аспектам внедрения. Во-вторых, это комплекс проблем, связанных с огромной по масштабам вынужденной миграцией с привычных зарубежных решений на имеющие свою специфику российские, которая к тому же происходит на фоне меняющихся (в глобальном смысле) подходов к работе с данными в принципе. В-третьих, вопросы доверия недавно появившимся на рынке продуктам и новым технологиям обработки данных. Все это мы в подробностях обсудили с экспертами российского BI-рынка.
Аспекты внедрения
Генеральный директор Visiology Алексей НИКИТИН подчеркивает, что при внедрении BI-платформы непосредственно под задачи бизнеса, как правило, уже в первые месяцы отмечается ощутимый эффект. Таким образом, главное, на что следует обратить внимание, — формирование понимания пользы BI и культура управления на основе данных. К тому же стоит учитывать, что BI не может сделать ничего без исходных данных. А это означает, что при внедрении с нуля нужно создать их хранилище.
Как поясняет г-н Никитин, подавляющее большинство российских BI-платформ требуют наличия внешнего DWH (DataWarehouse) и тщательной настройки источников данных. В свою очередь, создание такого комплекса требует особых компетенций и нередко увеличивает длительность развертывания BI-систем на срок от нескольких месяцев до полугода, причем с привлечением интегратора. Соответственно, растет и цена проекта. Поэтому многие заказчики Visiology одним из плюсов этой платформы отмечают возможность работать со встроенным оптимизированным хранилищем.
По мнению г-на Никитина, также нужно учитывать, что на базе любой платформы можно сделать любую визуализацию. Но для разных платформ объем трудозатрат для решения одной и той же задачи будет отличаться: очень часто красивые референсы связаны с большим объемом кастомной разработки, которая, во-первых, тяжело поддерживается, а во-вторых — не будет переноситься на новые задачи, резюмирует он.
Исполнительный директор Modus BI («БиАй Про») Кирилл КУЗНЕЦОВ напоминает, что есть продукты класса oversize, а есть узкоспециализированные решения. Кроме того, можно отдельно пользоваться BI, отдельно – ETL. В любом случае, прежде чем сделать окончательный выбор в пользу того или иного продукта, нужно обратить внимание на проекты, которые уже реализовали выбранный вендор и его партнеры, и уже тогда принимать решение.
Заместитель директора департамента системных программных решений компании «Айтеко» Евгения ЧЕПКОВА полагает, что, во-первых, необходимо определить цели и задачи внедрения BI-инструментов. С переходом на отечественное и свободное ПО влияние этого фактора значительно увеличилось: не все вновь внедряемые продукты, на которые переходят заказчики, могут похвастать универсальностью и покрытием всего того объема функциональности, который называется «современный BI». Поэтому пользователям приходится тщательно анализировать, что именно они ожидают от внедрения и имеет тот или иной инструмент необходимый функционал. Во-вторых, нужно обратить особое внимание на подготовку данных, так как их качество и доступность остаются ключевыми параметрами при выборе BI-инструментов. В-третьих, не менее важно наличие драйвера внедрения со стороны заказчика, то есть человека, способного контролировать и продвигать (последнее наиболее важно) процесс внедрения BI в компании. Вовлеченность такого сотрудника в процесс кратно повышает вероятность успешного внедрения и дальнейшего развития BI-системы в компании-заказчике, уверена г-жа Чепкова. Четвертый фактор – повышение уровня вовлеченности конечных пользователей системы: наличие обратной связи в процессе внедрения сглаживает переход в режим промышленной эксплуатации и попутно решает вопросы обучения, развития и поддержки системы. В-пятых, не стоит забывать, что внедрением BI-инструмента процесс развития BI-системы не заканчивается. Затраты на поддержку и развитие системы необходимо учитывать как при выборе BI-инструмента, так и при проектировании процесса внедрения, а наличие дорожной карты позволит гибко реагировать на влияние внешних факторов во время внедрения. И последнее в списке г-жи Чепковой, но не последнее по значению: наличие у интегратора опытной проектной команды, знакомой со спецификой отрасли и решаемыми задачами, которые были определены в первом пункте.
Руководитель центра компетенции департамента аналитических решений ГК «КОРУС Консалтинг» Максим РАСТЕРЯЕВ отмечает, что практически все отечественные продукты работают на *nix системах и дают возможность кастомной доработки, поэтому проекты внедрения становятся более похожи на заказную разработку, чем на настройку системы силами консультантов, как это было с международными системами. При этом в новых решениях используются общеизвестные языки, такие как SQL, JavaScript React. Это упрощает работу, поскольку таких специалистов на рынке больше, чем узкоспециализированных консультантов, которые хорошо знают, к примеру, Qlik, поясняет г-н Растеряев.
Руководитель департамента по работе с партнерами компании «Форсайт» Александр СТУРОВ подчеркивает, что в целом сегодня выбор заказчиков очень часто определяется именно возможностями системы по работе с источниками данных. Также при выборе интегратора необходимо учитывать наличие опыта в области работы и с текущими аналитическими системами, и с российскими BI – это гарантия, что все технические вопросы будут решены максимально корректно и оперативно.
Директор по маркетингу компании «Полиматика» Наталья ЯШЕНКОВА говорит, что у каждого из подходов свои преимущества, но вариант с коробочным решением выглядит более перспективным в долгосрочной перспективе – это подтверждают сами вендоры, которые в дополнение к исторически возникшему второму варианту (системы по индивидуальному заказу) начали разработку self-service-конструкторов. Важно, чтобы продукт использовал принципы открытости и совместимости – возможности добавления собственных компонентов, если функционала «из коробки» недостаточно, и обеспечивал простое встраивание в комплексные проекты.
Директор по развитию направления систем автоматизации компании WSS & Technologies Мурат ГЕЛЬДЫЕВ уверен, что наиболее важно раскрыть, для чего в целом компании нужна система BI. Согласно его опыту, чаще всего это желание в доступной и оперативной форме получать ценные наглядные данные для возможности принятия решений, их сравнения с прошлыми показателями. Однако здесь вновь возникает известная проблема, а иными словами – столкновение ожиданий с реальностью. «Например, у компании имеется ERP, но часть отделов продолжают успешно хранить/обмениваться/принимать решения и в целом работать с Excel и WhatsApp. Как быть? Мы – сторонники упорядочивания и систематизации, но в то же время противники навязывания. Например, как директора этой компании убедить, чтобы он свои задачи отражал в ERP, а не по привычке в WhatsApp и к тому же не требовал отчетов в Excel с желто-красно выделенными полями, потому как ему удобно в таком виде? В итоге самые прилежные сотрудники работают в ERP, а самые приближенные к директору – в Excel. Как в этом случае внедрить BI, когда клиент желает увидеть всё в одном месте, да и еще в любое время? Мы предложили систематизировать и чуть изменить привычный распорядок в рабочих процессах. К примеру, часть команды продолжает пользоваться мессенджером, но теперь мессенджер синхронизирован с CRM. В итоге все данные хранятся в MDM (Master Data Management, управление основными данными), а структурированные данные попадают в BI. Это системный подход, без навязывания и без сильного вмешательства в принятую культуру в компании», – рассказывает г-н Гельдыев.
Подходы к данным
Алексей НИКИТИН (Visiology) выделяет несколько наметившихся тенденций. Во-первых, использование мета-языков: большинство российских BI-платформ выполняют запросы на уровне хранилища данных. При этом мета-языки, такие как DAX, позволяют ускорить выполнение аналитических задач и предложить больше инструментов аналитикам. Во-вторых, развитие self-service — по аналогии с западными платформами сегодня российские BI-системы постепенно наращивают возможности самообслуживания, предоставляя инструменты для работы аналитика без программирования. В-третьих, использование ИИ — несмотря на то, что основные аналитические задачи на сегодня остаются в ведении человека, искусственный интеллект уже помогает решать задачи в области обработки данных и подготовки новых моделей.
Директор департамента управления данными и бизнес-аналитики компании OCS Distribution Андрей СМЕРЕЧУК отмечает, что те, кто внедряет масштабную аналитику на уровне всей компании, сталкиваются с острой необходимость радикального повышения качества данных для работы и этот процесс естественным образом выступает драйвером в развитии работы с данными.
Кирилл КУЗНЕЦОВ (Modus BI) считает, что BI-инструменты растут в двух направлениях: или это универсальный большой продукт, или система, решающая локальные задачи с точки зрения управления данными. Есть продукты, которые имеют у себя «под капотом» BI, ETL и DWH, но специализируются в одной нише – ретейле, маркетинге, HoReCa и других (в частности, Roistat). Или, например, компании, которые анализирует трафик и платежные данные торговых центров, устанавливают счетчики посетителей и добавляют информацию о продажах – на выходе торговые центры получают достаточно неплохую аналитику.
Руководитель отдела развития BI-платформы Insight компании Goodt (ГК «ЛАНИТ») Дмитрий МЕРКЕР напоминает, что слишком многие в 2022 году столкнулись с ситуацией, когда многолетние огромные наработки оказалось невозможно переиспользовать, поскольку весь стек обработки и хранения данных был проприетарным. Это травматичный опыт, и мало кому хочется убедиться в этом еще раз. С другой стороны, г-н Меркер уверен, что данный тренд – часть другого: BI выходит из статуса обособленной территории, на которую допускают только строго отобранных специалистов, и становится частью бизнес-процессов. Чтобы это случилось, нужно иметь возможность готовить и переиспользовать данные на различных уровнях корпоративных систем без необходимости деления на BI и не BI. Так и только так рождается общая экспертная экосистема и общее информационное поле, и проприетарный подход в этом контексте кажется довольно архаичным, подчеркивает он.
Евгения ЧЕПКОВА («Айтеко») отмечает, что все чаще фиксируются переходы на open-source- и самостоятельно разрабатываемые решения. В то же время широко распространяемые BI-инструменты от грандов мирового рынка приучили пользователей к хорошему. При переходе на отечественные и open-source-продукты заказчики требуют функционал современной BI-системы по умолчанию, чего пока отечественные решения предоставить не могут. Это осложняет процессы продажи и внедрения. Г-жа Чепкова также отмечает, что использование ИИ из фишки превращается в рутинный рабочий инструмент: речь идет об анализе временных рядов, выявлении паттернов, кластеризации, работе на естественном языке (в том числе голосом) и анализе потокового видео. Кроме того, заметно усиление внимания к self-service-аналитике: отныне даже при построении систем фиксированной отчетности пользователи все чаще требуют элементы self-service.
Максим РАСТЕРЯЕВ (ГК «КОРУС Консалтинг») считает, что на изменение подходов к работе с данными больше всего влияет то, что с каждым годом данных у бизнеса становится все больше и больше и компаниям нужно оперативно искать новые технологии и способы обработки BigData. При этом визуализация и представление данных особо не меняются – подходы используются все те же, отмечает он.
Александр СТУРОВ («Форсайт») полагает, что с началом периода активного импортозамещения крупные заказчики осознали потребность в решениях на единой платформе. Согласно наблюдениям специалистов компании, многие заказчики сегодня ставят целью перейти от набора решений иностранных вендоров и open-source к внедрению платформенной модели от российского поставщика – то есть создать полноценное ядро для всех уровней аналитической деятельности.
Наталья ЯШЕНКОВА («Полиматика») отмечает растущие требования пользователей: они хотят работать не только с агрегированными данными, но и данными на исходном уровне детализации – для того, чтобы понимать причины отклонения, например, при проведении план-фактного анализа. Поэтому возможность «проваливания в детализацию» сейчас очень актуальна. Другой инструмент, продолжающий в своем роде тему ориентации на бизнес-пользователя, – Auto ML. Как говорит г-жа Яшенкова, демократизация машинного обучения достигла такого уровня, что нет необходимости погружаться в тонкости разных алгоритмов – можно запустить Auto ML и получить модель-чемпионку, которая лучше всего подходит для решения конкретной практической задачи, будь то предсказание оттока или определение мошеннических действий. Такой подход требует больше аппаратных ресурсов, но открывает мир Data Science предметникам – людям, которые хорошо разбираются в своем вопросе.
Нейросетевой ажиотаж
Новые технологии, в том числе ИИ и нейросети, конечно, не панацея, благодаря которой будут решены все прикладные вопросы бизнес-анализа. Как у любых технологий, у них свои плюсы и минусы. Одна из основных проблем – можно ли в принципе доверять результатам работы ИИ-инструментария и нейросетям на данном этапе их развития?
По словам Алексея НИКИТИНА (Visiology), его компания первой в России запустила сервис генерации запросов для ETL (загрузка данных) и DAX (аналитические запросы) через чат-бота. Задавая вопрос простым, естественным языком, пользователь на выходе получает готовый фрагмент кода, который можно с минимальной ревизией и коррекцией вставить в нужное окно. Сервис ViTalk GPT сейчас в стадии бета-тестирования, но уже показывает отличные результаты – экономия времени аналитиков порядка 20%. По мнению г-на Никитина, это именно та сфера, в которой ИИ прекрасно дополняет возможности BI-платформ.
Андрей СМЕРЕЧУК (OCS Distribution) убежден, что масштаб происходящей на наших глазах трансформации еще только предстоит оценить. Но в то же время ключевая проблема такого подхода, помимо вопросов безопасности, – невозможность проверить, как получился результат. Нередко ИИ очень правдоподобно выдумывает ответ – так называемые галлюцинации ИИ, отмечает г-н Смеречук.
Кирилл КУЗНЕЦОВ (Modus BI) считает, что нейросети могут выступить фактически в роли инструмента ETL: поскольку, например, тот же ChatGPT настроен на обработку текста, он может работать с синонимами, дублями, категоризировать и очищать данные. Однако г-н Кузнецов призывает не забывать, что данные, как правило, часто меняются, а любая нейросеть обучается на специализированных датасетах, при замене которых должна переучиваться, – и здесь необходимо сопровождение со стороны обучающего персонала и вендора, уверен он.
Евгения ЧЕПКОВА («Айтеко») перечисляет лишь некоторые практические кейсы: категоризация и кластеризация данных; анализ временных рядов для выявления трендов развития; выявление паттернов в данных, что особенно активно используется при проектировании маркетинговых акций и выявлении подозрительных (мошеннических) действий; обработка естественного языка при взаимодействии с пользователями; анализ потокового видео и цифровое зрение; анализ эмоциональной окраски; рекомендательные системы. Это позволяет получить определенные преимущества от использования этих технологий: 1) расширить круг задач, решаемых бизнес-анализом; 2) упростить работу пользователей за счет исключения рутины, анализа большого количества данных, перехода на естественный язык, в том числе в его голосовом представлении; 3) получить скрытые данные, невозможные для выявления другими способами.
Несмотря на это, по-прежнему остаются нерешенными следующие проблемы. Во-первых, рационализация и объяснение результатов работы ИИ. Именно поэтому до сих пор на последней миле обработке информации остается человек – он принимает решение о правильности решений, предложенных ИИ. Во-вторых, качество данных, ведь недостаточные, ошибочные, неправильно выбранные данные приводят к ненадежным результатам. В-третьих, построенные прогностические модели становятся бесполезными в условиях сильно меняющихся влияющих факторов, подчеркивает г-жа Чепкова.
Максим РАСТЕРЯЕВ (ГК «КОРУС Консалтинг») говорит, что это новая область для нашего рынка и бизнес пока только присматривается к ней. Однако через несколько лет компании распробуют этот инструмент и он займет свое место в аналитике данных, добавляет он.
Наталья ЯШЕНКОВА («Полиматика») отмечает, что есть сложившиеся направления применения ИИ для анализа клиентских данных, создания цифрового двойника на производстве, оценки рисков и различных скорингов для финансовой сферы. «Для того чтобы понять, можно ли доверять данным, полученным с помощью машинного обучения, используется ряд инструментов. На начальном этапе, когда модель построена, метрики на валидационной выборке хорошие, но хочется убедиться в ее логичности, используются методы интерпретации. Например, у нас в “коробке” есть PD, SHAP, ICE, LIME – они позволяют понять, как работает модель, исходя из получаемых результатов», – рассказывает г-жа Яшенкова. При этом в долгосрочной перспективе важно отслеживать качество моделей, так как со временем из-за изменений данных на входе меняется и результативность. Поэтому работа с моделью не должна заканчиваться ее внедрением в эксплуатацию – нужно обеспечить мониторинг и вовремя переобучать или производить замену модели, резюмирует она.
(Продолжение следует)
Опубликовано 21.07.2023