Проблемы и особенности российского BI-рынка: аспекты внедрения

Логотип компании
Проблемы и особенности российского BI-рынка: аспекты внедрения
В продолжение разговора о рынке российских BI-платформ сегодня обратим особое внимание на важные аспекты внедрения систем бизнес-аналитики – как с нуля, так и в рамках переходного процесса с одной системы на другую. Кроме того, затронем тему новых технологий и подходов к работе с данными.

(Продолжение. Начало в IT News № 6/2023)


Очевидно, что за последние несколько лет они претерпели определенные изменения. Современные технологии обработки данных существенно продвинулись в своем развитии, а ИИ, нейросети и Big Data все чаще находят место в реальных проектах. Безусловно, не обходится и без проблем. Во-первых, отмечаются сложности с целеполаганием: заказчики не всегда понимают, что именно они хотят получить, либо хотят то, что рынок на данный момент предложить им не в состоянии, по крайней мере за те деньги, которые они готовы вкладывать. После того, как заказчик определится с целями, можно переходить к другим аспектам внедрения. Во-вторых, это комплекс проблем, связанных с огромной по масштабам вынужденной миграцией с привычных зарубежных решений на имеющие свою специфику российские, которая к тому же происходит на фоне меняющихся (в глобальном смысле) подходов к работе с данными в принципе. В-третьих, вопросы доверия недавно появившимся на рынке продуктам и новым технологиям обработки данных. Все это мы в подробностях обсудили с экспертами российского BI-рынка.

 

Аспекты внедрения

 

Алексей НИКИТИН (Visiology):

Алексей НИКИТИН (Visiology):

«Внедрение BI тесно связано с бизнес-процессами компании. Сама по себе BI-платформа не может принести какую-то ценность, если бизнес не способен ее использовать».

Генеральный директор Visiology Алексей НИКИТИН подчеркивает, что при внедрении BI-платформы непосредственно под задачи бизнеса, как правило, уже в первые месяцы отмечается ощутимый эффект. Таким образом, главное, на что следует обратить внимание, — формирование понимания пользы BI и культура управления на основе данных. К тому же стоит учитывать, что BI не может сделать ничего без исходных данных. А это означает, что при внедрении с нуля нужно создать их хранилище.

Как поясняет г-н Никитин, подавляющее большинство российских BI-платформ требуют наличия внешнего DWH (DataWarehouse) и тщательной настройки источников данных. В свою очередь, создание такого комплекса требует особых компетенций и нередко увеличивает длительность развертывания BI-систем на срок от нескольких месяцев до полугода, причем с привлечением интегратора. Соответственно, растет и цена проекта. Поэтому многие заказчики Visiology одним из плюсов этой платформы отмечают возможность работать со встроенным оптимизированным хранилищем.

По мнению г-на Никитина, также нужно учитывать, что на базе любой платформы можно сделать любую визуализацию. Но для разных платформ объем трудозатрат для решения одной и той же задачи будет отличаться: очень часто красивые референсы связаны с большим объемом кастомной разработки, которая, во-первых, тяжело поддерживается, а во-вторых — не будет переноситься на новые задачи, резюмирует он.

Андрей СМЕРЕЧУК (OCS Distribution):

Андрей СМЕРЕЧУК (OCS Distribution):

«В первую очередь нужно обращать внимание на зрелость платформы: всё, что разработчики обещают, должно уже быть реализовано в системе, хотя бы частично. Слишком часто наши производители, к сожалению, вводят пользователей в заблуждение планируемым функционалом, который на практике так и не появляется».

Кирилл КУЗНЕЦОВ (Modus BI):

Кирилл КУЗНЕЦОВ (Modus BI):

«В первую очередь заказчику следует понять, для каких целей он будет использовать BI. Дальше нужно подобрать подходящее решение с точки зрения функционала и архитектуры».

Исполнительный директор Modus BI («БиАй Про») Кирилл КУЗНЕЦОВ напоминает, что есть продукты класса oversize, а есть узкоспециализированные решения. Кроме того, можно отдельно пользоваться BI, отдельно – ETL. В любом случае, прежде чем сделать окончательный выбор в пользу того или иного продукта, нужно обратить внимание на проекты, которые уже реализовали выбранный вендор и его партнеры, и уже тогда принимать решение.

Евгения ЧЕПКОВА («Айтеко»):

Евгения ЧЕПКОВА («Айтеко»):

«Аспекты внедрения BI-систем не претерпели особых изменений за последнее время. Как и пять, и десять лет назад, основные моменты, на которые надо обратить внимание, те же».

Заместитель директора департамента системных программных решений компании «Айтеко» Евгения ЧЕПКОВА полагает, что, во-первых, необходимо определить цели и задачи внедрения BI-инструментов. С переходом на отечественное и свободное ПО влияние этого фактора значительно увеличилось: не все вновь внедряемые продукты, на которые переходят заказчики, могут похвастать универсальностью и покрытием всего того объема функциональности, который называется «современный BI». Поэтому пользователям приходится тщательно анализировать, что именно они ожидают от внедрения и имеет тот или иной инструмент необходимый функционал. Во-вторых, нужно обратить особое внимание на подготовку данных, так как их качество и доступность остаются ключевыми параметрами при выборе BI-инструментов. В-третьих, не менее важно наличие драйвера внедрения со стороны заказчика, то есть человека, способного контролировать и продвигать (последнее наиболее важно) процесс внедрения BI в компании. Вовлеченность такого сотрудника в процесс кратно повышает вероятность успешного внедрения и дальнейшего развития BI-системы в компании-заказчике, уверена г-жа Чепкова. Четвертый фактор повышение уровня вовлеченности конечных пользователей системы: наличие обратной связи в процессе внедрения сглаживает переход в режим промышленной эксплуатации и попутно решает вопросы обучения, развития и поддержки системы. В-пятых, не стоит забывать, что внедрением BI-инструмента процесс развития BI-системы не заканчивается. Затраты на поддержку и развитие системы необходимо учитывать как при выборе BI-инструмента, так и при проектировании процесса внедрения, а наличие дорожной карты позволит гибко реагировать на влияние внешних факторов во время внедрения. И последнее в списке г-жи Чепковой, но не последнее по значению: наличие у интегратора опытной проектной команды, знакомой со спецификой отрасли и решаемыми задачами, которые были определены в первом пункте.

Максим РАСТЕРЯЕВ (ГК «КОРУС Консалтинг»):

Максим РАСТЕРЯЕВ (ГК «КОРУС Консалтинг»):

«Важно отметить, что все российские BI-решения сложнее в части внедрения и разработки, чем западные».

Руководитель центра компетенции департамента аналитических решений ГК «КОРУС Консалтинг» Максим РАСТЕРЯЕВ отмечает, что практически все отечественные продукты работают на *nix системах и дают возможность кастомной доработки, поэтому проекты внедрения становятся более похожи на заказную разработку, чем на настройку системы силами консультантов, как это было с международными системами. При этом в новых решениях используются общеизвестные языки, такие как SQL, JavaScript React. Это упрощает работу, поскольку таких специалистов на рынке больше, чем узкоспециализированных консультантов, которые хорошо знают, к примеру, Qlik, поясняет г-н Растеряев.

Александр СТУРОВ («Форсайт»):

Александр СТУРОВ («Форсайт»):

«BI-система – это комплекс инструментов для реализации всего цикла работы с данными, от загрузки до продвинутого анализа. Поэтому заказчикам следует обратить внимание не только на возможности инструмента визуализации, но и на производительность системы, а также на совместимость с текущими требованиями к инфраструктуре».

Руководитель департамента по работе с партнерами компании «Форсайт» Александр СТУРОВ подчеркивает, что в целом сегодня выбор заказчиков очень часто определяется именно возможностями системы по работе с источниками данных. Также при выборе интегратора необходимо учитывать наличие опыта в области работы и с текущими аналитическими системами, и с российскими BI – это гарантия, что все технические вопросы будут решены максимально корректно и оперативно.

Наталья ЯШЕНКОВА («Полиматика»):

Наталья ЯШЕНКОВА («Полиматика»):

«Российские BI-системы делятся на два типа: self-service-конструктор с понятным функционалом и лицензированием и BI-системы, которые собираются под заказчика и, что называется, отливаются в бронзе».

Директор по маркетингу компании «Полиматика» Наталья ЯШЕНКОВА говорит, что у каждого из подходов свои преимущества, но вариант с коробочным решением выглядит более перспективным в долгосрочной перспективе это подтверждают сами вендоры, которые в дополнение к исторически возникшему второму варианту (системы по индивидуальному заказу) начали разработку self-service-конструкторов. Важно, чтобы продукт использовал принципы открытости и совместимости – возможности добавления собственных компонентов, если функционала «из коробки» недостаточно, и обеспечивал простое встраивание в комплексные проекты.

Мурат ГЕЛЬДЫЕВ (WSS & Technologies):

Мурат ГЕЛЬДЫЕВ (WSS & Technologies):

«Саму по себе BI можно считать итогом анализа всего бизнеса (цикла, процесса). Но, чтобы этот итог был прозрачным, требуется все разрозненные и неточные источники суммировать, как бы создать единую базу основных структурированных данных».

Директор по развитию направления систем автоматизации компании WSS & Technologies Мурат ГЕЛЬДЫЕВ уверен, что наиболее важно раскрыть, для чего в целом компании нужна система BI. Согласно его опыту, чаще всего это желание в доступной и оперативной форме получать ценные наглядные данные для возможности принятия решений, их сравнения с прошлыми показателями. Однако здесь вновь возникает известная проблема, а иными словами столкновение ожиданий с реальностью. «Например, у компании имеется ERP, но часть отделов продолжают успешно хранить/обмениваться/принимать решения и в целом работать с Excel и WhatsApp. Как быть? Мы сторонники упорядочивания и систематизации, но в то же время противники навязывания. Например, как директора этой компании убедить, чтобы он свои задачи отражал в ERP, а не по привычке в WhatsApp и к тому же не требовал отчетов в Excel с желто-красно выделенными полями, потому как ему удобно в таком виде? В итоге самые прилежные сотрудники работают в ERP, а самые приближенные к директору в Excel. Как в этом случае внедрить BI, когда клиент желает увидеть всё в одном месте, да и еще в любое время? Мы предложили систематизировать и чуть изменить привычный распорядок в рабочих процессах. К примеру, часть команды продолжает пользоваться мессенджером, но теперь мессенджер синхронизирован с CRM. В итоге все данные хранятся в MDM (Master Data Management, управление основными данными), а структурированные данные попадают в BI. Это системный подход, без навязывания и без сильного вмешательства в принятую культуру в компании», рассказывает г-н Гельдыев.


Подходы к данным

 

Алексей НИКИТИН (Visiology):

Алексей НИКИТИН (Visiology):

«Постоянно меняющаяся ситуация и стремление руководителей принимать решения на основе реальных данных, а не предположений перевели BI в категорию основных инструментов ведения бизнеса и планирования деятельности организаций различного уровня».

Алексей НИКИТИН (Visiology) выделяет несколько наметившихся тенденций. Во-первых, использование мета-языков: большинство российских BI-платформ выполняют запросы на уровне хранилища данных. При этом мета-языки, такие как DAX, позволяют ускорить выполнение аналитических задач и предложить больше инструментов аналитикам. Во-вторых, развитие self-service — по аналогии с западными платформами сегодня российские BI-системы постепенно наращивают возможности самообслуживания, предоставляя инструменты для работы аналитика без программирования. В-третьих, использование ИИ — несмотря на то, что основные аналитические задачи на сегодня остаются в ведении человека, искусственный интеллект уже помогает решать задачи в области обработки данных и подготовки новых моделей.

Андрей СМЕРЕЧУК (OCS Distribution):

Андрей СМЕРЕЧУК (OCS Distribution):

«Пожалуй, самое важное – это то, что действительно началась работа с данными».
 

Директор департамента управления данными и бизнес-аналитики компании OCS Distribution Андрей СМЕРЕЧУК отмечает, что те, кто внедряет масштабную аналитику на уровне всей компании, сталкиваются с острой необходимость радикального повышения качества данных для работы и этот процесс естественным образом выступает драйвером в развитии работы с данными.

Кирилл КУЗНЕЦОВ (Modus BI) считает, что BI-инструменты растут в двух направлениях: или это универсальный большой продукт, или система, решающая локальные задачи с точки зрения управления данными. Есть продукты, которые имеют у себя «под капотом» BI, ETL и DWH, но специализируются в одной нише – ретейле, маркетинге, HoReCa и других (в частности, Roistat). Или, например, компании, которые анализирует трафик и платежные данные торговых центров, устанавливают счетчики посетителей и добавляют информацию о продажах – на выходе торговые центры получают достаточно неплохую аналитику.

Дмитрий МЕРКЕР (Goodt, ГК «ЛАНИТ»):

Дмитрий МЕРКЕР (Goodt, ГК «ЛАНИТ»):

«Общий тренд российского рынка – отказ от проприетарных систем хранения и обработки данных. И я надеюсь, что он будет усиливаться».

Руководитель отдела развития BI-платформы Insight компании Goodt (ГК «ЛАНИТ») Дмитрий МЕРКЕР напоминает, что слишком многие в 2022 году столкнулись с ситуацией, когда многолетние огромные наработки оказалось невозможно переиспользовать, поскольку весь стек обработки и хранения данных был проприетарным. Это травматичный опыт, и мало кому хочется убедиться в этом еще раз. С другой стороны, г-н Меркер уверен, что данный тренд – часть другого: BI выходит из статуса обособленной территории, на которую допускают только строго отобранных специалистов, и становится частью бизнес-процессов. Чтобы это случилось, нужно иметь возможность готовить и переиспользовать данные на различных уровнях корпоративных систем без необходимости деления на BI и не BI. Так и только так рождается общая экспертная экосистема и общее информационное поле, и проприетарный подход в этом контексте кажется довольно архаичным, подчеркивает он.

Евгения ЧЕПКОВА («Айтеко»):

Евгения ЧЕПКОВА («Айтеко»):

«Отключение от облачных решений российских компаний привело к необходимости срочного перехода на on-prem-решения, которые при этом выбираются часто не из соображений качества (что лучше), а из соображений времени и стоимости (что быстрее и дешевле)».

Евгения ЧЕПКОВА («Айтеко») отмечает, что все чаще фиксируются переходы на open-source- и самостоятельно разрабатываемые решения. В то же время широко распространяемые BI-инструменты от грандов мирового рынка приучили пользователей к хорошему. При переходе на отечественные и open-source-продукты заказчики требуют функционал современной BI-системы по умолчанию, чего пока отечественные решения предоставить не могут. Это осложняет процессы продажи и внедрения. Г-жа Чепкова также отмечает, что использование ИИ из фишки превращается в рутинный рабочий инструмент: речь идет об анализе временных рядов, выявлении паттернов, кластеризации, работе на естественном языке (в том числе голосом) и анализе потокового видео. Кроме того, заметно усиление внимания к self-service-аналитике: отныне даже при построении систем фиксированной отчетности пользователи все чаще требуют элементы self-service.

Максим РАСТЕРЯЕВ (ГК «КОРУС Консалтинг») считает, что на изменение подходов к работе с данными больше всего влияет то, что с каждым годом данных у бизнеса становится все больше и больше и компаниям нужно оперативно искать новые технологии и способы обработки BigData. При этом визуализация и представление данных особо не меняются – подходы используются все те же, отмечает он.

Александр СТУРОВ («Форсайт»):

Александр СТУРОВ («Форсайт»):

«Уже стартовал целый ряд полномасштабных проектов по построению корпоративных платформ, способных обеспечить единый и безопасный доступ ко всем источникам данных и решать широкий спектр задач».

Александр СТУРОВ («Форсайт») полагает, что с началом периода активного импортозамещения крупные заказчики осознали потребность в решениях на единой платформе. Согласно наблюдениям специалистов компании, многие заказчики сегодня ставят целью перейти от набора решений иностранных вендоров и open-source к внедрению платформенной модели от российского поставщика то есть создать полноценное ядро для всех уровней аналитической деятельности.

Наталья ЯШЕНКОВА («Полиматика»):

Наталья ЯШЕНКОВА («Полиматика»):

«Несмотря на то, что практика самообслуживания уже очень давняя, она продолжает развиваться благодаря в том числе формированию data-driven-культуры».

Наталья ЯШЕНКОВА («Полиматика») отмечает растущие требования пользователей: они хотят работать не только с агрегированными данными, но и данными на исходном уровне детализации для того, чтобы понимать причины отклонения, например, при проведении план-фактного анализа. Поэтому возможность «проваливания в детализацию» сейчас очень актуальна. Другой инструмент, продолжающий в своем роде тему ориентации на бизнес-пользователя, Auto ML. Как говорит г-жа Яшенкова, демократизация машинного обучения достигла такого уровня, что нет необходимости погружаться в тонкости разных алгоритмов – можно запустить Auto ML и получить модель-чемпионку, которая лучше всего подходит для решения конкретной практической задачи, будь то предсказание оттока или определение мошеннических действий. Такой подход требует больше аппаратных ресурсов, но открывает мир Data Science предметникам – людям, которые хорошо разбираются в своем вопросе.

   

Нейросетевой ажиотаж

 

Новые технологии, в том числе ИИ и нейросети, конечно, не панацея, благодаря которой будут решены все прикладные вопросы бизнес-анализа. Как у любых технологий, у них свои плюсы и минусы. Одна из основных проблем можно ли в принципе доверять результатам работы ИИ-инструментария и нейросетям на данном этапе их развития?

Алексей НИКИТИН (Visiology):

Алексей НИКИТИН (Visiology):

«Каждому инструменту нужно просто найти свое место. На данном этапе практики построения нейросетями готовых отчетов и визуализации находятся в зачаточном состоянии. Но уже сегодня можно успешно использовать ИИ для ускорения работы аналитиков».

По словам Алексея НИКИТИНА (Visiology), его компания первой в России запустила сервис генерации запросов для ETL (загрузка данных) и DAX (аналитические запросы) через чат-бота. Задавая вопрос простым, естественным языком, пользователь на выходе получает готовый фрагмент кода, который можно с минимальной ревизией и коррекцией вставить в нужное окно. Сервис ViTalk GPT сейчас в стадии бета-тестирования, но уже показывает отличные результаты экономия времени аналитиков порядка 20%. По мнению г-на Никитина, это именно та сфера, в которой ИИ прекрасно дополняет возможности BI-платформ.

Андрей СМЕРЕЧУК (OCS Distribution):

Андрей СМЕРЕЧУК (OCS Distribution):

«Генеративные алгоритмы с подкреплением (типа ChatGPT) совершили маленькую революцию, в том числе радикально меняют ландшафт работы с аналитикой».

Андрей СМЕРЕЧУК (OCS Distribution) убежден, что масштаб происходящей на наших глазах трансформации еще только предстоит оценить. Но в то же время ключевая проблема такого подхода, помимо вопросов безопасности, невозможность проверить, как получился результат. Нередко ИИ очень правдоподобно выдумывает ответ – так называемые галлюцинации ИИ, отмечает г-н Смеречук.

Кирилл КУЗНЕЦОВ (Modus BI):

Кирилл КУЗНЕЦОВ (Modus BI):

«Очевидно, будущее за ИИ и нейросетями – они могут взять на себя огромную предварительную работу, что будет снижать объем неинтеллектуального труда аналитика, даст ему возможность быстрее запускать процессы анализа данных».

Кирилл КУЗНЕЦОВ (Modus BI) считает, что нейросети могут выступить фактически в роли инструмента ETL: поскольку, например, тот же ChatGPT настроен на обработку текста, он может работать с синонимами, дублями, категоризировать и очищать данные. Однако г-н Кузнецов призывает не забывать, что данные, как правило, часто меняются, а любая нейросеть обучается на специализированных датасетах, при замене которых должна переучиваться, – и здесь необходимо сопровождение со стороны обучающего персонала и вендора, уверен он.

Евгения ЧЕПКОВА («Айтеко»):

Евгения ЧЕПКОВА («Айтеко»):

«Уже сейчас нейросети и ИИ активно используются в области бизнес-аналитики».

Евгения ЧЕПКОВА («Айтеко») перечисляет лишь некоторые практические кейсы: категоризация и кластеризация данных; анализ временных рядов для выявления трендов развития; выявление паттернов в данных, что особенно активно используется при проектировании маркетинговых акций и выявлении подозрительных (мошеннических) действий; обработка естественного языка при взаимодействии с пользователями; анализ потокового видео и цифровое зрение; анализ эмоциональной окраски; рекомендательные системы. Это позволяет получить определенные преимущества от использования этих технологий: 1) расширить круг задач, решаемых бизнес-анализом; 2) упростить работу пользователей за счет исключения рутины, анализа большого количества данных, перехода на естественный язык, в том числе в его голосовом представлении; 3) получить скрытые данные, невозможные для выявления другими способами.

Несмотря на это, по-прежнему остаются нерешенными следующие проблемы. Во-первых, рационализация и объяснение результатов работы ИИ. Именно поэтому до сих пор на последней миле обработке информации остается человек – он принимает решение о правильности решений, предложенных ИИ. Во-вторых, качество данных, ведь недостаточные, ошибочные, неправильно выбранные данные приводят к ненадежным результатам. В-третьих, построенные прогностические модели становятся бесполезными в условиях сильно меняющихся влияющих факторов, подчеркивает г-жа Чепкова.

Максим РАСТЕРЯЕВ (ГК «КОРУС Консалтинг»):

Максим РАСТЕРЯЕВ (ГК «КОРУС Консалтинг»):

«На данный момент российские компании редко используют нейросети для решения задач бизнес-аналитики».

Максим РАСТЕРЯЕВ (ГК «КОРУС Консалтинг») говорит, что это новая область для нашего рынка и бизнес пока только присматривается к ней. Однако через несколько лет компании распробуют этот инструмент и он займет свое место в аналитике данных, добавляет он.

Наталья ЯШЕНКОВА («Полиматика»):

Наталья ЯШЕНКОВА («Полиматика»):

«В бизнес-аналитике ИИ позволяет не просто автоматизировать процессы или получать прогнозы, а перейти на другой уровень принятия решений».

Наталья ЯШЕНКОВА («Полиматика») отмечает, что есть сложившиеся направления применения ИИ для анализа клиентских данных, создания цифрового двойника на производстве, оценки рисков и различных скорингов для финансовой сферы. «Для того чтобы понять, можно ли доверять данным, полученным с помощью машинного обучения, используется ряд инструментов. На начальном этапе, когда модель построена, метрики на валидационной выборке хорошие, но хочется убедиться в ее логичности, используются методы интерпретации. Например, у нас в “коробке” есть PD, SHAP, ICE, LIME – они позволяют понять, как работает модель, исходя из получаемых результатов», рассказывает г-жа Яшенкова. При этом в долгосрочной перспективе важно отслеживать качество моделей, так как со временем из-за изменений данных на входе меняется и результативность. Поэтому работа с моделью не должна заканчиваться ее внедрением в эксплуатацию нужно обеспечить мониторинг и вовремя переобучать или производить замену модели, резюмирует она.

 

(Продолжение следует)

Опубликовано 21.07.2023

Похожие статьи