На вес золота. Как данные изменили жизнь российских компаний
Универсальные и специализированные
Согласно отчету Центра стратегических разработок (ЦСР), стремительный рост ежегодного объема создаваемых данных в мире наглядно отображается статистикой: в 2023 году он оценивался в 120 зеттабайт, при этом ежедневно создавалось около 330 млн терабайт данных. К 2025 году прогнозировалось увеличение объема генерируемых данных в 1,5 раза — до 181 зеттабайта. Необходимость их обработки определяет рост популярности соответствующего программного обеспечения — систем управления базами данных (СУБД) и инструментов обработки данных.
Большинство СУБД можно разделить на две категории: универсальные и специализированные. Первые, к которым можно отнести PostgreSQL, MySQL, MS SQL и Oracle, предназначены для широкого спектра применений: от операционных транзакций до аналитики на небольших объемах данных. Вторые созданы для реализации более конкретных задач: обработка данных в режиме реального времени, выполнение сложных аналитических запросов на больших объемах данных, работа с временными рядами и т. д. В качестве примеров специализированных СУБД можно привести Greenplum, Vertica, ClickHouse, InfluxDB, Redis, Tarantool и другие.
Основное различие между этими СУБД заключается в их назначении, архитектуре и функционале. Бизнесу нужны решения, которые обеспечивают высокую производительность, гибкость и функциональность, отвечающие его уникальным потребностям и стратегическим целям. В связи с этим специализированные СУБД становятся все более популярными среди компаний, активно работающих с большими данными. Это позволяет быстро реагировать на изменения рыночных условий и масштабировать базы данных в соответствии с ростом бизнеса.
Какую пользу компании получают из работы с данными
Сегодня практически любая крупная компания старается извлечь пользу из работы с данными. Лидерами в этой области заслуженно считаются организации финансового сектора, ретейлеры, представители телекома. Однако их постепенно догоняют и представители других отраслей — например, работа с данными стала обязательной для промышленных предприятий. Рассмотрим подробнее.
Промышленность. В современном мире данные играют ключевую роль для промышленных предприятий: способствуют повышению эффективности производства и улучшению управления производственными процессами. Объем данных, собираемых ежедневно, огромен и включает информацию из учетных систем, геолокационные данные, сведения с видеокамер и цифровых датчиков, установленных на оборудовании. Чем больше объем полученных сведений, тем больше данных необходимо обрабатывать, но важно не только собирать и сохранять данные, но и преобразовывать их для эффективного использования. Уже сегодня аналитика данных позволяет металлургическим и нефтегазовым компаниям значительно снижать себестоимость добычи и повышать экономическую эффективность разработки месторождений. Это приводит к увеличению времени бесперебойной работы и прибыли. Например, анализ данных с датчиков вибрации на оборудовании позволяет прогнозировать дорогостоящие механические поломки, что способствует снижению затрат на ремонт и обслуживание.
Управление данными также эффективно в логистике. Анализируя данные, можно оптимизировать работу складов, формировать оптимальные маршруты и автоматизировать расходы на обслуживание и ремонт — таким образом снижая операционные затраты и повышая общую эффективность логистических процессов.
Ретейл. Раньше ретейлеры не придавали должного значения аналитике данных, но сегодня это стало ключевым фактором успеха. Современные технологии позволяют решать важные бизнес-задачи: прогнозировать спрос как в краткосрочной, так и в долгосрочной перспективе, оптимизировать ассортимент, предлагать персонализированные продукты, анализировать затраты, улучшать логистику, выявлять закономерности.
Финансовый сектор. Финансовые организации активно используют данные для разработки персонализированных услуг, что способствует росту их клиентской базы и укреплению лояльности. С помощью поведенческой и предиктивной аналитики они более точно сегментируют клиентов и создают предложения, идеально соответствующие их потребностям. Банки применяют искусственный интеллект и аналитику данных для прогнозирования вероятности покупки дополнительных продуктов, анализируя сотни различных параметров, включая транзакции и события в жизни клиентов. Кроме того, они внедряют системы автоматического анализа кредитоспособности, что значительно ускоряет обработку заявок. Чат-боты и голосовые помощники автоматизируют более половины операций и решают до 70% запросов клиентов без участия сотрудников.
Реальные кейсы
ВТБ разработал и внедрил аналитическое решение для мониторинга ключевых финансовых показателей по всей сети офисов продаж банка. Оно реализовано на базе отечественной платформы Arenadata Hadoop (ADH). Решение обрабатывает информацию и проверяет качество данных для подготовки отчетности и повышения эффективности работы точек продаж. Банк получил сервис, который позволяет проводить анализ точек продаж с учетом специфики конкретного офиса, а также предоставляет ключевым внутренним заказчикам полную финансовую информацию о сделках корпоративных клиентов. Решение помогает проверить качество данных, внести корректировки и провести оперативный анализ ключевых показателей всей сети офисов продаж. Все ключевые показатели представлены в двух оценках: в соответствии с российскими правилами учета и с международными стандартами финансовой отчетности (МСФО). Платформа помогла существенно сократить сроки предоставления данных бизнес-пользователям. Автоматизация процессов в четырех направлениях позволила ускорить формирование аналитических витрин до трех раз.
Компании «Комус», сети магазинов товаров для офиса, было важно ускорить обработку данных веб-аналитики. Это стало ключевым фактором при выборе платформы для создания хранилища данных. Переход с Oracle на облачное решение Arenadata DB в VK Cloud позволил увеличить скорость выполнения запросов в 2,5 раза. Для аналитиков была внедрена система самообслуживания, что дало им возможность работать без значительной поддержки ИТ-специалистов. В будущем компания планирует развивать и расширять функционал этой системы.
Лидер горно-металлургической промышленности в России и мире «Норникель» построил технологичную платформу для решения бизнес-задач с применением Big Data и Data Lake на продуктах Arenadata. Единая точка доступа к данным и один из основных компонентов платформы — аналитическая СУБД Arenadata DB (ADB). Помимо этого, в озере данных используется продукт для их потоковой обработки Arenadata Streaming (ADS) и корпоративный дистрибутив для распределенной масштабируемой обработки данных Arenadata Hadoop (ADH). Применение озера данных позволило компании значительно сократить время выхода на рынок цифровых проектов, избавившись от необходимости проектировать и реализовывать интеграционные инструменты. Кроме того, оно существенно снизило аналитическую нагрузку на системы управления и диспетчеризации производства. Data-платформа позволяет «Норникелю» в режиме, близком к реальному времени, обрабатывать информацию с датчиков оборудования, пакетные данные из реляционных систем, подключать ML-модели, исследовать данные и получать аналитическую отчетность за счет подключенных к озеру данных BI-инструментов.
Сеть магазинов мебели и товаров для дома Hoff совместно с Hoff Tech реализует проект по улучшению доступности и согласованности корпоративных данных, выбрав для этого решение Arenadata Catalog (ADC). Hoff хранит более 100 терабайт данных из широкого спектра источников: ERP, систем онлайн-продаж, складского учета и аналитики. В рамках проекта удалось собрать все метаданные в одном месте, автоматизировать их сбор, что поможет сократить время на подготовку аналитических отчетов. С помощью качественно описанных данных бизнес-подразделения Hoff могут значительно оптимизировать аналитику данных, повысить прозрачность связанных с данными процессов для принятия более оптимальных бизнес-решений, а также сделать более простой и эффективной адаптацию аналитиков.
С какими вызовами столкнулись компании в 2024 году
Мощным драйвером, подталкивающим российские компании к автоматизации, стал дефицит кадров. Он ощущался во всех сферах бизнеса. Например, как показал опрос, проведенный «К2Тех» и Arenadata, для 33% предприятий нефтегазохимии нехватка кадров становится основной проблемой в проектах с предиктивной аналитикой. Особенно остро она ощущается в части производственного персонала.
Представители ретейла также говорят об острой нехватке сотрудников любых квалификаций, которая, судя по всему, в ближайшие годы будет только нарастать. Поэтому они сосредоточились на проектах в области автоматизации и повышения эффективности труда, новых гибких моделей взаимоотношений работодателей с работниками — от шеринга персонала до новых типов рабочих контрактов. Решать проблему дефицита кадров ретейлерам также помогает внедрение технологий умного склада и логистики для оптимизации процессов хранения и доставки товаров, использование технологий для автоматизации процессов, таких как сбор данных, анализ продаж и управление запасами, а также развитие голосовых помощников и чат-ботов для улучшения обслуживания клиентов.
Другой, не менее важный вызов — импортозамещение. Хотя оно активно обсуждается и относится к государственным приоритетам, компании отстают в процессе перехода на отечественные решения в области работы с данными. В связи с этим их инфраструктура деградирует, ведь организации продолжают использовать устаревшее ПО, у которого нет поддержки, которое не дорабатывается, не обновляется, его уязвимости не закрываются. В лучшем случае это чревато тем, что какие-то важные технологические инициативы не будут реализовываться. А в худшем — тем, что инфраструктура станет сбоить, что неизбежно повлияет на работу российских компаний.
Тренды 2025 года в работе с данными
Качество данных. Количество данных постоянно растет, и ими необходимо управлять. По результатам опроса компаний «Аэро» и «Матемаркетинг», проведенного среди CDO, e-commerce директоров и других топ-менеджеров, 72% российских компаний сталкивались с финансовыми потерями, которых можно было бы избежать благодаря качественным данным. При этом работой над качеством данных целенаправленно занимается только 1/3 опрошенных и лишь 13% респондентов полностью удовлетворены объемом и качеством собираемых данных и аналитики на их основе. Поэтому уже сейчас российские компании стараются начинать проекты по работе с данными с внедрения процессов Data Governance. Инструменты по управлению качеством данных — дата-каталоги и бизнес-глоссарии — гарантируют снижение рисков, связанных с использованием в организации недостоверных или непроверенных данных, и обеспечивают соблюдение требований регулирующих органов. Управление качеством данных позволяет принимать обоснованные решения на основе надежной информации, обеспечивает прозрачность в процессах работы с данными и улучшает управление рисками, а также помогает бизнесу соблюдать требования законодательства и нормативов относительно защиты данных и конфиденциальности. Применяя процессы Data Governance, компании могут создавать инфраструктуру, которая позволяет бизнесу быстрее адаптироваться к изменяющимся условиям рынка и внедрять инновационные решения на основе данных.
Реальное время. Сегодня скорость принятия решений играет важную роль в успехе бизнеса. Компании, способные быстро получать нужную информацию и оперативно адаптироваться к изменениям, получают значительное конкурентное превосходство. Поэтому стремительно растет интерес к анализу данных в реальном времени. По данным MarketsAndMarkets, рынок систем для анализа потоковых данных, то есть данных, обрабатываемых в реальном времени, к 2029 году увеличится до 126 миллиардов долларов. Ожидается, что ежегодный рост рынка составит примерно 34%. Использование системы для анализа потоков данных позволяет компаниям быстро принимать управленческие решения, повышать эффективность бизнеса, своевременно и качественно управлять рисками, улучшать клиентский опыт.
Поиск практического применения ИИ. За последние годы во всем мире, включая Россию, значительно возросли расходы на разработку и внедрение решений на базе искусственного интеллекта. Однако не во всех случаях эта технология приносит реальные результаты. Поэтому стоит подходить к этому вопросу иначе, используя генеративный искусственный интеллект только в тех случаях, когда он либо улучшает качественные характеристики продуктов, либо дает понятную ценность заказчикам.
Использование приватных облаков. Российские компании активно используют публичные облака для работы с данными. Однако если организации важна конфиденциальность, отказоустойчивость инфраструктуры и понятны преимущества облачных сервисов, то безусловным выбором может стать использование приватных облаков. Туда можно перенести часть задач из локальной инфраструктуры. Например, экспериментировать с новыми технологиями в области работы с данными, решать определенные типы не самых высоконагруженных задач, не теряя в скорости. При этом приватное облако может снизить порог входа к применяемым технологиям.
Усиление кибербезопасности. Рост количества кибератак делает защиту данных клиентов одной из ключевых задач для банков. Сегодня злоумышленники используют все более сложные методы: фишинг, DDoS-атаки, взломы аккаунтов и платежных систем. Поэтому компаниям стоит задуматься о внедрении новых технологий работы с данными для обнаружения аномалий и предотвращения мошеннических операций.
Работа с данными и использование для нее специализированных инструментов становится необходимостью для компаний любого уровня. Если еще несколько лет назад реализованными проектами в сфере данных могли похвастаться только самые крупные организации, то уже сегодня к ним стремятся даже представители среднего бизнеса. Именно работа с данными позволяет качественно добиваться поставленных целей, среди которых оптимизация затрат, получение конкурентных преимуществ и, конечно, улучшение клиентского опыта. При этом большинство компаний ощущает необходимость пользоваться не разрозненными инструментами, а единой платформой, закрывающей весь спектр задач по работе с данными. В ногу с ними идут и отечественные вендоры, которые (например, Arenadata) стремятся развивать подход, когда единая платформа данных состоит из отдельных компонентов — продуктов, каждый из которых отвечает за решение определенного типа задач.
Опубликовано 24.12.2024
