Тенденции развития рынка аналитики данных
Изменения, которые происходят в последние несколько лет в области решений, связанных с аналитикой данных, можно смело назвать революционными. Если 5–10 лет назад мы в основном говорили о бизнес-аналитике (Business Intelligence – BI), то теперь аналитика данных активно проникает во все сферы государства, общества, частной жизни. Если раньше аналитика основывалась на статичных алгоритмах/правилах, то теперь она начинает оперировать опциями самоадаптации, функциями искусственного интеллекта, что позволяет в реальном времени принимать решения на основе оценки поведения людей, множества распознаваемых событий и признаков; проактивно менять «правила игры» с учетом изменяющихся внешних факторов.
При этом кардинально меняется и развивается архитектура систем аналитики данных как на программном, так и на аппаратном и технологическом уровнях. Чтобы лучше понять суть происходящих изменений, совершим краткий исторический экскурс.
Пятнадцать лет назад
Не углубляясь в совсем уж давнюю историю с возникновением термина business intelligence в 1958 году и появлением первых аналитических систем в 1970–80-х, можно утверждать, что к началу 2000-х на рынке присутствовало достаточно много зрелых коммерческих аналитических решений, которые следует разделить на два больших класса:
-
аналитика, работающая непосредственно в составе OLTP-приложений (Online Transaction Processing) на базе тех же реляционных СУБД с построчным хранением данных, которые использовали транзакционные/бизнес-критичные приложения;
-
аналитика, работающая на базе OLAP-хранилища (Online Analytical Processing), также часто называемое хранилищем данных (Data Warehouse – DW), в основном с поколоночным хранением данных, развернутое на отдельной выделенной платформе.
Аналитика первого класса выполнялась в реальном времени, но имела ограниченные возможности и использовалась, в частности, для персонификации работы с клиентами – например, для начисления скидки при продаже авиабилета конкретному клиенту с учетом налетанных им миль в данной авиакомпании.
Аналитика второго класса позволяла проводить более углубленный анализ тенденций, делать прогнозы, выявлять причины происшедших событий в прошлом и т. п. В большинстве случаев именно с этим классом решений/методов связывают термин Business Intelligence. OLAP-хранилища пополнялись актуальными данными из OLTP-хранилищ с помощью решений загрузки и интеграции данных, затем они дополнительно обогащались справочными материалами, а их качество повышалось с помощью специальных методов. Весь анализ проводился на основе OLAP-кубов и витрин. Особенностью OLAP-аналитики было то, что она выполнялась в пакетном режиме, как правило, раз в неделю или реже – например, в ночь с пятницы на субботу выгружались данные из OLTP- в OLAP-хранилище, затем в течение субботы и воскресенья они обрабатывались и в понедельник утром в виде отчета представлялись топ-руководителям. Очевидными недостатками такой методики являлись замедленная реакция на быстро меняющиеся тенденции рынка и недоступность результатов анализа сотрудникам среднего и нижнего уровней.
Десять лет назад
Разработка решений, связанных с повышением производительности OLAP-хранилищ, а также универсальных платформ для интеграции OLTP- и OLAP-хранилищ, началась чуть более 10 лет назад. Здесь необходимо выделить два направления:
-
решения на базе in-memory обработки БД (обработка данных таблиц по прямой адресации в оперативной памяти);
-
решения c использованием методов распараллеливания обработки данных на базе кластерных систем.
Классическим примером первого направления является SAP HANA. Практически все мировые вендоры – производители аппаратного обеспечения поддерживают это решение сертифицированными аппаратно-программными комплексами. Из последних новостей в указанной области следует отметить сертификацию для HANA первых гиперконвергентных решений, в частности Dell EMC VxRail.
Примером второго подхода может служить Pivotal Greenplum и законченные системы на ее основе, поставляемые Dell EMC.
Пять лет назад
Термин «большие данные» (Big Data) начал широко использоваться в ИТ-индустрии в начале 2010-х, а уже к 2015 году Gartner исключил большие данные из ежегодного отчета о цикле зрелости технологий (Gartner Hype Cycle Report), мотивировав это переходом от этапа шумихи к практическому применению. Классическая трактовка больших данных, которой мы придерживаемся в Dell EMC, определяет их как «аналитику, а также аналитику больших объемов различных данных, в том числе неструктурированных, в режиме, приближенном к реальному времени (объем, скорость, многообразие - Volume, Variable, Velocity)», где реальное время составляет от нескольких минут до часов.
Этот этап развития аналитики данных во многом связывают с проектом Hadoop с открытым кодом для хранения на базе распределенной файловой системы HDFS и пакетной обработки в массивно-параллельном режиме неструктурированных или плохо структурированных данных. Изначально Hadoop использовался в интернет-компаниях, научных и образовательных учреждениях. Затем, по мере коммерциализации технологии такими компаниями, как Cloudera и Hortonworks, большой интерес к решениям на базе Hadoop стали проявлять банки и телеком-провайдеры.
Изначально на Hadoop-решения возлагались очень большие надежды. Делались заявления, что кластерные системы Hadoop не только станут базовой архитектурой для аналитики больших данных, но и будут использоваться в качестве платформы для транзакционных приложений, заменят классические реляционные OLAP-хранилища, но этого не произошло. Сегодня системы Hadoop в основном позиционируются для создания «озер данных» (data lakes) – то есть в качестве платформ для интеграции данных из множества источников данных, включая OLTP-хранилища, социальные сети и т. д.
Настоящее время
Системы аналитики данных продолжают активно развиваться. Среди основных факторов, влияющих на происходящие изменения, нужно отметить, прежде всего, новые аппаратные технологии. Именно благодаря тому, что графические карты (GPU) c множеством ядер стали доступны по цене, сильный импульс развития получили технологии машинного обучения нейронных сетей, искусственного интеллекта. При том, что сами алгоритмические методы были разработаны годы назад, вычисления, ранее требовавшие дней и недель, стали производиться в течение часов и минут.
Появление в 2017 году SCM-памяти (storage class memory) с побайтной адресацией, подключаемой по высокоскоростной шине данных, предоставляет возможность повысить производительность приложений на порядки. SCM-память расширит применение in-memory технологий работы с данными не только при использовании традиционных реляционных СУБД, но и при работе с NoSQL БД, например, такими как MongoDB или Cassandra, темпы роста доли рынка которых значительно опережают традиционные БД.
Стандартизация сетевого доступа к высокоскоростным устройствам хранения (NVM Express over Fabrics – NVMeOF) позволит кардинально улучшить показатели параллелизма и задержек при обращении к данным. Технологии SCM и NVMe не только увеличат производительность «классических» систем хранения, но дадут возможность построения гиперконвергентных решений на качественно новом уровне. Высокопроизводительные сети передачи данных с низкими задержками откроют дорогу для интеграции различных подсистем в единую платформу, благодаря чему упростится совместный доступ к данным и результатам анализа.
Большие усилия прилагаются разработчиками процессоров общего назначения, FPGA – программируемых матриц, специализированных ускорителей. За счет добавления в архитектуру процессоров общего назначения новых специальных команд можно наблюдать многократное улучшение характеристик, а для специализированных процессоров эта показатель возрастает на порядки. Так, ожидается, что с новым поколением процессоров Intel Cascade Lake-SP (коммерческая доступность – 1 квартал 2019 года) за счет поддержки специализированных команд (Vector Neural Network Instruction – VNNI) производительность приложений на задачах машинного обучения возрастет до 17 раз.
Практически все мировые вендоры активно поддерживают направления, связанные с развитием архитектур с акцентом на обработку и анализ данных (Data-centric Architecture).
Примером подобной инициативы является консорциум Gen-Z, основная цель которого –разработка протокола для совместного доступа к данным в памяти подключенных устройств с минимальными задержками.
Подводя итог, среди наиболее значимых современных тенденций развития решений для аналитики данных можно выделить следующие:
-
Взаимное проникновение, взаимное обогащение и дополнение различных классов решений аналитики, которые ранее представляли независимые или слабо интегрированные системы. То, что прежде реализовывалось в виде отдельных решений на базе реляционных БД, классических OLAP-систем, Hadoop-решений для аналитики больших данных и т. п., в настоящее время предлагается в виде законченных интегрированных платформ
-
Переход от анализа уже произошедших событий к проактивному и предиктивному управлению бизнесом на основе прогнозирования событий и предотвращения нежелательных последствий.
-
Расширение доступности результатов аналитики (зачастую в реальном времени) для сотрудников всех уровней, а не только для топ-менеджеров.
-
Активное использование самообучаемых аналитических систем на основе машинного обучения с помощью высокопроизводительных аппаратных решений.
-
Активное применение методов обработки данных в памяти (in-memory) приложениями, работающими как с традиционными реляционными СУБД, так и с NoSQL-базами данных.
Сегодня в нашем распоряжении есть огромные вычислительные ресурсы и гигантские объемы данных, изощренные методы искусственного интеллекта и машинного обучения, быстрые и надежные программные инструменты. Извлечение инсайтов, приносящих реальную ценность из имеющихся данных, – это одновременно и вызов, и возможность сделать качественный рывок на пути к цифровой трансформации.
Автор: Павел Карнаух - руководитель подразделения системных инженеров Dell EMC в России, Казахстане и Центральной Азии
Опубликовано 08.01.2019