Fast Data на практике: как новые технологии помогают бизнесу
Последние пять лет рынок электронной коммерции показывает экспоненциальный рост. В отчете New digital divide компания Deloitte фиксировала агрессивный рост этого сектора экономики и прогнозировала его дальнейшее проникновение в нашу жизнь.
Мы все стали свидетелями начала цифровой трансформации в области коммерции. На ее раннем этапе заметным было появление новых цифровых каналов продаж для широкой группы потребительских товаров, таких как книги, одежда или обувь, которые сегодня не выходят за рамки привычного. Другие категории продуктов, такие как музыка или фильмы, полностью исчезли из физических магазинов, оставив только след во времени. Потребительское поведение начало меняться достаточно давно, и этот процесс продолжается до сих пор.
В условиях глобальной конкуренции специальные предложения массового характера для привлечения внимания потребителей уходят на задний план. Возникает потребность в качественной сегментации рынка и возможности быстро реагировать на поведение целевой аудитории. Таргетированный контент, показ персонализированных предложений и персональные бонусы — лишь часть инструментов для привлечения клиентов и повышения их лояльности. Сегодня для создания подобных предложений необходимы данные из различных разнородных источников. При этом формировать предложения зачастую необходимо в режиме реального времени.
На примере двух реализованных проектов для заказчиков из сферы финансового сектора и логистики хочу рассказать о технологиях, которые делают эти процессы возможными.
Применение онлайн витрин данных для e-banking
Онлайн витрины — неотъемлемая часть электронной коммерции и e-banking не исключение. В e-banking онлайн витрины позволяют формировать для клиента все те же персональные предложения, предоставляют возможность мониторить продажи, производить финансовый анализ, получать оперативную отчетность и многое другое.
На примере одной из наших задач для крупного российского банка мы столкнулись с проблемой формирования продуктового профиля клиентов из числа физлиц. На момент проведения обследования существующей IT-системы время обновления каждого профиля клиента было очень большим. У заказчика была необходимость в представлении информации потребителям в режиме онлайн, и задержка даже в одну-две секунды серьезно влияла на бизнес. Апробацию нового подхода мы начали в своей лаборатории. Для диагностики проблемы мы воссоздали клиентское окружение и нагрузили систему на основе синтетических данных. За три месяца нам удалось построить решение с использованием подходов микросервисной архитектуры и применением opensource технологий Fast Data. Новый подход показал себя очень эффективно: использованный технологический стек Apache Kafka, Cassandra, Spark Streaming позволил создать унифицированный согласованный буферный слой бизнес‑данных, наполняющийся автоматически и параллельно по всем информационным каналам, формирующим продуктовый профиль в режиме онлайн.
Анализ информации в сфере логистики
Еще одну задачу по построению онлайн витрины данных мы решали уже в сфере логистики. Заказчиком стала одна из крупнейших транспортно-логистических компании России. Первоначально цель была обозначена как сбор и визуализация данных. Но после полного сбора требований и составления десятков пользовательских историй, задача изменилась. Стало понятно, что заказчику необходимо решение, которое позволит получать прогноз по загрузке складов и доступности машин в ближайшем будущем, а также реагировать на события, происходящие в режиме реального времени. Существовавшая в компании архитектура и используемые технологии с трудом позволяли получать прогноз на следующий день. Поскольку коробочных продуктов, решающих аналогичную задачу нет, специалисты «Неофлекс» разработали персональное бизнес-решение с использованием новых подходов и технологий. За год совместной работы по методологии Scrum нам удалось разработать и внедрить систему управления перевозками. На этот раз в основу легла in‑memory база данных SnappyData, а все инфо-потоки были реализованы на привычных для нас технологиях Apache Kafka и Akka. Помимо решения основной задачи по real-time обработке данных с сенсоров, установленных на транспорте, и формирования онлайн витрины логиста, мы установили рабочие места для выполнения Ad-hoc запросов и интерактивного анализа данных, поступающих в режиме реального времени, с возможностью применения алгоритмов машинного обучения на основе Apache Zeppelin. Использованный подход и технологии, кстати, могут быть актуальны и в других сферах, например, в ретейле. Ведь помимо перевозок ретейлерам приходится решать и другие задачи, к ним относится, например, своевременная диагностика и обслуживание холодильного оборудования. В этом случае real-time мониторинг позволяет предвидеть отказы холодильного оборудования и улучшить контроль их рабочих параметров.
Бизнес и анализ информации: перспективы направления
Задачи по аналитической обработке данных исторически сводились к анализу бизнес‑драйверов. В последние годы потребность в анализе меняется – предприятия анализируют информацию не только с целью отражения производительности своего бизнеса, но и с целью выявления новых стратегий развития. Бизнес становится ориентированным на данные, а бизнес-операции все больше начинают зависеть от грамотной аналитики.
Кривые, отражающие ценность данных во времени, показывают максимальный интерес к данным на своих границах (см. рис. 1).
Рис. 1.
Бизнес находит для себя все новые источники информации, а совокупный объем обрабатываемых данных растет. Сами данные меняются, становясь более неоднородными и вариативными.
Привычные подходы к обработке информации перестают работать. Все чаще возникают технические барьеры, не позволяющие удовлетворить потребности компаний, которые не получают вовремя, или даже полностью лишаются важной информации, и это негативно отражается на их конкурентоспособности.
Необходима своевременная качественная трансформация IT-архитектуры, которая позволит оперировать данными предприятия по всей их глубине, охватывая бизнес целиком. На примере наших проектов и запросов со стороны клиентов из различных отраслей, могу отметить, что технологии больших данных являются наиболее удобными инструментами для достижения этих целей. Они способны обеспечить комплексный подход к обработке разнородных данных на протяжении всего их жизненного цикла, позволяя не просто оперировать полученной информацией, но и превращать ее в актив в борьбе за конкурентные преимущества.
Антон Попов,
IT-архитектор компании «Неофлекс»
Опубликовано 01.08.2018