Решения Delta Solutions в области Big Data
В октябре в Москве прошло мероприятие Big Data Solutions, которое было организовано компанией Delta Solutions, российским системным интегратором, а в качестве ее партнера выступила американская компания Cloudera, один из мировых лидеров по разработке ПО в области Big Data.
Big Data – это набор технологий, которые позволяют эффективно хранить, обрабатывать и анализировать большие объемы информации. Термин Big Data принято характеризовать тремя “V”: Volume – объем данных; Velocity – скорость обработки информации; Variety – многообразие данных и их не структурированность.
Фирма Delta Solutions специализируется на разработке и создании высоконагруженных систем, решениях обработки данных в реальном времени, системах активации, Big Data и инфраструктурных решениях в России и странах СНГ В числе ее клиентов – компании ”Билайн”, МегаФон”, МТС, ”Теле2”.
Cloudera – разработчик дистрибутивов Apache Hadoop и ряда программных продуктов экосистемы Hadoop. С бумом технологий БД Cloudera неоднократно была отмечена аналитиками как одна из самых многообещающих фирм, способных решать задачи соответствующего класса. С осени 2018 года она находится в процессе слияния с основным своим конкурентом – компанией Hortonworks.
В числе особенностей Big Data отмечались три основных момента. Первый – в сфере хранения и управления большими объемами данных существующие реляционные решения не способны решать эти задачи для объемов, исчисляемых в терабайтах и петабайтах.
Второй – предприятиям все чаще приходится иметь дело с неструктурированной информацией и перед ними стоит задача организации работы с такими данными, как текст, видео и т. д. Третий – в деле обработки и анализа БД применяются технологии, связанные с параллельной скоростной обработкой данных и распределением по серверам, методы Data Mining и статистика для решения бизнес-задач.
Эти аспекты нашли отражение при создании решений для реализации Big Data-проектов компании Delta Solutions и при разработке ее стратегии, о чем рассказал Андрей Чернышев, генеральный директор этого предприятия.
На мероприятии была представлена платформа Cloudera для работы с БД для целей аналитики и машинного обучения с различными сценариями развертывания, которую активно использует Delta Solutions в своих проектах. Ее выбирают крупные заказчики из сферы финансов и страхового бизнеса, телекоммуникационные операторы, предприятия ретейла.
Технический эксперт Cloudera Балаш Гаспар рассказал о новых компонентах и технологиях компании Cloudera и провел демонстрацию компонента Cloudera Data Science Workbench – инструмента, помогающего специалистам по машинному обучению существенно сократить время разработки, тестирования и вывода моделей в промышленную эксплуатацию.
На мероприятии был представлен и российский проект, с докладом о котором выступил Александр Сафонов, руководитель внедрения продуктов Big Data в компании Tele2.
Внедрение Big Data-платформы в компании начиналось с нуля. “У нас стояла задача перейти от лабораторных опытов к индустриальной базе данных, развитию Big Data, созданию единого инструмента решения задач, – сказал он. – Четыре месяца ушло на разработку технического задания для тендера, два месяца - на согласование документов в смежных подразделениях оператора”.
За поставку и внедрение платформы БД отвечала компания Delta Solutions, внедрение ее решения заняло пять месяцев. В итоге была создана платформа хранения данных мобильного оператора, которая отвечала требованиям заказчика и уже показала хорошую масштабируемость.
В качестве ПО для реализации платформы была выбрана Cloudera, при этом использовалось аппаратное обеспечение от компаний QCT и Delta Electronics. Оборудование этих фирм было представлено на семинаре в виде натурных образцов и о нем были подготовлены соответствующие выступления.
Было отмечено, что сетевое оборудование Delta Electronics с открытой аппаратной платформой, поставляется как с предустановленным сетевым программным обеспечением, так и без него, что позволяет пользователю самостоятельно выбрать или разработать сетевое ПО для полного контроля своей сетевой инфраструктуры.
Далее следовал доклад о высокоплотных СХД и высокопроизводительном серверном оборудовании производства компании QCT (Quanta Cloud Technology), успешно зарекомендовавшем себя в облачных вычислениях, обработке больших данных в сетях доставки информации, в качестве серверов и СХД для размещения информационных порталов.
Продемонстрированные решения Big Data по утверждению сотрудников Delta Solutions являются унифицированными и могут быть использованы в различных сферах бизнеса – государственном секторе, телекоме, ритейле, банковской сфере, производстве и других.
Опубликовано 30.10.2018