Тенденции рынка СХД и Big Data

Какие тенденции развития рынка СХД и Big Data вы наблюдаете сегодня?

заместитель директора департамента «Инжиниринговый Центр» компании «Техносерв»:

Основной тенденцией развития рынка СХД является смещение фокуса в более интеллектуальный сегмент: решения с распределенными узлами хранения, SDS-системы (Software Defined Storage), online-дедупликацию, интеграцию с приложениями и т. п.

руководитель группы развития СХД компании «Инфосистемы Джет»:

Одна из наиболее ярких тенденций – отказ от сложного специализированного оборудования в пользу SDS. При этом набирают популярность комбинированные решения, совмещающие функции хранения и обработки данных.

директор комплексных проектов DataLine:

В целом Big Data подразумевает уход от классических конфигураций СХД с несколькими контроллерами к распределенным вычислениям, Hadoop-кластерам и другим подобным решениям. Дальнейшее развитие Big Data во многом обусловлено тем, какие программные продукты будут предложены компаниям для оптимизации тех или иных задач и найдет ли бизнес конкретное применение этим технологиям.

директор по развитию бизнеса Bell Integrator:

Нарастающий объем «исторических» данных в компаниях финансового сектора и необходимость их оперативной обработки влекут за собой устойчивый спрос на технологии Big Data. В частности, в последнее время набирает силу тенденция перехода с дорогих СХД на более экономичные распределенные ресурсы. В большинстве банков сложилась ситуация, когда многочисленные программные доработки, призванные структурировать информацию, существенно осложняют работу ЦОДов. Решить эту проблему и позволяет практически безграничная масштабируемость СХД и оперативного доступа, созданных на основе технологий Big Data. Создавая распределенные хранилища данных, банки получают б?льшую стабильность и производительность, что критически важно с учетом колоссальных объемов данных аналитической отчетности и требований регулятора к их оперативной обработке. Как правило, в этом случае используются решения на базе Hadoop и других подобных ей технологий Big Data. Помимо этого мы наблюдаем спрос на решения Big Data для анализа неструктурированных данных маркетингового характера, а также оптимизации «тяжелых» отчетов в рамках СХД.

директор по технологиям «ФОРС Дистрибуция»:

Основные тенденции на рынке СХД определяются требованиями пользователей и возможностями технологий. Требования пользователей к системам хранения все те же: обеспечить скорость чтения/записи без снижения производительности, несмотря на растущие объемы данных, и при этом оставаться в рамках постоянных или даже снижаемых IT-бюджетов. Стремясь повысить скорость обработки данных и оставаясь при этом в рамках своих операционных расходов, компании все больше переходят на твердотельные СХД или гибридные системы хранения, в которых SSD используются только для горячих данных. В случае последнего варианта SSD составляют относительно небольшую часть общей емкости хранения, что не оказывает критического влияния на цену всего решения. Все больше компаний прибегает к многоуровневым системам хранения, которые в конечном итоге позволяют сэкономить средства: при использовании SSD для кеширования требуется меньше дисков SAS, а для нижних уровней хранения могут использоваться более медленные и более дешевые средства.

архитектор Big Data компании AT Consulting:

Компании, которые занимаются внедрением технологии Big Data, отмечают рост спроса на жесткие диски из low-end-сегмента. На мой взгляд, это связано с тем, что для Big Data и Hadoop, в частности, используется commodity «железо».

заместитель начальника отдела инфраструктурного ПО компании «Открытые Технологии»:

Среди основных тенденций, влияющих на развитие технологий в IT-пространстве, стоит особо выделить продвижение облачных технологий, машинного обучения и предиктивного анализа, повсеместное формирование новых сервисов, основанных на больших данных. Вследствие этого вектор развития рынка СХД смещается в сторону «умных» облачных решений и распределенных сервисов хранения.

технический эксперт Brocade:

Объемы информации продолжают расти, в связи с этим многие компании заинтересованы в переходе к гибким мультивендорным сетевым решениям, которые имеют единую оркестрацию и позволяют отойти от строгих протоколов одного разработчика.

Вы согласны, что в популяризации технологий Big Data, точнее самого этого термина, значительную роль играет маркетинговая составляющая?

менеджер по развитию бизнеса СХД компании Fujitsu:

Сегодня можно сказать, что уже ведется большое число проектов в данной области аналитики. Для эффективного их выполнения, например, в наши СХД были внесены специальные функциональные возможности. Исчезновение Big Data c кривой развивающихся технологий говорит скорее о переходе в стадию технологической зрелости. Поэтому, возможно, со временем поменяется маркетинговый термин, но не сам подход к задаче анализа больших данных.

директор департамента IT-решений Enterprise Business Group компании Huawei в России:

С Big Data происходит та же самая история, что в свое время с IT-аутсорсингом или «облаками». В связи с тем что эта многообещающая технология способна решать множество интересных задач совершенно непривычным для корпоративной IT-индустрии образом, давая поразительные результаты для определенной категории задач, возникает соблазн попытаться применить ее даже в тех задачах, для которых она не предназначена. Технология резко врывается в профессиональное сообщество, она малоизучена, но вокруг нее уже есть огромный ореол слухов, легенд и домыслов. Все это ведет к тому, что ожидания от нее сильно завышаются, кипят дискуссии, компании бросаются в активное продвижение этих продуктов, даже иногда не имея представления, что они собой представляют. У Gartner есть хорошее представление жизненного цикла для всех без исключения технологий. И там, после пика интереса и падения в пропасть разочарования от этой технологии, происходит новый подъем к плато ее рационального использования – она входит в жизнь как данность. Свою нишу заняли IT-аутсосринг, занимают облачные решения, и так же будет и с большими данными.

Как именно влияет на развитие сегмента СХД рост числа проектов, связанных с обработкой Big Data?

Руслан ХАЙРУЛЛОВ («Техносерв»):

В ответ на разнонаправленные требования современных аналитических систем класса Big Data к объему и скорости обработки данных одним из трендов развития СХД становятся гибридные системы хранения. Такие системы позволяют найти баланс между производительностью SSD-накопителей и стоимостью традиционных механических дисков. В результате гибридные СХД становятся наиболее оптимальными по соотношению производительности и цены для современных задач.

Артем ДЕМАРИН («Инфосистемы Джет»):

Производители СХД стали активнее предлагать новые линейки оборудования для работы с Big Data или развивать уже существующие узкоспециализированные решения. В частности, наблюдается рост доли Scale-Out-решений как в портфелях вендоров, так и в проектах последних двух-трех лет.

Алексей БЕДНОВ (AT Consulting):

Я бы сказал, что влияет прямо пропорционально. Чем больше проектов, связанных с обработкой больших данных, тем больше заказчики хотят сохранять ту информацию, которая раньше, возможно, была упущена и не собиралась специально.

Никита РОГАТОВ («Открытые Технологии»):

Требования, накладываемые процессами обработки и анализа данных в рамках проектов Big Data, задают очень жесткие ограничения на скорость, масштабируемость и функциональность СХД: она перестает быть частью инфраструктуры и становится одним из элементов, влияющих на получение прибыли, и самое главное – не только в IT-компаниях. Следствием этого становятся развитие существующих решений от основателей данного рынка и активные попытки потеснить их со стороны молодых игроков.

Стоимость хранения данных снижается, однако рост объемов данных, требующих хранения и обработки, нивелирует выгоду от снижения цен на носители. Возможен ли баланс интересов?

Александр ЯКОВЛЕВ (Fujitsu):

Баланс, конечно, находится, причем уже сейчас. Часть данных можно эффективно дедуплицировать, а часть перенести на ленты внутри специализированного архивного хранилища. При этом не стоит забывать, что задача роста объемов хранимых данных в свою очередь ставит отдельный комплекс задач по организации масштабируемой и высокопроизводительной подсистемы резервного копирования. Причем эффективные решения этих задач есть уже сегодня.

Артур ПЯРН (Huawei):

Стоимость правильно организованного хранения данных всегда была высока и складывалась отнюдь не только из стоимости носителей. Большой составляющей в ней является интеллектуальное ПО хранения данных и управления ими. Поэтому, судя по текущему состоянию дел в данной области, действительно есть интересный баланс: стоимость хранения данных в целом почти не меняется, а уменьшение стоимости носителей и возможность использовать программно определяемые СХД нивелируется увеличением объемов данных и новыми сложностями в их обработке.

С какими основными проблемами приходится сталкиваться при реализации проектов в области Big Data?

Руслан ХАЙРУЛЛОВ («Техносерв»):

Основными проблемами при построении систем хранения для задач Big Data, как ни странно, являются преимущества решений Big Data. Инструментарий в этой области позволяет обнаруживать ценную бизнесу информацию как в структурированных, так и неструктурированных данных. Поэтому заранее неизвестно, какого типа система хранения будет наиболее полно отвечать требованиям бизнес-аналитика. Универсальным решением такого класса проблем становятся гибридные СХД.

Артем ДЕМАРИН («Инфосистемы Джет»):

На данный момент наибольшей проблемой при внедрении решений Big Data являются некорректные или неточные результаты первичного сайзинга и оценки дальнейшего развития систем. Причина этого – в относительной новизне данного направления, то есть в отсутствии широкой базы подобных проектов и продолжительного опыта эксплуатации.

председатель совета директоров CleverDATA:

Сегодня термин Big Data все больше ассоциируется с инфраструктурой для хранения данных. Основная цель бизнеса – «сохранить всё». С этой задачей уже научились справляться, и Big Data как технологический тренд уходит на второй план. Сегодня наибольшая сложность в проектах по работе с большими данными заключается в том, как извлечь из них ценность. Использование алгоритмов машинного обучения, применение технологий, позволяющих автоматически находить закономерности в данных и не только предсказывать результат, но и рекомендовать действия, которые должны быть выполнены, превращают большие данные в «умные» данные.

Андрей ТАМБОВСКИЙ («ФОРС Дистрибуция»):

Что является критичным для рынка Big Data, так это большое количество конкурирующих инструментов, образующих законченное решение, и очень высокие темпы развития соответствующих технологий. Пользователю довольно сложно выбрать нужные инструменты, чтобы приступить к реализации проекта, тем более что никто не может гарантировать, как будут выглядеть эти инструменты, когда проект будет близок к сдаче в эксплуатацию. К другим проблемам реализации проектов Big Data можно отнести задачи, появляющиеся при переходе от пилота или макета к промышленной эксплуатации. Технологии Big Data родились в «чистой» среде научных экспериментов, развивались у крайне ограниченного количества крупных интернет-провайдеров. При переносе их в типичную корпоративную архитектуру возникает ряд проблем: обеспечение защиты данных, хранимых в таких системах, обеспечение высокой доступности и отказоустойчивости, документирование и обеспечение технической поддержки в рамках стандартных корпоративных регламентов, модернизация существующих систем с соблюдением требований к стандартизации и т. п. Решением вопроса может стать готовый программно-аппаратный комплекс. Его использование имеет ряд преимуществ по сравнению с самостоятельным развертыванием, сопровождением и развитием систем для поддержки проектов Big Data. Это и скорость развертывания системы, и возможность получить от производителя техническую поддержку аппаратных средств и программных компонентов, а также обновления программного обеспечения из единого источника.

Алексей БЕДНОВ (AT Consulting):

Основная и самая важная проблема, которая нам часто встречается, связана с непониманием того, как извлечь выгоду из огромного объема данных и превратить эти результаты в деньги. Выделить что-то действительно ценное из всей аккумулированной в организации информации — огромный труд. У многих компаний попросту не хватает ресурсов, чтобы решить эту задачу самостоятельно.

Никита РОГАТОВ («Открытые Технологии»):

В любых проектах основной трудностью является соблюдение баланса между стоимостью решения и его функционалом, но в случае проектов Big Data возможна более прозрачная оценка результатов для заказчика. И поэтому легче оценить и обосновать выбранные технологии и решения.

Какое ПО вашей компании в сегменте Big Data сегодня наиболее востребовано?

Артур ПЯРН (Huawei):

Huawei имеет специализированные СХД для решения особенных задач. Например, OceanStor 9000 позволяет использовать единую файловую систему для хранения данных объемом до 50 Пбайт, встроенную поддержку Hadoop и т. д. Но основным трендом на текущий день является использование программно определяемых СХД, так как позволяет заказчикам разделить стоимость ПО и стоимость оборудования.

Какие новые технологии сегодня оказывают существенное влияние на развитие рынка СХД и Big Data?

Руслан ХАЙРУЛЛОВ («Техносерв»):

Все интеллектуальные решения современных СХД трансформируют рынок, открывая новые возможности для решения задач бизнеса. Наиболее востребованы решения, направленные на снижение стоимости хранения данных и повышение производительности. Это развитие SSD-технологий, механизмов распределенного или иерархического хранения, методов дедупликации.

Артем ДЕМАРИН («Инфосистемы Джет»):

Развитие стандартных аппаратных вычислительных компонентов достигло такого уровня, что позволяет в большинстве случаев при построении СХД отказаться от специализированных компонентов (ASIC). Появляется возможность перейти на полностью программные реализации функций и решений в целом. Это проще, дешевле и часто быстрее по сравнению с классическим «аппаратным» подходом. Вероятнее всего, в ближайшее время нас ждет приток новых унифицированных многофункциональных продуктов от различных производителей.

Александр ЯКОВЛЕВ (Fujitsu):

Это и программно определяемые объектные сверхмасштабируемые хранилища, и технологические новшества, которые позволяют существенно увеличить эффективность хранения данных в обычной системе хранения. Среди наиболее востребованных – возможность расширять емкость и производительность хранилища на лету в соответствии с требованиями бизнеса, гарантируя при этом необходимый уровень производительности.

Денис РЕЙМЕР (CleverDATA):

Основной тренд, который сейчас явно виден, – «сохранение всего». С ростом числа устройств, как персональных, так и различных датчиков и сенсоров, применяемых в бизнес-процессах, происходит активное развитие распределенных масштабируемых систем хранения. Большинство технологий для хранения и обработки данных сегодня доступны как OpenSurce-решения.

Алексей БЕДНОВ (AT Consulting):

Могу выделить несколько технологий, которые влияют на рынок Big Data: поиск дублирующейся информации в СХД; восстановление информации по имеющейся части данных на основе хранения контрольных блоков; аппаратное сжатие.

Артур ПЯРН (Huawei):

С приходом Big Data и других мощных технологий IT-профессионалы все больше стали отталкиваться не от возможностей технологии, так как их рамки и так сильно расширились, а от задач, стоящих перед государством, обществом или бизнесом. В первую очередь сейчас много сил уходит на то, чтобы правильно сформулировать задачу, найти и показать ее значимость для бизнеса и только потом направить ресурсы на разработку конкретного решения и даже технологии. Такими новыми задачами сейчас являются проекты построения безопасных и «умных» городов, автоматизация транспортного хозяйства, полная автоматизация ЖКХ и традиционных предприятий различных отраслей, новые рекламные технологии.

Никита РОГАТОВ («Открытые Технологии»):

Пожалуй, в связи с самой спецификой обработки больших данных и требованиями к скорости обработки, ALL-FLASH решения будут обретать все большую популярность и, я надеюсь, меньшую стоимость.

Что наиболее сильно стимулирует спрос на технологии Big Data сегодня?

Артур ПЯРН (Huawei):

В первую очередь это новые возможности и новые деньги, которые эти технологии могут принести для бизнеса. Новые технологические ниши, которые компании могут занять.

Какие наиболее интересные решения в области СХД и Big Data, появившиеся относительно недавно, вы могли бы отметить?

Руслан ХАЙРУЛЛОВ («Техносерв»):

Наиболее интересны на данный момент распределенные HP Vertica, EMC GreenPlum и т. п. Эти решения позволяют data-инженеру собирать огромные объемы данных в производительную форму для последующей ее обработки аналитиком.

Артем ДЕМАРИН («Инфосистемы Джет»):

Во-первых, хотелось бы отметить появление на рынке СХД российских продуктов, готовых к промышленной эксплуатации. Это не ребрендированные решения сторонних разработчиков, а системы, полностью либо частично (только программная или только аппаратная часть) разработанные в нашей стране. Во-вторых, в последнее время большинство производителей СХД проводят унификацию своих продуктов, которая заключается в формировании сквозной линейки (в основном от Mid-Range до Hi-End) с едиными функциями и возможностью взаимодействия между собой.

Денис РЕЙМЕР (CleverDATA):

Наибольший интерес привлекают решения, обладающие не только технологической новизной, но имеющие практическую ценность. Так, например, Oracle совместно с CleverDATA недавно представили платформу управления данными для целевого маркетинга 1DMP. Это решение класса Marketing Data Platform, оптимизированное под программно-аппаратный комплекс Oracle Big Data Appliance и позволяющее в реальном времени понимать намерения клиентов на основании их динамически обновляемого цифрового профиля. Благодаря оптимизации системы хранения решение может обрабатывать огромные массивы данных о клиентах с возможностью практически линейного масштабирования.

Андрей ТАМБОВСКИЙ («ФОРС Дистрибуция»):

Среди решений Oracle имеется готовый программно-аппаратный комплекс (ПАК) для работы с большими данными – Oracle Big Data Appliance. В компании «ФОРС Дистрибуция» создан центр компетенций по технологиям Big Data, на базе которого заказчики и партнеры – разработчики ПО совместно с экспертами «ФОРС Дистрибуции» проводят тестирование различных продуктов и решений. Базой центра служат ПАК Oracle: Exadata Database Machine – для создания хранилищ, использующих традиционную технологию СУБД Oracle; Exalytics In-Memory Machine – для работы приложений Oracle BI; Oracle Big Data Appliance – для обработки больших данных.

Артур ПЯРН (Huawei):

Помимо традиционной линейки СХД Huawei OceanStor v3, способной решать любые задачи для классического корпоративного хранения данных – от небольших систем для малого бизнеса до корпоративных многоконтроллерных распределенных географически систем, Huawei активно продвигает программную платформу собственной разработки – FusionInsigh. Это полностью готовый к внедрению движок для больших данных, который позволяет организовать хранение и обработку Big Data с помощью технологии на основе Hadoop и экосистемы продуктов, выстроенных вокруг Hadoop. Huawei также является одним из крупнейших контрибуторов OpenSource-сообщества Hadoop, активно продвигает эту технологию и имеет за плечами множество реализованных на ее основе проектов.

Никита РОГАТОВ («Открытые Технологии»):

Одна из последних новинок, решение по хранению данных для быстрой аналитики – Kudu – была представлена компанией Cloudera. Эта платформа с открытым исходным кодом становится конкурентом наиболее популярной в Big Data среде HDFS.

Василий СОЛДАТОВ,

технический эксперт Brocade:

Наша компания разработала комплексный подход, который включает в себя использование новой концепции построения сетей — New IP. На уровне сетевой инфраструктуры Brocade предлагает решение Ethernet-фабрика, которое позволяет строить автоматизированное логическое шасси, адаптированное под передачу большого объема информации. Причем это решение не требует специализированной настройки, автоматически может определять тип трафика и использовать стандартные профили портов и политики для предотвращения перегрузки в сетевой инфраструктуре. На более высоком уровне Brocade предлагает заказчикам два типа программных продуктов: виртуальный маршрутизатор с функциями межсетевого экрана или концентратора, а также программный балансировщик трафика приложений. Использование данного ПО позволяет организациям существенно сократить время на инсталляцию, а также на ежедневную эксплуатацию. Решения могут быть инсталлированы на существующую серверную базу и не требуют дополнительного специализированного оборудования и электропитания. В некоторых случаях это позволяет повысить мобильность и существенно сократить сроки внедрения дополнительных сервисов (например, связанных со сбором статистики об имеющейся сети) и обеспечить мониторинг сетей в режиме реального времени.

Смотреть все статьи по теме "Большие данные (Big data)"