Как развивать ИТ-инфраструктуру для больших данных?
В России схожие тенденции дополняются локальными особенностями. Как минимум четверть российских компаний применяют технологии сбора, обработки и анализа больших данных. Наиболее активно это делают представители финансового сектора — примерно половина из них использует аналитику для борьбы с мошенничеством, оценки кредитоспособности и управления активами.
Растущее количество данных и проектов в области аналитики требует развития ИТ-инфраструктуры, и в первую очередь расширения вычислительных мощностей. Проблем с покупкой серверного оборудования нет. Компании могут выбрать оборудование российского производства или продукты иностранных вендоров, ввозимые по альтернативным схемам — но без поддержки производителя. Сложность в другом: с уходом западных вендоров ПО обострилась ситуация с выбором софта для бизнеса, а это в свою очередь привело и к более жесткому отбору оборудования.
Сейчас некоторые компании ищут альтернативы — программные продукты российского происхождения. Организации с сильным ИТ-направлением разрабатывают собственные решения. Тем не менее многие продолжают пользоваться зарубежным ПО. Переход на новый софт является более болезненным и затратным для организаций, чем замена оборудования.
Как выбрать сервер?
Учитывая этот контекст, нужно подходить к расширению аппаратного обеспечения для работы с большими данными. В свою очередь, выделю четыре параметра, которые надо учитывать при выборе серверного оборудования.
Первый — стоимость за терабайт, то есть количество накопителей в рамках каждого узла или сервера. Однако больше не означает лучше. Чтобы система была сбалансирована, важно подобрать правильную комбинацию процессора, оперативной памяти и дисков (системы ввода/вывода).
Второй — качество оборудования. Это поможет избежать брака, процент которого на рынке сейчас довольно высок, или отказов во время эксплуатации. Из-за некачественного оборудования увеличивается количество сбоев и, соответственно, затраты на ремонт. При этом стоимость простоя для некоторых видов бизнеса — ретейла, банков, телеком-операторов — может быть очень высокой. По оценке IDC, компании из Fortune 1000 теряют во время сбоев $1 млн в час.
Третий параметр — обслуживаемость. Нужно оценить, насколько конкретный сервер или СХД удобен и прост в обслуживании: как происходит замена вышедших из строя компонент, их добавление или перенастройка оборудования.
Четвертый и, пожалуй, самый главный критерий — совместимость и поддерживаемость «железа» и ПО. Здесь речь идет о правильном подборе сущностей и конфигураций аппаратного обеспечения для необходимого софта исходя из целевой нагрузки и назначения системы в целом. Разработчики и аналитики используют широкий набор программных продуктов, в основном Open Source. Это своеобразный конструктор, состоящий из разных модулей, которые отвечают за хранение, вычисление, управление, оркестрацию, безопасность и разграничение доступа, обработку данных и т. д. Здесь могут быть сотни отдельных продуктов или пакетов, между которыми необходимо обеспечивать совместимость и взаимодействие. И для всей этой экосистемы важно правильно подобрать вычислительные ресурсы.
Требования к мощности
Выбор серверов зависит от конкретного ПО и его архитектуры, но, как правило, для работы с аналитическими системами нужна высокая производительность.
Насколько важна мощность каждой единицы оборудования? Если возможно горизонтальное масштабирование систем, можно выбрать стандартные серверы и не придираться к их производительности. Однако для некоторых программных продуктов такая организация вычислительных ресурсов менее предпочтительна. Тогда стоит тщательнее оценить возможности оборудования.
Мощные серверы необходимы для работы искусственного интеллекта, высокопроизводительных вычислений (HPC), систем моделирования и прогнозирования. Помимо этого, они нужны, когда нагрузка плохо распределяется на разные вычислительные узлы. Например, когда важно обеспечить быстрое взаимодействие процессор-память. Этого требуют многие СУБД, платформы in-memory-вычислений, иногда — машинное обучение.
Высокие требования к производительности серверов бывают и у Legacy-систем, логику работы которых закладывали еще в 70-80-х годах. Многие современные продукты имеют возможность распараллеливать вычисления, тем самым позволяя использовать больше отдельных вычислительных узлов.
Основным недостатком распараллеливания является интерконнект между узлами, который выступает «узким горлышком» для работы систем. При использовании нескольких вычислительных узлов необходима более сложная архитектура построения решений для обработки и анализа данных, что затрудняет управление этим процессом.
Когда важна скорость обработки больших объемов информации, можно использовать серверы с графическими процессорами (GPU). Например, иногда их выбирают для подготовки данных и тренировки моделей машинного обучения. Однако эффективность GPU в большой степени зависит от возможностей ПО, которое его утилизирует. Ранее вместе с оборудованием можно было получить специализированные программные продукты для работы с ним. Сейчас доступ к этим инструментам ограничен и, как следствие, спрос на серверы с GPU сузился.
Облако или on-premise
Альтернативой собственной инфраструктуре может стать использование облачных сервисов для хранения и обработки больших данных. Например, некоторые провайдеры предоставляют соответствующие инструменты в качестве PaaS (платформа как сервис).
Хранение больших объемов информации в облаке, на первый взгляд, выгоднее экономически. Однако возможность использовать облачные ресурсы для этих целей зависит от того, насколько тесно данные интегрированы с другими продуктивными системами компании. Возникают вопросы взаимодействия облака и систем on-premise, скорости каналов, а самое главное — информационной безопасности.
В исследовании ‘Thales Cloud Security 2022’, говорится, что 45% компаний, хранящих данные в облаках, сталкивались с утечками или другими рисками безопасности. При этом 51% респондентов заявили, что управлять конфиденциальностью и защитой данных в облаке сложнее, чем локально.
Кроме того, хранение в облаке не избавляет от необходимости резервного копирования данных — это нужно учитывать при расчете расходов на облачную инфраструктуру. И всегда помните о риске смены облачного провайдера: перевести сложную архитектуру с большим объемом данных на новую платформу — непростая и трудоемкая операция.
* * *
Потребность бизнеса в обработке и анализе больших данных растет, а ждать возвращения ИТ-ландшафта к состоянию до 2022 года не приходится. При этом в России, несмотря на технологические ограничения, есть возможности для построения эффективной инфраструктуры для работы с данными. Качество программных и аппаратных продуктов российского производства растет — вместе с этим увеличивается количество компаний, выбирающих импортонезависимые решения для своих задач, включая проекты в области аналитики больших данных.
Опубликовано 20.09.2023
