Песочница для ЦОДа
Если вы руководитель, ответственный за ИТ на предприятии или в компании, поставляющей услуги, и вам предстоит обеспечивать работу 100 новых сотрудников в течение следующих пяти лет, какие темпы роста возможностей и производительности вы внесете в планы и как реализуете этот проект на базе вашей инфраструктуры?
Ответ на эти вопросы не найти путем простого математического расчета. Кроме того, планы, безусловно, потребуют корректировки в процессе реализации. Тем не менее для приблизительной оценки верхней и нижней планки расходов нужны лишь несколько исходных цифр и калькулятор. К тому же, вероятно, вы уже наметили поставщиков, к которым обратитесь для реализации своего проекта.
А что, если вас попросят разработать концепцию хранения данных для новой услуги, предлагаемой производителем автомобилей? Предположим, эта компания планирует запустить автопилот с подключением к облаку. Имеется приблизительная оценка количества проданных автомобилей в год и объема данных, однако нижняя и верхняя планки ожидаемого спроса заметно различаются, что потребует разработки целого ряда подходов к организации ЦОДов — ведь производитель рассчитывает на коммерческую выгоду и не захочет закупать избыточные мощности.
Что же произойдет, когда вам потребуется протестировать свои приблизительные расчеты на практике? Можете ли вы в любой момент выделить стойку, серверы, жесткие диски и сетевой канал, чтобы сравнить цифры с реальностью? Скорее всего, нет.
Конечно, решений для облачного хранения данных в наши дни не предлагает только ленивый, но они подходят не для всякого проекта, а при серьезных масштабах еще и довольно дорого обходятся. Если же предполагается обрабатывать конфиденциальные данные или планируются особые подходы к реализации проекта, то имеет смысл хранить такие данные в физически защищенном месте, однако такой вариант требует площадей, подключения к сети и большого количества «железа», а это тоже серьезные затраты.
И все же решение есть – это революционный подход к проверке идей и внедрению инновационных услуг. Компания Global Data Centers EMEA, подразделение концерна NTT Ltd., располагает мощностями Technology Experience Labs, которые обеспечивают площади, энергопитание и защиту, а также возможность реализации инновационных решений с использованием прогрессивных технологий облачного и локального хранения данных. Это позволяет менеджерам центров обработки данных и поставщикам услуг быстро и без лишних расходов внедрять новые решения для тестирования частных или гибридных облаков, а также исследовать распределенные архитектуры и оценивать их влияние на эффективность ИТ-услуг. Проект поддерживается сообществом энтузиастов, регулярно проводятся вебинары, учебные лагеря, встречи и хакатоны.
Главная площадка находится во Франкфурте (Frankfurt 1, Германия), доступно 65 000 м² площадей для серверов в здании, специально спроектированном как дата-центр. Энергоснабжение обеспечивается двумя подстанциями, запитанными от разных сетей. Кроме того, установлены два отдельных источника бесперебойного питания (ИБП) и имеется резервная система электропитания от дизельного генератора. Физическая безопасность и контроль доступа обеспечивают защиту систем от широкого спектра потенциальных атак, а также ведутся круглосуточный мониторинг и резервирование. Интернет-подключение со скоростью до 10 Гбит/с обеспечивают более чем 350 провайдеров. Этот кампус также связан оптоволоконным соединением с центром обработки данных NTT в Рюссельхайме (Frankfurt 3), что позволяет внедрять распределенные решения.
На сегодняшний день уже протестировано множество решений –среди них гибридные облака, хранилища данных, Big Data, DevOps, App Management и даже High Performance и Cognitive Computing. Проводятся также исследования «железных» решений, например испытания жидкостного охлаждения с рекуперацией тепла.
Однако вернемся к приведенным примерам. В подобных случаях многие менеджеры ИТ-компаний, центров обработки данных и организаций – поставщиков услуг стремятся к вертикальному масштабированию имеющихся систем и для увеличения производительности и емкости устанавливают дополнительное оборудование и диски. Если для вас это подходящий вариант, то у NTT есть среда, в которой можно дать оценку такому подходу. Для его демонстрации был построен высокопроизводительный сервер хранения данных, удовлетворяющий критериям по надежности и производительности, который можно использовать для различных iSCSI-задач объемом от 10 до 40 Тбайт.
Данная система, смонтированная в 2017 году, использует серверы серии Supermicro X10 в формате 2U с двумя процессорами Intel Xeon и 128 Гбайт оперативной памяти. В ее состав входят контроллер Microsemi ASR8885, сетевые карты со скоростью 10 Гбит/с и шасси JBOD с двойным расширением и верхней загрузкой на 60 мест от Celestica. Для хранения данных используются 3,5-дюймовые жесткие диски корпоративного класса Toshiba MG04SCA40EA емкостью 4 Тбайт с интерфейсом SAS 12 Гбит/с и скоростью вращения 7200 об/мин.
Решение построено на программном обеспечении для хранения данных Open-E JovianDSS на базе Linux с использованием файловой системы ZFS, подходящей для организации хранения данных по протоколам iSCSI, Fiber Channel (FC), NFS и SMB (CIFS). Благодаря Linux-основе оно отличается высокой аппаратной совместимостью и хорошо подходит для виртуализированных сред хранения данных, обеспечивая высокую целостность и надежную защиту с помощью контрольных сумм и самовосстановления данных и метаданных для обнаружения и исправления ошибок, а также может быть сконфигурировано как часть кластера системы active/active с двойным контроллером.
Итоговое решение представляет собой СХД с доступной пользователям емкостью 108 Тбайт и коэффициентом эффективности Zpool 50% при использовании двустороннего зеркального резервирования. Zpool разбит на 30 пар дисков с контролем четности, что обеспечивает 240 Тбайт необработанной емкости (фактически 120 Тбайт). Итоговая полезная емкость хранилища — 108 Тбайт, причем скорость чтения Zpool в 12,9 раза выше, чем для одного диска, а записи — в 8,5 раза. За исключением единственного запланированного отключения для обновления программного обеспечения, система работает без простоев и сбоев дисков с августа 2017 года.
Наряду с зеркальными группами поддерживаются двойные и тройные группы четности. Тройная четность рекомендуется для дисков большой емкости — 10 Тбайт и выше, при таком уровне допустимы сбои в работе трех дисков в каждой группе данных. Кроме того, Open-E JovianDSS поддерживает саморезервирование хранилища с возможностью версионирования вплоть до раза в минуту. Функция резервного копирования автоматически создает ротируемые в обозначенных рамках моментальные снимки тома в соответствии с заданными пользователем планами периодичности, асинхронно реплицируя дельты снимков в локальное или удаленное хранилище.
Приложение, отвечающее за резервное копирование, очень легкое и может оставаться запущенным постоянно без значительного влияния на производительность системы. Его можно использовать для регулярных задач по резервному копированию и восстановлению или для мгновенного аварийного восстановления.
Описываемый кластер служит доказательством масштабируемости СХД, а также виртуальной инфраструктурой хранения данных Technology Experience Lab для всех испытателей новых решений, что позволяет ему ежедневно подтверждать свои функциональные и эксплуатационные преимущества в реальных условиях.
Кроме того, кластер имеет потенциал для дальнейшего масштабирования по мере роста потребностей в хранении данных, для чего потребуется лишь добавить жестких дисков в корпусах JBOD. Верхний предел такого масштабирования определяется свободным местом в стойках, доступностью при помощи кабелей SAS, количеством портов SAS на контроллере (контроллерах) и вычислительной мощностью управляющего сервера. Масштабирование данного кластера JovianDSS в Technology Experience Lab возможно до объема в несколько петабайт, однако в связи с указанными ограничениями это, скорее всего, его предел.
Если объемы вашего потенциального роста и границы пользовательской базы не определены, как в примере с автомобильной компанией, то вам нужен другой вариант — хранилище, которое расширяется по мере необходимости и фактически не имеет верхнего предела возможностей. Речь о горизонтальном масштабировании, известном также как Scale-out.
СХД Scale-out основаны на сетевых связях, что позволяет по мере необходимости добавлять к существующим кластерам новые узлы практически без ограничений. Каждый кластер состоит из нескольких серверов, дисков и сетевого оборудования, при этом узлы кластера соединяются высокоскоростной сетью или кросс-платой. Благодаря такому подходу нет необходимости в закупке оборудования «на вырост», так как емкость и производительность можно расширять, когда это становится необходимым. Всё решение по хранению данных выглядит для пользователей как единое целое и может управляться через единый интерфейс, даже если части его аппаратной составляющей разбросаны по разным городам или континентам.
Чтобы гарантировать работу такого набора «железа» как единого хранилища, а также обеспечить расширяемость, отказоустойчивость и надежность, необходимо подобрать соответствующее программное обеспечение. Решение от NTT идеально подходит для тестирования комбинаций аппаратного и ПО и изучения их совместимости. С его помощью можно изучить, какой вариант наилучшим образом подойдет для ваших нужд, — например, для выполнения частичного или полного восстановления системы после ransomware-атаки в обстановке, приближенной к реальной.
В одной из таких систем используется PetaSAN – масштабируемая сеть хранения данных (SAN), построенная на Ceph. Последняя представляет собой ведущую платформу хранения данных с открытым исходным кодом, цель которой – обеспечение хранения данных на объектном, блочном и файловом уровне с помощью распределенного вычислительного кластера. Кроме того, она поддерживает масштабируемость хранилища и реплицирует данные, обеспечивая их отказоустойчивость, самовосстановление и самоуправление. Одна из возможных проблем заключается в том, что для ее настройки и обслуживания требуется администратор со знанием Linux. Для ее решения и был запущен open-source проект PetaSAN. Он упаковывает всю мощь и сложность Ceph в одноэкранный интерфейс управления, сохраняя возможность доступа к всемогущей командной строке Linux, когда это необходимо. Цель — предоставление высокодоступных кластерных iSCSI-дисков, каждый из которых сопоставлен со всеми физическими дисками в системе. Это означает, что, например, в кластерной гипервизорной среде могут поддерживаться одновременные транзакции нескольких виртуальных машин (ВМ) без заметного влияния на производительность.
Платформа построена с использованием аппаратного обеспечения от Starline Computer GmbH, состоящего из RAID-карт Areca в режиме pass-thru в сочетании с 10-гигабитными Ethernet-контроллерами Cavium с удаленным прямым доступом к памяти (RDMA). Внедрение PetaSAN позволяет получить высокодоступные кластерные диски iSCSI объемом 220 Тбайт на высокопроизводительных HDD Toshiba корпоративного класса емкостью 10 Тбайт. Полученные таким образом диски с режимом многопутевого подключения могут быть идентифицированы по виртуальным IP-адресам и обеспечены быстрым вводом/выводом с резервированием каналов.
Добавлю: эта система предоставляет ресурсы виртуального хранилища для Technology Experience Labs, особенно полезные для проверки концепций, требующих масштабируемости.
Разумеется, вы можете отказаться от эксплуатации и обслуживания аппаратных решений для хранения данных, или же при реализации может потребоваться сочетание собственных аппаратных и облачных ресурсов. В таких ситуациях можно рассмотреть возможность использования службы Amazon Simple Storage Service (S3). Благодаря Starline, в этой тестовой платформе имеется интегрированный шлюз S3, доступный через командную строку. В будущем он должен получить интерфейс для настройки.
Определение оптимального подхода к организации центра обработки данных — непростая задача. Требования к производительности и пропускной способности постоянно растут, но объемы этого роста сложно запланировать заранее. Здесь приходят на помощь решения, подобные описанному нами варианту. NTT предлагает профессионально организованное физическое пространство с поддержкой от сообщества – это позволяет проводить эксперименты с использованием значимых систем. К тому же с его помощью можно в некритических для систем условиях оценить и измерить реальные решения повседневных задач.
Опубликовано 22.07.2020