ГлавнаяПрактикаКак это сделать

Можно ли создать хранилище данных и забыть о нем?

23.08.2021Автор Райнер Кэзе
Можно ли создать хранилище данных и забыть о нем?
Даже самым стабильным и надежным СХД требуется обслуживание. Многие думают, что невозможно избежать обновлений прошивки и ПО или замены вышедшего из строя оборудования. Но так ли это в действительности? Вот пример системы, которая четыре года работает без обслуживания и непредвиденных сбоев.

Еще в 2017 году компания Toshiba создала ZFS-систему хранения данных для Technology Experience Lab – подразделения международного оператора центров обработки данных NTT Global Data Centers, входящего в японский телекоммуникационный холдинг NTT. С тех пор, если не учитывать плановой 10-минутной остановки для добавления новых функций ZFS, хранилище стабильно работает без сбоя всех его компонентов — 60 жестких дисков, SSD, контроллеров, источников питания, вентиляторов, кабелей и т. д.

Technology Experience Lab — это площадка, где менеджеры ЦОДов и их коллеги могут исследовать инновационные подходы к проектированию серверов и хранилищ данных: оценивать в средах с низким уровнем риска эффективность частных или гибридных облачных систем, распределенных архитектур и альтернативных подходов к предоставлению ИТ-услуг. Помимо этого, сообщество пользователей Technology Experience Lab может предоставлять поддержку и предлагать свои идеи на встречах, вебинарах, хакатонах и учебных курсах.

Заказчик запросил хранилище полезным объемом 102 Тб, для создания которого потребовалось бы 240 Тб памяти и ПО JovianDSS на базе ZFS, разработанное партнером Toshiba – компанией Open-E. Данный софт обеспечивает высокую доступность, не имеет единой точки отказа и обладает высокой гибкостью, позволяя при необходимости делать моментальные снимки и мгновенно восстанавливать систему. Аппаратное обеспечение для поддержки такой системы должно быть высоконадежным и производительным, чтобы можно было в полной мере использовать преимущества программного обеспечения, включая поддержку нескольких целевых блочных хранилищ iSCSI объемом 10–40 Тб, а также нескольких общих файловых папок.

Тщательное планирование заложило основу успешной работы хранилища в долгосрочной перспективе. Toshiba постоянно изучает новые способы развертывания серверов в своих лабораториях, в результате у нее сложились тесные отношения с широким кругом поставщиков оборудования и программного обеспечения, а параллельно накапливает большой объем знаний о том, какое из решений работает эффективнее всего. Эти знания позволили команде создать аппаратную архитектуру с поддержкой ПО JovianDSS от Open-E, которое хорошо зарекомендовало себя и в других проектах.

Чтобы обеспечить 102 Тб полезной памяти, решено было использовать 3,5-дюймовые диски Toshiba Enterprise Capacity (MG04SCA40EA) объемом 4 Тб с интерфейсом SAS. Среднее время наработки на отказ у этой модели составляет 1 400 000 часов, а коэффициент невосстановимых ошибок — всего 10 на 1016 считанных битов, поэтому она идеально подошла для достижения требуемого уровня надежности.

Не осталась без внимания и производительность: диски со скоростью вращения 7200 об/мин позволили достичь рейтинга zpool на диск: при чтении – 12,9, а при записи – 8,5. Для поддержки журналов записи ZFS и кэша использовались твердотельные накопители с интерфейсом SAS от KIOXIA (ранее известной как Toshiba Memory) из линейки Enterprise объемом 1,6 Тб с показателем надежности 10 DWPD.

Один из основных факторов отказа жестких дисков – перегрев, поэтому необходимо было внимательно отнестись к выбору серверных корпусов для установки таких дисков. Команда проекта предпочла AIC J4060-01 Dual Expander с поддержкой скорости передачи данных 12 Гб/с для создания массива JBOD на 60 отсеков с верхней загрузкой. Охлаждение обеспечили четыре вентилятора 80×38 мм с возможностью горячей замены. В ходе тестирования сборки выяснилось, что разница температур между самым холодным и самым теплым накопителем составила всего 4 °C, что подтвердило правильность принятых решений.

Высокой эффективности энергопотребления и надежности системы удалось достичь благодаря блоку питания на 1400 Вт с возможностью горячей замены «1+1» и энергоэффективностью 80+ Platinum. Связь с массивом была организована с помощью адаптера Microchip Adaptec RAID ASR-8885 с восемью внутренними и восемью внешними портами, работающего в режиме HBA. Эта модель считалась лучшей в 2017 году.

Наконец, выбор места размещения системы Technology Experience Lab — кампус Global Data Centers NTT Frankfurt 1 — стал заключительным элементом стратегии обеспечения надежности. Площадь 60 000 м2 предлагает исключительные возможности подключения к сети, а питание обеспечивается двумя отдельными европейскими сетями электроснабжения, которые напрямую подключены к серверу и дисковым корпусам. ЦОД защищен физически, а надежность хранения обеспечивается за счет высокоэффективной системы охлаждения.

На сегодняшний день, повторяю, система работает без сбоев уже в течение четырех лет. Планируется и далее эксплуатировать ее для изучения надежности – даже после истечения через год срока гарантии поставщиков на большинство аппаратных компонентов корпоративного уровня. Исходя из опыта работы с жесткими дисками Toshiba линейки Enterprise, команда проекта полагает, что хранилище будет безотказно работать еще много лет.

За время эксплуатации решения для хранения данных в Technology Experience Lab, к удовлетворению всех вовлеченных сотрудников, было проверено множество концепций. «Подразделение многое приобрело в ходе эксплуатации этого решения, и мы крайне впечатлены его стабильностью. Наш ЦОД широко доступен, и я не могу представить себе более надежного решения, которое обеспечивало бы хранение и обработку данных корпоративного уровня. Мы ожидаем еще многих лет безотказной работы», — сказал Доминик Фридель (Dominik Friedel), менеджер по развитию бизнеса в NTT Global Data Centers.

После анализа использования хранилища, в ходе которого сделано множество моментальных снимков и оценок целостности, а также произведены подключения и отключения целевых блочных хранилищ iSCSI каждую неделю, стало ясно, что используемое ПО также было наилучшим выбором. «Я горжусь идеальной работой хранилища на протяжении стольких лет, но уверен, что оно продемонстрировало еще не все свои возможности. Невероятный уровень производительности и надежности стал возможен благодаря использованию ZFS и Linux-системы в сочетании с первоклассным “железом”. Всё это позволяет системе служить десятилетиями. И это не просто наши догадки. Open-E создает системы хранения данных ZFS уже более 20 лет, в течение которых мы предоставили аналогичные решения клиентам по всему миру», — говорит Кшиштоф Франек (Krzysztof Franek), генеральный директор Open-E GmbH.

Возможно, ключевым фактором успеха данного проекта стало сотрудничество: важен обширный опыт во всех областях, а не отдельных сферах. Только объединяя лучшие технологии и знания об их возможностях, можно успешно создать систему с такими строгими требованиями. Мы очень гордимся нашей партнерской сетью с участием Open-E, KIOXIA, AIC, NTT и Microchip. Даже несмотря на то, что жесткие диски Toshiba невероятно надежны, они являются лишь частью системы, состоящей из множества компонентов. Поэтому, чтобы обеспечить высокую надежность и выполнить требования клиентов, нужно учитывать всё.

Похожие статьи