IT ManagerИТ в бизнесеИнфраструктура

Где сохранить «свой первый зеттабайт»

| 02.04.2018

ВКонтакт Facebook Google Plus Одноклассники Twitter Livejournal Liveinternet Mail.Ru

Где сохранить «свой первый зеттабайт»

Современный рынок систем хранения данных адаптируется к меняющимся требованиям бизнеса. Системы постоянно развиваются, при этом происходит не только увеличение объемов и производительности, но и изменение парадигмы доступа к информации. Какие направления в области хранения информации наиболее перспективны?

Трансформация систем хранения

Тридцать лет назад иметь системы хранения данных (СХД) могли позволить себе только крупные научные институты или военные подрядчики. С появлением архитектуры x86 и домашних ПК технологии централизованного хранения данных начали проникать в крупные бизнес-структуры. С популяризацией технологий серверной виртуализации СХД стали неотъемлемой частью любого отказоустойчивого решения, даже в малых организациях и офисах. Буквально вчера начался новый виток эволюции в области хранения данных, связанный в первую очередь с развитием бизнеса больших данных (big data), облачных сервисов (cloud computing) и инфраструктуры по требованию (on-demand).

Для меняющегося рынка хранения, несомненно, необходимо развитие новых технологий передачи данных, новых парадигм доступа к информации и, возможно, новых протоколов. Самым простым примером адаптации к изменяющимся требованиям можно назвать появление протоколов объектного доступа, аналогичным S3. Этот вид доступа оптимизирован для работы через глобальные сети WAN и построен на традиционной, широко известной и распространенной инфраструктуре протокола HTTP(s) с поддержкой географического распределения нагрузки, ввода и вывода хранилищ «на лету».

Таким образом, большинство современных систем хранения данных, где содержатся весьма солидные объемы информации, трансформируются в территориально-распределенные программно-определяемые комплексы (Software-defined storage, SDS). В таких СХД основную роль играет софт, а не «железо». Архитектура систем подобного класса допускает периодические сбои и выход из строя расходных материалов, в частности, накопителей. Сбои не должны превращаться в «стрессовые ситуации» для SDS, поскольку при использовании обычных компонент (commodity) и больших масштабах, они происходят довольно часто.

Совершенствованию современных программно-определяемых СХД способствует удешевление и рост производительности центральных процессоров, увеличение спроса на хранилища огромного размера и развитие рынка провайдеров услуг. Но в первую очередь драйвером большинства бизнес-технологий можно считать потребительский сегмент. Микропроцессоры в переносных устройствах, построенные по архитектуре ARM, завоевали не только нишу компактных, экономичных «холодных» устройств, но и плавно вытесняют традиционные архитектуры x86 и PPC из серверного сегмента.

Низкая стоимость, малое энергопотребление и тепловыделение сделало идеальным применение данных процессоров во встраиваемых системах.

Более «умные» и производительные твердотельные накопители, выигрывающие за счет собственной встроенной операционной системы, оснащены не только процессором, но и оперативной памятью. Такие накопители обеспечивают сжатие или дедупликацию данных, более производительное «выравнивание записи». Расширение их функционала возможно за счет выпуска нового микрокода и обновления устройств «на лету».

В жестких дисках рост быстродействия микропроцессоров вылился в интеграцию некоторых функций, ранее требовавших отдельного контроллера непосредственно на плату жесткого диска. Сегодня экономически выгоднее размещать контроллеры шины USB в виде функционала на самом жестком диске, появляются накопители, предназначенные для использования в программно-определяемых системах. У подобных HDD более мощный процессор, они способны самостоятельно выполнять часть программного кода системы, реализуют сетевой интерфейс и поддерживают протоколы TCP/IP прямо на плате жесткого диска.

Не следует забывать и про такой класс систем, как архивы, обеспечивающие гарантированное долгосрочное хранение. После непродолжительного затишья на этом рынке намечается новая тенденция, берущая начало от отраслевых гигантов, например, от Facebook. Кажущаяся логичной замена ленточных приводов оптическими дисками долго не могла найти своей ниши среди бизнес-пользователей из-за высокой стоимости решений и низкой востребованности преимуществ данных решений.

Современные долгосрочные архивы строятся в основном на двух технологиях носителей.

Первая — это жесткие диски, которые обеспечивают случайный доступ к хранимой информации (отсутствие необходимости перемотки и последовательного чтения данных) и обладают высокой производительностью. Современный формат носителей — протокол SAS, форм-фактор 3,5 дюйма. Длительно хранить данные на HDD дорого из-за высокой стоимости самих носителей, постоянного расхода электроэнергии и необходимости охлаждения. Массивы на жестких дисках обладают низкой мобильностью и часто не обеспечивают возможности отчуждения носителей для защищенного хранения. За счет произвольного доступа информация на HDD может храниться в виде, исключающем дублирование данных, поэтому требуется дополнительная защита от потери диска, например, в виде организации массивов RAID. Долгосрочное хранение в данном типе хранилищ реализуется редко из-за высокой стоимости решения, больших операционных трат и отсутствия возможности отчуждения накопителей и высоких. Поэтому массивы на жестких дисках используются либо для краткосрочного хранения, либо как один из компонентов системы иерархического хранения данных (HSM), где актуальная информация размещена на более «дорогом» и «быстром» уровне, а в качестве основного хранилища предусмотрены, например, магнитные ленты.

Вторая технология, более популярная при долгосрочном хранении, — магнитные ленты. Современный формат носителей — LTO-8. Основной недостаток ленточных накопителей — последовательный режим доступа. Информацию можно считать только в том порядке, в котором она записана. Конечно, существует возможность перемотки носителя: суммарно позиционирование на начало сегмента занимает несколько десятков секунд против тысячных долей секунды у современных жестких дисков.

Кассеты LTO — самодостаточный компонент, который может существовать отдельно от основной системы. Их можно вынимать из библиотеки, перевозить на удаленные площадки, запирать в несгораемые шкафы. Основное требование к хранению накопителей — рекомендуемая температура долгосрочного хранения 16–25 °С, небольшая влажность до 50% и периодическая перемотка ленты.

В картридже отсутствуют активные электрические компоненты, он не разряжается со временем и не потребляет электричество, следовательно, затраты на такое архивное хранилище практически не растут с увеличением его объема. Главным рабочим компонентом систем хранения на магнитной ленте является привод, обеспечивающий чтение и запись с картриджей. Приводы доступны как в переносном варианте, в исполнении для монтажа в стойку, так и в составе ленточной библиотеки. Помимо привода и картриджей в ленточной библиотеке предусмотрен автоматический загрузчик кассет, выполняющий индексацию лент внутри библиотеки, перемещение накопителей между отсеками и приводами.

Среди особенностей ленточных систем хранения информации следует отметить постоянную скорость доступа к данным. Шпиндель привода вращается с фиксированной скоростью, поэтому клиент должен обладать достаточной производительностью для получения или отправки информации.

Из «молодых» технологий, еще не получивших широкого распространения в бизнес-сегменте, можно выделить класс оптических библиотек на компакт-дисках. Эти системы созданы сократить разрыв между технологиями записи на жесткие диски и магнитные ленты за счет реализации преимуществ, присущих обоим типам: отчуждаемости, произвольного доступа, относительно низкой стоимости владения, автономного хранения данных.

Оптические диски обычно компонуются в кассеты по несколько штук. В одной кассете диски могут быть объединены по отказоустойчивой конфигурации аналогично RAID, таким образом повышается надежность кассеты как отчуждаемого носителя. Оптические диски также обладают намного меньшим временем позиционирования головки и обеспечивают произвольный доступ к информации.

В отличие от ленточных накопителей оптические диски не нуждаются в периодической перемотке и низкой температуре складирования — это обеспечивает более дешевое и долгосрочное хранение данных.

Теперь, когда вы ориентируетесь в современных технологиях хранения информации и имеете представление о том, куда движется наука и техника, стоит задуматься, какое решение выбрать для удовлетворения собственных нужд. Для начала имеет смысл обратить внимание на услуги хранения данных.

Выгодное хранение в облаках

В терминологии облачных решений принята следующая классификация: частное облако, публичное облако и совмещенное решение — гибридное облако. Пока выполняются условия SLA, заказчику не обязательно знать, на какой именно системе размещаются его данные.

Публичное облако предоставляет услуги частным лицам и компаниям на оборудовании сервис-провайдера. В качестве примера публичных облачных решений можно привести Amazon AWS, Microsoft Azure, HPE Helion, IBM Bluemix.

В разрезе темы хранения данных среди облачных решений выделяют три основные группы:

·       Виртуальные системы хранения данных предоставляют клиенту возможность самому администрировать виртуальную или физическую часть системы хранения данных. Производительность и емкость СХД задается типом и объемом накопителей и процессорной мощностью. Гарантированных характеристик производительности обычно не дается.

·       Блочные устройства хранения часто применяются в концепции PaaS и позволят подключить логический том в виртуальную машину или контейнер только у данного провайдера услуг. Заказ услуги производится исходя из требуемых характеристик емкости, например, объема, производительности, типа носителей, отказоустойчивости.

·       Объектные хранилища — распределенные системы, часто доступные через Интернет и оперируют только понятиями объектов. Но с успехом могут применяться для хранения резервных копий, образов виртуальных машин, резервных копий и даже файлов.

Как получить выгоду от облаков? Давайте рассмотрим некоторые сценарии использования представленных облачных услуг для оптимизации стоимости хранения данных.

Виртуальные системы хранения данных часто имеют вполне реальный аналог среди оборудования класса предприятия. Так, в облаке доступны системы хранения данных на базе операционной системы ONTAP, самостоятельно можно развернуть программно-определяемые СХД, имеющие аппаратные аналоги, в частности, HPE StoreOnce и StoreVirtual VSA. Эти и другие программно-определяемые системы хранения данных позволяют строить гибридные решения, объединяющие локальные и облачные СХД. За счет использования функционала встроенной репликации данных локальные СХД постоянно копируют новую информацию в облако. Таким образом вы получаете «теплый» отказоустойчивый сайт у провайдера услуг и можете значительно ускорить процесс восстановления в случае выхода из строя локального оборудования. Для некоторых компаний, не имеющих резервного ЦОДа, подобный вариант становится единственно возможным способом защиты от катастроф.

Объектные облачные хранилища появились относительно недавно. Эти системы предназначены для хранения резервных копий, архивирования данных, организации озер данных (Data Lake) для облачных вычислений и аналитики.

Благодаря своей простоте протокол получил широкое распространение среди современных информационных систем и оборудования. Системы, поддерживающие S3, в последнее время встречаются не только как облачные услуги, но и как аппаратные системы. В облаке лицензирование продукта часто не зависит от производительности доступа, а больше нацелено на объем взаимодействия с хранилищем. Таким образом, можно подобрать оптимальный тарифный план для долгосрочного хранения — частой записи при практически полном отсутствии чтения.

Многие современные продукты резервного копирования поддерживают объектные системы хранения данных для записи резервных копий. Программные системы хранения данных, к примеру Veritas Access, не только предоставляют собственную емкость по протоколу S3, но и обеспечивают иерархическое хранение с помощью облачных услуг. Поддерживаются различные конфигурации, в том числе когда локально представлен файловый доступ, а в облако данные передаются как объекты, организуя гибридный файловый массив.

Храним «дома»

Облачные решения пока стоят дорого и не могут полностью вытеснить локальные системы хранения данных. Отсутствие широких каналов связи и «чувствительность» информации к несанкционированному доступу также ограничивает применение облачных технологий на предприятиях. Остается выбор: либо строить собственную систему хранения данных, либо обращаться к готовым программно-аппаратным решениям.

Традиционные системы все еще лидируют по стоимости в сегменте маленьких, средних, а также высокопроизводительных внедрений. Это в первую очередь связанно с закрытостью архитектуры таких систем, которая обеспечивает достаточную простоту обслуживания и низкую стоимость владения, но отличается невысокой гибкостью.

Программно-определяемые СХД, достаточно популярные у провайдеров услуг и в крупных научных организациях, часто строятся на ПО с открытой архитектурой, подразумевающей расширение функционала за счет добавления собственных модулей. Незаменимым преимуществом SDS является возможность абстрагироваться от модели аппаратного обеспечения и проводить бесшовную замену и модернизацию компонентов системы. На малых объемах данных пока не выгодно эксплуатировать такие системы из-за архитектурных особенностей (часто необходимо установить как минимум три вычислительных сервера и использовать высокопроизводительную внутреннюю сеть передачи данных). Но по достижении определенного объема эти системы способны конкурировать с традиционными проприетарными решениями. SDS на жестких дисках подходят для краткосрочного и среднесрочного хранения больших объемов данных, не требующих высокопроизводительного доступа, например, результатов научных экспериментов, информации с датчиков и камер для последующей обработки и анализа, медиаконтента.

Производители жестких дисков осваивают технологию изготовления накопителей для долгосрочного хранения, но такие решения еще не нашли применения в бизнес-сегменте и больше ориентированы на домашних пользователей и компьютерных энтузиастов. Поэтому ленточные накопители до сих пор остаются лидирующей технологией для решений, не подразумевающих последующую обработку информации. Ленточные и оптические библиотеки могут быть использованы как по отдельности, так и в составе иерархической системы, предусматривающей несколько уровней хранения данных в зависимости от частоты доступа и возраста информации. Решения HSM позволяют оптимизировать хранение для сведений, не требующих регулярного доступа — например, в медиапроизводстве и на телевидении, также есть успешные истории внедрения подобных систем для корпоративных файловых ресурсов и хранения неструктурированных данных.

img

Михаил ЧУСАВИТИН,

ведущий инженер отдела ЦОД компании

«ЛАНИТ-Интеграция» (входит в группу «ЛАНИТ»)

Ключевые слова: СХД


Поделиться:

ВКонтакт Facebook Google Plus Одноклассники Twitter Livejournal Liveinternet Mail.Ru

Другие материалы рубрики

Компании сообщают

Мероприятия

15.10.2018 — 01.11.2018
Четвертая международная конференция ПРОSTOR о технологиях хранения данных

площадка Deworkacy Красный Октябрь (Москва, Берсеневская набережная 6, стр.3, 6 этаж)

23.10.2018
Северо-Западный форум Cisco

Санкт-Петербург, Гостиница Астория

26.10.2018
Цифровая трансформация для Руководителей и Собственников бизнеса

Москва, Озерковская наб. 26, отель «АКВАМАРИН» (М. Новокузнецкая, Третьяковская), конференц-зал «ЭМЕРАЛЬД» (1 этаж)