Хранить нельзя потерять: как российские СХД выживают в эпоху больших отказов и дефицита кремния

Если бы пару лет назад системному архитектору сказали, что главной темой дискуссии о системах хранения данных станет внезапное выпадение сразу трех крупных дата-центров за одну неделю, он бы, скорее всего, нервно рассмеялся и пошел проверять бэкапы. Но реальность — дама с весьма специфическим чувством юмора. Поэтому онлайн-круглый стол «Системы хранения данных в России», организованный порталом IT-World.RU, начался без долгих прелюдий.

Уязвимость каждого дня

Недавние события наглядно продемонстрировали неприятную истину: гигантские централизованные ЦОДы, при всей их экономической эффективности и удобстве, сами по себе являются уязвимостью. Достаточно вывести из строя несколько ключевых узлов, и привычный цифровой комфорт сыплется на глазах. Когда перестает работать корпоративное такси или пропадают сервисы навигации, обывателю кажется, что сведения сгорели синим пламенем. Однако на деле между потерей данных и потерей доступа к ним лежит огромная пропасть. Современная архитектура крупных провайдеров давно учитывает жесткие сценарии благодаря программно-определяемым хранилищам на базе Ceph и объектному протоколу S3.

Как справедливо заметил директор департамента серверных и сетевых систем компании «Гравитон» Александр Фильченков, драматизировать сохранность самой информации не стоит, поскольку проблема кроется в вычислительном контуре и сетях: «Нюансы, связанные с хранением данных, у всех провайдеров, работающих с Big Data, решены. Мы давным-давно используем Ceph, они давно «сидят» на технологии S3, и данные у них реально распределены минимум между тремя дата-центрами, а значит, у этих операторов фактически не произойдет потери информации ни при каких обстоятельствах. Если, конечно же, полностью не прекратится доступ к трем геораспределенным точкам. Другое дело вычислительные мощности, которые обрабатывают эти данные, — вот с ними действительно есть сложности, потому что протокол S3 достаточно сильно нагружает сеть хранения и сеть передачи данных. В текущий момент проблем непосредственно с доступом к хранению нет, есть проблемы с доступом именно с точки зрения ресурсов».

Проще говоря, ваши деньги на корпоративном счете и файлы в облаке никуда не исчезли — они целы и лежат в полной безопасности, просто временно некому обработать запрос, чтобы показать их на экране смартфона. С точки зрения инженеров, внезапное падение нескольких площадок — ситуация, безусловно, не рядовая, но отнюдь не апокалиптическая. Десятилетиями отрасль училась на глобальных катастрофах. Руководитель направления развития СХД компании Fplus Артем Калашник напомнил, что до терактов 11 сентября 2001 года золотым стандартом катастрофоустойчивости считалось наличие двух распределенных ЦОДов, пока не выяснилось, что у ряда корпораций один дата-центр стоял в Северной башне Всемирного торгового центра, а второй — в Южной. Именно тогда индустрия перешла к правилу трех и более площадок, четко разделив понятия «надежность хранения» и «высокая доступность сервисов».

«В любой ситуации обработка таких исключительных случаев строится по определенным правилам. Это происходит не так, что возникла проблема и все сразу начинают бегать, не понимая, чем заняться. В таких системах есть спланированная модель угроз, есть план действий на случай определенных отказов. И на самом деле то, что происходит сейчас, весьма неприятно, но ничего сверхъестественного с точки зрения именно инфраструктуры не произошло. Это стандартная работа по модели угроз, когда выходит из строя большой ЦОД. Самое неприятное — временное, хотя, возможно, и продолжительное отсутствие высокой доступности: мы не можем воспользоваться сервисами, но в тот момент, когда будет починено оборудование, сервисы продолжат работать в привычном режиме», — пояснил Артем Калашник.

Размажем ради надежности

Впрочем, оптимизм относительно быстрого восстановления разделяют не все, если смотреть на ситуацию в динамике. Одно дело — отработать штатный сценарий аварии, и совсем другое — жить в реальности, где физическое выведение из строя дорогостоящей инфраструктуры стало пугающе дешевым и вполне будничным делом. Гигантомания прошлых лет, когда индустрия строила все более циклопические дата-центры ради снижения стоимости одной транзакции, внезапно наткнулась на суровые законы безопасности. Охранять условный гектар серверных стоек становится невероятно сложно, а потому в воздухе все ощутимее витает идея радикальной децентрализации — «размазывания» мощностей тонким слоем по множеству мелких частных и корпоративных площадок, работающих чуть ли не по принципу торрентов или блокчейна, а также ухода в сторону edge-компьютинга, когда микро-ЦОДы размещаются прямо у базовых станций и источников трафика.

Технический директор компании STSS Иван Гоголев смотрит на перспективу гигантских ЦОДов со здоровым скепсисом: «Мы получили минус три дата-центра за неделю, и на самом деле, к сожалению, никто не знает, насколько это все может быть масштабировано в плохом смысле слова и насколько запас прочности в таком случае позволит относительно легко выйти из этого кризиса. Вся парадигма построения больших информационных структур и центров обработки данных сейчас будет претерпевать кардинальные изменения, потому что угрозы становятся очень явными. И самое страшное, что создать подобную угрозу сейчас становится очень дешево. Возможно, наметится тренд, о котором периодически говорили, но он не случался ввиду своей более высокой стоимости, — это переход к сильно децентрализованной модели вычислений, к смещению мощностей в сторону мелких, частных, небольших дата-центров».

Однако красивая идея «давайте построим сто маленьких ЦОДов или увезем серверы подальше в Сибирь и на Дальний Восток» мгновенно разбивается о прозу жизни: каналы связи, киловатты, кадры и бюджеты. Да, магистральная инфраструктура развивается — в ходе беседы Александр Фильченков отметил недавний запуск Ростелекомом трансевразийской линии связи на базе отечественных DWDM-систем компании Т8 с пропускной способностью до 384 Тбит/с, а также наличие колоссальных свободных мощностей на красноярских ГЭС. Но если в Москве и Санкт-Петербурге сегодня днем с огнем не сыщешь свободных мегаватт для подключения нового дата-центра, то на просторах страны, где электричества и холодного воздуха в избытке, возникает другая беда — там попросту некому крутить гайки и менять вышедшие из строя диски.

К тому же любая попытка застраховаться от всех мыслимых рисков всегда упирается в вопрос: кто за этот банкет будет платить? Ведь слепой перенос мощностей за тысячи километров неизбежно подарит пользователям чудовищные сетевые задержки, а кратное дублирование инфраструктуры взвинтит стоимость владения до космических величин. Артем Калашник проиллюстрировал иронию судьбы случаем из собственной практики конца двухтысячных годов: у заказчика был образцово-показательный геораспределенный кластер из трех площадок в Москве, разнесенных более чем на десять километров. В один прекрасный день возле первого офиса рабочие копали траншею и перерубили оптический кабель; на второй площадке вспыхнул пожар, и ее залили водой при тушении; а третья площадка, будучи абсолютно целой, потеряла связь с внешним миром просто потому, что центральный узел ее магистрального провайдера располагался ровно этажом ниже той самой второй площадки, которую в этот момент усердно тушили пожарные. Предусмотреть такое совпадение теоретически можно, но бизнес редко готов оплачивать страховку от падения метеорита в конкретный люк.

Как же тогда выходить из положения, не разорив компанию на закупках простаивающего «железа»? Здравую методологическую идею предложил технический директор компании ATLAS Дмитрий Пензов. Вместо того чтобы каждому предприятию в одиночку строить свой неприступный бункер из дефицитных серверов, бизнесу и операторам ЦОДов стоит задуматься о кооперации и создании общих распределенных пулов резервных ресурсов, а также региональных фондов подменного оборудования с подтвержденной совместимостью компонентов.

«Нужно резервировать, если посмотреть методологически, конкретную способность бизнеса продолжать работу. И мы для этого должны определять минимальный рабочий контур: идентификацию, базы, связь, критические приложения. Такой контур должен заранее готовиться на независимых площадках, потому что самое дорогое по времени — перемещение больших объемов данных после аварии. Поэтому актуальные данные и защищенная история копий уже должны находиться вне основной площадки, а вычислительную инфраструктуру можно воспроизводить из проверенных шаблонов. Интересная модель для будущего — общий резервный пул нескольких предприятий или операторов. Его экономику можно улучшить за счет фоновых задач, которые допускают остановку при аварии, но критическая часть резерва должна быть обеспечена договором, испытаниями и расчетом одновременной потери нескольких площадок — один и тот же сервер нельзя одновременно обещать всем участникам как гарантированный резерв», — подчеркнул Дмитрий Пензов.

СХД судного дня

Кстати, о физическом перемещении петабайтов информации и технологиях «последнего шанса». Когда речь заходит о гарантированном выживании архивов, классическая архитектура дает неожиданные сбои. Взять, к примеру, старые добрые магнитные ленты (LTO), на которых десятилетиями держались холодные архивы банков, медиакомпаний и госорганов. Казалось бы, что может быть надежнее кассеты на полке? Но в российских реалиях ленточные библиотеки внезапно превратились в тыкву: приводы для них в мире производит де-факто единственная американская корпорация (IBM), а саму магнитную пленку — одна японская (Fujifilm). Добавьте сюда острый дефицит инженеров, способных обслуживать сложную роботизированную механику, и врожденное проклятие стандарта LTO, где приводы поддерживают кассеты лишь на пару поколений назад, после чего старый архив просто невозможно прочитать на новом оборудовании.

Неудивительно, что на рынке начали появляться альтернативные концепции, которые сами разработчики с долей черного юмора называют «СХД судного дня». В компании «Умный архив», выросшей из потребностей медиаотрасли, решили отказаться не только от лент, но в ряде сценариев и от классических аппаратных RAID-массивов, превратив обычные жесткие диски в подобие независимых картриджей под управлением объектного протокола S3. Логика проста: у жесткого диска считывающий тракт уже запаян внутри корпуса, а отсутствие сложной проприетарной RAID-разметки гарантирует, что диск можно будет вытащить из сгоревшего ЦОДа, перевезти в другой город на автомобиле (что для петабайтных объемов зачастую быстрее любой оптики), воткнуть в самый обычный компьютер с любой операционной системой и сразу прочитать файлы без установки специализированного софта.

Глава R&D компании «Умный архив» Игорь Макаров объяснил, почему эта комбинация соблюдения правила бэкапов «3-2-1» и протокола S3 сегодня спасает еще и от главной головной боли безопасников — вирусов-шифровальщиков: «Даже если произойдет так, что будут уничтожены все ЦОДы, но останется внешняя копия по принципу «3-2-1», мы можем с легкостью взять любой накопитель и прочитать его на любой системе — не нужно даже накатывать наш софт. То есть можно восстановиться даже после судного дня, тогда как восстановление аппаратных RAID-ов без документации — трудная задача. А S3 был выбран как стандарт: с его помощью можно организовывать хранилища, которые не подвержены вирусам-шифровальщикам. У вас имеется всего один порт, один IP-адрес и ключи доступа. Даже если кто-то злонамеренно передаст эти ключи, можно сделать так, что объекты физически удаляться не будут — система отрапортует об удалении, но файл останется на месте. В S3 вообще нет понятия «изменить файл», объект можно только загрузить заново, а благодаря версионности всегда можно откатиться назад». 

Разумеется, спикеры не призывают немедленно сдать все существующие технологии в утиль. Тот же Артем Калашник резонно напомнил про эффект Линди: технология, которая просуществовала полвека (как ленты или мейнфреймы), с высокой вероятностью проживет еще долго, поэтому ломать работающие старые контуры без готовой полноценной замены не стоит. Другое дело, что сами физические носители информации подошли к технологическому перепутью. Производители жестких дисков вынуждены идти на ухищрения вроде черепичной магнитной записи (SMR), потому что ширина магнитного поля записывающей головки уже уперлась в фундаментальный атомарный предел и не позволяет сужать дорожки классическим способом. В то же время западные гиганты вроде Amazon активно экспериментируют с удешевленными архивными SSD-накопителями с упрощенными контроллерами, рассчитанными буквально на пару циклов перезаписи (концепция WORM — Write Once, Read Many). Вот только, как справедливо заметил в дискуссии Иван Гоголев, физику флеш-памяти не обманешь: в отличие от магнитного блина, современный SSD на базе TLC- или QLC-ячеек начинает без питания терять заряд уже через полгода лежания на полке. Так что классические HDD хоронить еще очень рано.

Будет больно, но делать надо!

Но если на уровне софта и архитектурной смекалки российские инженеры чувствуют себя уверенно, то вопрос аппаратной базы и галопирующих цен заставляет вздыхать даже самых стойких оптимистов. Слухи с рынка о том, что стоимость серверов удваивается чуть ли не каждые три месяца, выросли не на пустом месте — мир накрыла волна глобального дефицита кремния и памяти, подогреваемая истерией вокруг искусственного интеллекта. Впрочем, если говорить об экстренном восстановлении выбывших в России мощностей, Александр Фильченков поспешил успокоить рынок: отечественные производители вычислительной техники живут квартальными циклами, где на четвертый квартал традиционно приходится до 40% годовых отгрузок. Склады к концу года сформированы, поэтому прямо сейчас российские вендоры готовы оперативно закрыть до 20% внезапно потерянных серверных мощностей, перенаправив запасы на острые задачи, и полностью восстановить разрушенный контур за три месяца.

Куда сложнее проблема в микроэлектронике и компонентной базе. Сделать в России сервер и СХД начального (low-end) или среднего (mid-range) уровня — задача уже решенная. Однако в сегменте тяжелых корпоративных систем (high-end) мировые лидеры используют специализированные микросхемы — ASIC, которые на аппаратном уровне с бешеной скоростью разруливают потоки данных, сжимают их и делят на «горячие» и «холодные». России заказное производство таких чипов на зарубежных фабриках сегодня закрыто. И здесь на помощь внезапно пришел тот самый искусственный интеллект: как рассказал Александр Фильченков, в «Гравитоне» нехватку аппаратных ASIC научились компенсировать алгоритмами ИИ на программном уровне, которые анализируют данные на лету, принимают решения о компрессии и распределяют запись по разным типам накопителей. Понемногу сдвигается с мертвой точки и вопрос отечественных процессоров и литографии: от портирования архитектуры Loongson компанией «Трамплин Электроникс» для достижения второго уровня локализации до планов Минпромторга довести долю российской электронной компонентной базы на современных платах с нынешних 5 до 30% к 2030 году.

Тем не менее разработчикам «железа» приходится собирать свои устройства буквально по крупицам. Игорь Макаров описал этот процесс так: «Что касается развития в России именно СХД и серверов, все зависит от элементной базы. Когда мы начали разрабатывать свои СХД, приходилось использовать вообще всю зарубежную комплектуху. После нескольких выставок оказалось, что в России производится огромное количество хотя бы пассивных компонентов, которые можно использовать для создания тех же бэкплейнов. Сейчас самая большая трудность для нас — где взять процессоры и микроконтроллеры. Их нет, а на те, что выпустили, огромные очереди. И это серьезная проблема, пока мы не разработаем свои литографические машины и чистые комнаты. При этом наш внутренний рынок очень маленький — всего 140 миллионов человек, а в микроэлектронике вложения огромные и срок окупаемости долгий. У меня идей огромное количество, но, когда я прихожу к электронщикам, они хватаются за голову и говорят: «Игорь, успокойся!». Я успокаиваюсь на какое-то время, потом опять прихожу и говорю: «Слушай, я знаю, будет тяжело, будет больно, но делать надо!»

Гонка имитации интеллекта

При этом все участники дискуссии сошлись во мнении: пытаться в одиночку построить в отдельно взятой стране замкнутый цикл производства абсолютно всего — от выплавки текстолита и полировки магнитных блинов до 2-нм литографов — утопия, недоступная сегодня ни одной державе мира. Как верно подметил Иван Гоголев, не нужно гнаться за призрачной автаркией по северокорейскому сценарию; гораздо разумнее сфокусироваться на самых востребованных в мире техпроцессах уровня 130 нм (на которых держится весь промышленный «Интернет вещей» и контроллерная база) и узких кастомизированных решениях, где наша инженерная школа способна дать продукт мирового класса с прицелом на экспорт.

Внезапным союзником российских инженеров в этой гонке стала та самая революция генеративного ИИ, которую Игорь Макаров иронично окрестил «гонкой имитации интеллекта», способной однажды лопнуть подобно пузырю доткомов. Пока мировые гиганты скупают видеокарты, отечественные R&D-команды используют нейросети как мощнейший ускоритель разработки. Иван Гоголев обратил внимание на то, что экспоненциальный рост ИИ уже превратил вчерашних рядовых программистов в тимлидов, управляющих сотнями цифровых агентов, хотя одновременно создал и пугающую угрозу кибербезопасности, ведь внутренняя логика эволюционирующих моделей становится непрозрачной даже для их создателей. А Артем Калашник привел конкретный пример из практики Fplus: задачи НИОКР, на которые три года назад у отдела из пятнадцати инженеров уходили месяцы, сегодня один специалист с помощью ИИ решает за пару недель. Это позволило компании замахнуться на разработку в течение полугода концепта собственного специализированного SSD со стандартом Open Channel, где функции сборки мусора и выравнивания износа ячеек вынесены с дорогого контроллера диска на центральный процессор СХД. Правда, здесь разработчики упираются уже в бюрократический барьер: государственные субсидии на НИОКР в России устроены так, что за невыход на коммерческий продукт деньги требуют вернуть, хотя в фундаментальной науке отрицательный результат — это тоже нормальный этап пути.

Что же в сухом остатке делать обычному бизнесу, который прямо сейчас читает новости и думает, куда бежать со своими терабайтами? Во-первых, прекратить панику и начать считать деньги и риски. Эпоха, когда дисковое пространство дешевело быстрее, чем росли аппетиты компаний, официально закончилась. Как метко пошутил модератор встречи Андрей Виноградов, жесткие диски давно пора измерять не в гигабайтах, а во времени их полного заполнения — сколько ни поставь, через полгода место кончится. И здесь звучит, пожалуй, самый отрезвляющий тезис для любого ИТ-директора: до 90% информации, которую компании бережно складывают на дорогие полки СХД, на самом деле представляет собой цифровой мусор, который никогда не будет востребован.

«Потребности в мощностях хранения никогда не сокращаются, они всегда только растут — это неудовлетворимая потребность, которая ограничивается только финансовыми либо техническими возможностями. Но надо понимать, что 90% этих данных — мусор, который вы никогда не используете. Понимание того, какие данные вам нужны, а какие нет, — основа политики по хранению вообще какой-либо информации внутри компании. Хранить все подряд сейчас стало роскошью: до какого-то времени технология дешевела быстрее, чем генерировались данные, а сейчас данные генерятся быстрее, чем вы успеваете их сохранять. Поэтому придется делать выбор и выстраивать гибридные модели, оставляя самое критичное внутри своего периметра», — резюмировал Иван Гоголев.

Во-вторых, заказчикам важно не путать модные аббревиатуры с реальной применимостью. Александр Фильченков напомнил, что универсальной серебряной пули не существует: объектные хранилища S3 великолепны для архивов и геораспределенного бэкапа, но если бизнесу нужна высоконагруженная база данных с минимальным временем отклика для тысяч пользователей, придется строить классический быстрый контур on-premise внутри собственного защищенного дата-центра. В свою очередь, отечественные вендоры сейчас активно доводят до ума технологии дедупликации и компрессии, позволяющие упаковать условные 300 терабайт пользовательских данных в 100 терабайт физического «сырого» пространства, а также внедряют зрелые механизмы репликации и метрокластеров. По словам Артема Калашника, за последние пару лет российские СХД и серверы успешно переросли «детские болезни» первых партий, когда оборудование могло меняться по гарантии по кругу, и вышли на уровень стабильного продакшена.

Финальную точку в дискуссии поставил Игорь Макаров, обратившись к российским заказчикам с призывом, который вполне можно распечатать и повесить в кабинете каждого директора по закупкам: «Мы понимаем, что прямо завтра мы не сделаем так, как у Hewlett Packard, Dell или NetApp, потому что эти компании прошли огромный путь развития. Но если вы будете игнорировать наши продукты, мы так никогда и не разовьемся, ведь каждая покупка стимулирует развитие. Покупайте отечественное, рассказывайте нам о недостатках, мы будем их исправлять. А главное — мы здесь, мы не где-то там за рубежом: к нам всегда можно прийти и сказать, что именно не работает и что надо исправить. Попробуйте сегодня прийти так к IBM — что они вам скажут?».

И с этим трудно поспорить. Российский рынок систем хранения данных сегодня проходит проверку на зрелость в условиях идеального шторма. Но, судя по тому, насколько трезво и без розовых очков отечественные разработчики оценивают ситуацию, этот экзамен индустрия имеет все шансы сдать достойно.