После аварий «Яндекса» в России заговорили о ЦОДах судного дня
После аварий пользователи «Яндекс.Диска» столкнулись с необычной ситуацией, когда структура папок и названия файлов оставались видимыми, но открыть или скачать сами документы, фотографии и видео удавалось не всегда. На Хабре даже появился технический разбор способов извлечения доступных копий файлов. Однако по мере восстановления инфраструктуры доступ к данным постепенно возвращается. Подтверждений их безвозвратной утраты пока нет.
Аварии «Яндекса» показали пределы географического резервирования. При одновременной остановке нескольких ЦОДов даже сохранившиеся данные могут оказаться недоступными, а резервных вычислительных мощностей не хватить для восстановления всех сервисов. Именно с этим столкнулись клиенты Yandex Cloud, когда компания ограничила выделение новых ресурсов и начала искать дополнительные мощности.
За неделю из строя вышли три площадки «Яндекса». 8 октября остановился ЦОД в Сасово Рязанской области, 9 октября пострадала инфраструктура в Калужской области, а 11 октября полностью прекратил работу дата-центр во Владимирской области. Как сообщал IT-World, одновременно оказались недоступны две зоны Yandex Cloud, ru-central1-a и ru-central1-b. Компания перевела облачную платформу в аварийный режим и ограничила выделение вычислительных ресурсов. На фоне дефицита мощностей VK Cloud, Selectel и К2 Cloud предложили клиентам «Яндекса» ускоренный перенос сервисов на свои площадки.
На этом фоне замглавы «Ростелекома» Валерий Ермаков предложил создавать резервные ЦОДы, рассчитанные на масштабные аварии. «Обязательно сегодня, все понимают, нужна площадка так называемого судного дня», — заявил он. Вместо концентрации вычислений в нескольких крупных дата-центрах Ермаков предлагает распределять инфраструктуру между множеством небольших площадок, чтобы выход из строя отдельных объектов не приводил к остановке сервисов.
Технический директор STSS Иван Гоголев в беседе с IT-World также высказал мнение, что гигантские централизованные ЦОДы постепенно уступят место сети небольших распределенных площадок. Причина не только в риске отдельных аварий, но и в возможности одновременного выхода из строя нескольких объектов.
«То, что сейчас запас прочности есть, я в этом не сомневаюсь. Но мы с вами не знаем, что будет через месяц», — отмечает Иван Гоголев.
Однако даже географическое распределение ЦОДов не гарантирует бесперебойной работы. Руководитель направления развития СХД Fplus Артем Калашник рассказал IT-World о случае, когда три удаленные друг от друга площадки практически на сутки потеряли внешнюю связь. Причиной стало сочетание нескольких происшествий: повреждения оптоволоконного кабеля, пожара и зависимости от общей магистральной инфраструктуры. При этом сами дата-центры продолжали работать, но размещенные на них сервисы оказались недоступны пользователям.
Одним из главных препятствий для перехода к распределенной архитектуре могут стать магистральные сети. Ермаков обратил внимание на износ существующих линий связи и ограниченную пропускную способность. Чем дальше друг от друга расположены ЦОДы, тем сложнее обеспечить высокую скорость обмена данными, допустимые задержки и независимые маршруты подключения. При этом зависимость от общих узлов связи или одного оператора может свести преимущества географического резервирования на нет.
Не менее серьезный вопрос — стоимость такой инфраструктуры. Как ранее писал IT-World, в России реализуются 42 проекта ЦОДов общей стоимостью около 280 млрд рублей. Уже сейчас выбор площадок во многом определяется доступностью электроэнергии. Но распределенная архитектура потребует дополнительных вложений в резервные вычислительные мощности, оборудование, защищенность объектов и каналы связи. Понадобится и квалифицированный персонал для обслуживания территориально разнесенных площадок.
«В любом случае повышение отказоустойчивости и доступности сервиса — это кратное увеличение стоимости владения», — отмечает Артем Калашник.
При этом резервные мощности не обязательно должны постоянно простаивать в ожидании аварии. Технический директор ATLAS Дмитрий Пензов предлагает создавать общие пулы вычислительных ресурсов, которыми могли бы пользоваться несколько компаний или операторов. Такой подход позволит сократить расходы на резервирование, но при масштабных сбоях возникает вопрос, хватит ли общих мощностей всем участникам.
«Один сервер как бы нельзя одновременно обещать всем участникам как гарантированный какой-то резерв», — подчеркивает Дмитрий Пензов.
Сохранность самих данных требует отдельного подхода. Руководитель R&D компании «Умный архив» Игорь Макаров рассказал IT-World о системах хранения, позволяющих восстановить информацию с отдельных накопителей без специализированного ПО производителя. Такие архивные копии можно хранить за пределами основной инфраструктуры и использовать даже при полной потере основных площадок.
«То есть можно восстановиться даже после судного дня. Да, может быть, это будет медленно, это займет какое-то время, но такая возможность есть», — отмечает Игорь Макаров.
Однако сохраненные данные еще не означают восстановленный сервис. Для запуска приложений по-прежнему нужны доступные вычислительные мощности.
В результате российскому рынку придется пересматривать не только архитектуру ЦОДов, но и сам подход к резервированию. Недостаточно распределить данные между несколькими площадками. Нужно заранее предусмотреть независимые каналы связи, свободные вычислительные мощности и возможность восстановить сервисы при одновременном отказе нескольких объектов. Причем содержать эту инфраструктуру придется постоянно, а не только во время аварий.
История «Яндекса» показала, что даже географическое резервирование не гарантирует быстрого восстановления сервисов. Теперь операторам предстоит определить, сколько одновременных отказов должна выдерживать их инфраструктура и какие гарантии они действительно готовы дать клиентам. ЦОДы судного дня технически возможны. Вопрос в том, кто согласится оплачивать подготовку к катастрофе, которая может никогда не произойти.
