Обеспечиваем энергоснабжение ЦОДа
Уровень эксплуатационной готовности ЦОДа напрямую зависит от эффективной работы системы энергоснабжения. Именно она определяет одну из важнейших характеристик дата-центра — отказоустойчивость. Таким образом, система электроснабжения представляет собой базовую составляющую всей инженерной инфраструктуры, к проектированию и реализации которой предъявляются особые требования.
Как устроено энергоснабжение ЦОДа?
Систему электропитания ЦОДа принято оценивать по прогрессивной шкале Tier, включающей в себя четыре уровня. Соответствие тому или иному из них характеризует прежде всего такие параметры, как надежность инфраструктуры, возможный годовой простой и вероятность остановки в течение пяти лет.
Так, уровень Tier I предполагает базовую топологию без дублирующих активных компонентов и распределения потоков, а Tier II – резервирование критически важных компонентов электроснабжения и охлаждения. В ЦОДе, соответствующем Tier III, реализовано дублирование потоков и всего активного оборудования по схеме N+1, что позволяет проводить его техническое обслуживание без остановки. Наконец, уровень Tier IV — это полное дублирование инфраструктуры, благодаря чему работоспособность ЦОДа сохраняется при отказе любого узла.
На практике коммерческие ЦОДы чаще всего соответствуют Tier II и Tier III. Tier I не пользуется популярностью из-за отсутствия резервирования, а соответствие Tier IV стоит слишком дорого.
Для ЦОДа уровня Tier III возможный годовой простой составляет 1,6 часа, вероятность остановки в течение пяти лет — 2,14%, а надежность инфраструктуры — 99,982%. Такие объекты, как правило, размещают в отдельном здании. Энергия в них поступает из городской сети по двум независимым вводам на две трансформаторные подстанции, там среднее напряжение преобразуется в «потребительское» низкое, и подается на распределительные щиты с системой защитной автоматики. Однако из-за возможных помех оно еще не может применяться для питания серверов, коммуникационного оборудования и инженерных систем ЦОДа. Поэтому электроэнергия сначала подается на промышленные ИБП с функцией двойного преобразования, которые выдают на выходе «чистую» синусоиду. Кроме того, ИБП обеспечивают питание оборудования в случаях аварий на городских линиях.
Возможные проблемы и их причины
От аварий не застрахованы даже дата-центры крупных компаний. Так, осенью 2018 года из-за удара молнии обесточенными оказались несколько ЦОДов Microsoft в Техасе. Один из них был переключен на резервные генераторы, но это послужило причиной повышения температуры в машинном зале и выхода из строя нескольких серверов. В итоге оборудование было полностью обесточено и пользователи сервиса Azure, работу которого обеспечивал ЦОД, испытывали проблемы в течение нескольких дней.
В России 16 февраля того же года из-за кратковременного прерывания напряжения в ЦОДе компании Xelnet пострадала социальная сеть «ВКонтакте». На полное устранение последствий незначительного сбоя инженерам потребовалось около 12 часов.
Проведенное Uptime Institute исследование показало, что в 2018 году количество аварий в дата-центрах выросло на 6% по сравнению с предыдущим годом. Основной причиной оставались сбои в системе электропитания, причем далеко не всегда по вине городских линий: отказать могут устройства защиты электроцепей из-за отсутствия или неправильно проведенного технического обслуживания электрощитового оборудования. Отсутствие непрерывного контроля за нагрузкой чревато сбоем в системе бесперебойного питания, а неоптимальные климатические условия эксплуатации резервного генератора могут стать причиной отказа в запуске. И, конечно же, пресловутый человеческий фактор: достаточно пренебречь маркировкой кнопок аварийного отключения питания, и ее обязательно кто-то нажмет по ошибке.
Минимизация рисков
Решение проблем заключается в использовании инновационных технологий – они способны минимизировать риски, возникающие в системе электропитания.
Так, применение суперконденсаторов обеспечивает время резервирования от нескольких секунд до нескольких минут. Трехфазные ИБП, оснащенные электрохимическими конденсаторами с двойным слоем, могут нормально функционировать при температурах от -4 до +65 °С. Рабочий диапазон их мощности — от 8 до 7700 кВт. Это оборудование также целесообразно использовать для защиты ЦОДа вместо кинетических модулей в дизельных системах.
Продолжают оставаться востребованными и свинцово-кислотные аккумуляторы. Актуальная для ЦОДа задача продления срока их службы успешно решается применением технологии ABM. Она уже много лет используется в ИБП Eaton мощностью до 110 кВ•А и позволяет осуществлять превентивную диагностику состояния батарей, оптимизировать время заряда и автоматически компенсировать напряжение.
Для повышения надежности защиты основного оборудования ЦОДа применяется технология параллельной работы Hot Sync, когда несколько источников питают одну нагрузку: если какой-либо ИБП откажет, то остальные возьмут на себя его функции. Hot Sync позволяет реализовать резервирование по схеме N+1 и может эффективно использоваться для построения масштабируемых параллельных систем.
Безопасность и надежность — это прежде всего контроль. Применение управляемых блоков распределения электропитания позволяет не только дистанционно управлять подключениями, но также измерять ток защитного автоматического выключателя и контролировать его состояние.
И конечно же, далеко не последнюю роль в обеспечении надежности системы электропитания играют сами ИБП. В ЦОДах целесообразно применять специализированные устройства, предназначенные для защиты серверного оборудования. Например, Eaton 93PM принадлежит к новому поколению источников с двойным преобразованием мощностью 30–500 кВ•A.
Сочетание различных технических средств обеспечит максимально надежную инфраструктуру энергоснабжения современного ЦОДа, а применение новых технологий позволит минимизировать простои основного оборудования и повысить коммерческую привлекательность всего проекта.
Опубликовано 21.04.2020