Инновации не для красоты: новый ЦОД для госуслуг

Рассказывая о строительстве сверхсовременного ЦОДа для «Электронной Москвы», руководитель проекта со стороны подрядчика — Вячеслав Тихонов, директор департамента инженерных систем и телекоммуникаций R-Style - не удержался от эпитетов «единственный в своем роде», «имиджевый», «уникальный». Слушая топ-менеджера, я понимал, что проект действительно уникален хотя бы потому, что московские власти продемонстрировали невероятное — они способны побить мировые рекорды одновременно и в строительстве, и в компьютеризации. Так быстро и так качественно для госзаказчиков в России не строят, пожалуй, больше ничего... кроме ЦОДов. Точнее одного, вполне конкретного и уже работающего, о котором и пойдет речь.

Расскажите о предпосылках проекта, для чего московским властям вдруг потребовался сверхсовременный Центр обработки данных?

Предпосылка для строительства семимегаваттного ультрасовременного ЦОДа «Электронной Москвы» - долгосрочная федеральная программа «Информационное общество», рассчитанная до 2020 года и направленная на развитие электронных услуг в России в целом и в Москве в частности.

Заказчик проекта — ОАО «Электронная Москва» — акционером которого является город. Организация оказывает услуги Правительству Москвы, которое, в свою очередь, заинтересовано в оказании электронных услуг населению. Крупнейший городской ЦОД в этом смысле не был самоцелью — с его помощью в Москве было решено создать необходимые условия для успешного функционирования электронных услуг.

Компания R-Style была выбрана исполнителем проекта неслучайно. Незадолго до этого мы консультировали московские власти в ходе строительства другого, относительно небольшого столичного ЦОДа, рассчитанного «всего» на 100 стоек. И настолько успешно справились со своей задачей, что к масштабному проекту нас было решено привлечь одновременно и как генподрядчика, и как генерального проектировщика.

Мы попытались собрать воедино лучшие технологии, которые используются в ведущих европейских ЦОДах, чтобы дата-центр по своей эффективности и надежности стал одним из лучших в России.

Внешне здание выглядит как строгий промышленный объект, а изнутри - это сложнейшее инженерное сооружение. Чтобы показать красоту инженерии «изнутри» мы даже сделали прозрачной часть пола. В итоге сквозь стеклянные плитки в машинном зале можно увидеть подсвеченные неоном переплетения трубопроводов системы охлаждения, уходящие вниз на 80 см. Директор департамента информатизации и телекоммуникаций Приморского края, которого я водил на экскурсию в дата-центр, был буквально ошеломлен увиденным.

Какие именно уникальные технологии удалось объединить в одном ЦОДе?

Одним из главных ноу-хау столичного дата-центра я считаю использование динамических-роторных источников бесперебойного питания (ДИБП). В России было реализовано всего три проекта с применением похожего оборудования, но установки подобной мощности, а у нас каждая рассчитана на 2200 кВА, применяются впервые. Столь мощных ДИБП пока нет ни в одном другом ЦОДе нашей страны. Но не исключено, что скоро они появятся, поскольку интерес к «динамической» технологии проявили не только мы с «Электронной Москвой».

Чем динамические ИБП отличаются от классических систем бесперебойного питания?

Традиционными считаются так называемые статические ИБП. Они подразумевают использование управляющего шкафа, а также многочисленных шкафов с аккумуляторными батареями, которые должны обеспечивать работоспособность серверов на время, необходимое для запуска аварийных дизель-генераторов. Обычно емкость статических ИБП расчитывается с учетом 5-15-минутной автономной работы серверного и телекоммуникационного оборудования в случае пропадания питания от внешних источников. Досадным «дополнением» статических ИБП является более сложная схема системы энергоснабжения по сравнению с аналогичной при использовании ДИБП, а также необходимостью выделения большого количества площадей для размещения шкафов с батареями.

В случае с ДИБП электрическая схема упрощается на порядок. И идеологически это очень понятные устройства, объединяющие три в одном: генератор, который является одновременно и стабилизатором, подающим на серверы ЦОДа ровную синусоиду, ротор — огромную металлическую «болванку», имеющую запас кинетической энергии, предназначенной для поддержания работоспособности серверов во время отказа городских подстанций, и дизеля, соединенного с ротором через муфту. Особенность применения ДИБП заключается в том, что на запуск дизеля дается немного — 10-12 секунд.

Если сравнивать секунды с минутами, имеющимися в запасе при использовании статических ИБП, кажется, что времени мало. Но производители ДИБП отлично понимают, сколько времени у них есть на запуск и чем грозит малейший сбой, поэтому довели до подлинного совершенства процесс запуска дизельного двигателя - устранили все точки отказа, которые могли бы помешать запуску. Кроме шуток, у меня автомобиль так легко не заводится, как гигантский двигатель ДИБП. Продумана любая мелочь, от которой может зависеть скорость и стабильность запуска, начиная от отсутствия бензонасосов — топливо подается самотеком от двух дублирующих друг друга емкостей, и до подачи напряжения на стартер, куда ток идет от двух, опять-таки, аккумуляторов и от самого генератора системы. И 10 секунд для запуска такой установки — это, можно сказать, вечность.

Экономически, что выгоднее: ДИБП или привычные аккумуляторы?

Расчет затрат — главный фактор, повлиявший на выбор динамических устройств. При подсчетах выяснилось, что в случае с семимегаваттным ЦОДом стоимость капитальных затрат сравнима, но существенная выгода, исчисляемая в миллионах евро, достигается за счет экономии на стоимости эксплуатации.

Дело в том, что батареи статических ИБП требуют замены каждые три-четыре года. В период каждого обновления батарей обладателю семимегаваттного ЦОДа, который «живет» минимум 15 лет, придется дополнительно вкладывать колоссальные средства. ДИБП же служат минимум 30 лет. Количество кабельных и шинных линий, щитов распределения и другого силового оборудования значительно уменьшается.

И ни одна технология, используемая в ЦОДе, не выбиралась «за современность» или «за красоту». Учитывались все важные факторы. Финансовые в первую очередь.

Что еще интересного можно увидеть в ЦОДе?

Вторая важнейшая составляющая любого ЦОДа — система охлаждения. Ту, что мы создали для ЦОДа «Электронной Москвы», нельзя назвать уникальной, скорее классической, но с элементами, повышающими энергоэффективность. С учетом российского прохладного климата, мы остановились на чиллерах с фрикулингом, позволяющим экономить электроэнергию в холодное время года. В ЦОДе используется двухконтурная система охлаждения с промежуточными теплообменниками, межрядными доводчиками и закрытыми холодными коридорами. В итоге с каждой стойки отводится15 кВт тепла.

Такой мощный ЦОД, наверное, должен иметь очень сложную систему распределения питания?

Мы максимально постарались упростить, и тем самым повысить надежность за счет уменьшения возможных точек отказа, системы распределения питания, за счет того, что вместо силовых кабелей мы использовали шинопроводы. На шинопроводы ставятся отводные блоки с автоматами, от которых запитаны серверы. Считается, что шинопровод — дорогое удовольствие, но для мощных ЦОДов, как показали расчеты, он выгоднее силовых кабелей. Ведь применение шинопровода позволяет сэкономить на распределительном щитовом оборудовании. Распределительных щитов внутри машинного зала попросту нет.

ЦОД с шинопроводом значительно легче масштабируется — при добавлении стоек не нужно проводить работы по прокладке кабелей внутри машинного зала.

Каких критериев вы придерживались при прокладке СКС, от которой зависит скорость передачи данных?

Мы использовали технологии, позволяющие передавать данные внутри ЦОДа со скоростью в 40 Гбит/cек. Это выше общепринятых на сегодня скоростей, но мы пошли на такой шаг намеренно, чтобы не возникало необходимости в модернизации СКС на протяжении длительного времени.

Мы закладывали СКС с учетом тех скоростей, которые будут актуальны не только сейчас, но и в ближайшие пять-десять лет. Ведь если коммутаторы поменять можно, то всю структурированную кабельную систему— в работающем ЦОДе — нет.

Сколько длилось строительство Дата-центра?

Сроки реализации — еще одна особенность этого проекта. Строительство мы начали 1 июня 2012 года. А уже 1 марта 2013 года ЦОД заработал. Запущена первая очередь — два «холодных коридора»: один на 34, второй на 36 стоек, а также зона нестандартного оборудования, рассчитанная на размещение 40 стоек с серверами, которые невозможно установить в стандартную стойку. Каждый коридор — это закрытый модуль, вход в который осуществляется через автоматические стеклянные двери. В модуле стоят два ряда стоек, разделенных теплообменниками, расположенных в строго определенных, рассчитанных местах. Согласно договоренности с заказчиком на втором этапе установим еще 70 стоек. К концу года их будет 300.

Когда показываешь специалистам, в том числе иностранным, строившим ЦОДы в Голландии и Германии, то, что было здесь менее года назад — они не верят, что строительство удалось завершить менее чем за год. Если бы мы работали в чистом поле — было бы проще. Поясню, при обследовании бетонных полов здания было обнаружено, что покрытие неоднородное - где-то лежит сверхпрочный «голубой» бетон, а где-то зияют пустоты. Пришлось демонтировать все имевшееся на начало стройки бетонное покрытие, углубляться на два метра в землю, делать новую подсыпку и заново заливать железобетонную плиту. И все это, включая последующую прокладку коммуникаций, постройку здания хладоцентра и второго этажа в машинном зале, было выполнено за такой срок, за который строят обычный частный пригородный дом. Мы же выстроили работающий высокотехнологичный дата-центр мирового уровня на 2 900 квадратных метров. Кроме того, на подобных площадях обеспечить данное количество стоек с таким энергопортеблением еще никому не удавалось в России. В части компактности и продуманности всей инфраструктуры проекта ему найдется очень мало конкурентов не только в нашей стране, но и в мире.

Для реализации пришлось привлечь целую армию специалистов. На объекте трудилось порядка 300 человек. Иностранцев, кстати, не было. Они приехали только к запуску ДИБП. Голландцы проверили монтаж, инфраструктуру, одобрили и сказали: можно запускать.

Скорее всего, без помощи заказчика не обошлось?

Да, без помощи заказчика уложиться в указанный срок было бы невозможно. Она была всесторонней — и в ходе проектирования, и на этапах строительства. На каждом этапе представители заказчика участвовали буквально во всех совещаниях. Колоссальную помощь оказал Павел Савранский из «Электронной Москвы». Могу точно сказать, без него такого успеха мы бы не добились.

Денег на такой супер-ЦОД, очевидно, не пожалели?

Не так, как вы думаете. Проект был не из разряда тех, где денег не считают. Любая технология внедрялась только в том случае, если на то было экономическое обоснование.

R-Style предоставлял и финансовый сервис. Заказчик предоставил начальный объем финансирования, а затем мы привлекали лизинговые средства для пополнения оборотных средств и продолжения работ в нужном темпе. Участвуя в подобных проектах, мы не работаем по принципу: платишь деньги — делаем, нет денег — простаиваем. Если у нас есть определенный уровень доверия к заказчику, а у него — к нам, мы можем привлекать свои средства. Лизинг позволяет заказчику перенести затраты в разряд операционных платежей, которые можно совершать после запуска ЦОДа, когда он уже начинает давать экономический эффект.

Что даст ЦОД жителям города? Мы заживем по европейским стандартам?

Мне, как жителю Москвы, хотелось бы, чтобы с запуском ЦОДа, вобравшего самые современные технологии, жизнь всего мегаполиса стала «европейской». Исчезли бы пробки, очереди в госучреждения. Но надо быть реалистами и понимать, что одним ЦОДом, пусть даже и таким мощным, всех городских проблем не решишь. Да, он выводит обслуживание IT-инфраструктуры города на новый уровень. Эффект от этого со временем будет заметен и рядовым жителям. Естественно, для решения всех городских задач мощностей одного, пусть даже такого сверхсовременного ЦОДа, недостаточно. Будут строиться новые, но стандарты работы и эксплуатации уже заложены.