Как сэкономить 10% площади ЦОДа?
Один из важнейших этапов строительства центра обработки данных — проектирование инженерной инфраструктуры. Именно на этом уровне вы можете оптимизировать использование площадей и электроэнергии и сделать инфраструктуру гибкой изначально. Если нехватка мощностей или площади обнаруживается во время работы, значит изначальные требования по проекту были неточными или заказчик не спрогнозировал рост объемов информации для обработки. Однако теория и практика, как это часто бывает, расходятся, поэтому корректировать работу дата-центра иногда приходится после запуска.
Нюансы проектирования
Мы часто сталкиваемся с ситуациями, когда заказчик предоставляет требования и пожелания на основании своих прогнозов и расчетов, а затем при эксплуатации выясняется, что текущие объемы выдают совсем другие цифры по энергозатратам или охлаждению. Проектирование и строительство осуществляется на основе требований и исходных данных, поэтому выяснить, сколько на самом деле нужно мощности и какая температура необходима или оптимальна, можно только после запуска. Например, заказчик просит спроектировать ЦОД на определенной площади и заявляет, что нагрузка составит в среднем 10 кВт на стойку, а на деле может оказаться, что в данном конкретном случае стойкам редко требуется больше 5 кВт. Лишь в каких-то единичных случаях нагрузка на энергосеть может оказаться выше, чем предполагалось, но это уже исключения из правил.
Другой пример — мы получаем требование поддерживать температуру 22 градуса с погрешностью +/- две единицы. При эксплуатации ситуация складывается так, что ЦОД «заморожен», но локальные системы перегреваются из-за нехватки воздуха, а энергозатраты на охлаждение резко возрастают. Главное в этом аспекте не высчитывать самую низкую температуру, а создать систему, способную эффективно снимать тепло-избытки. Мы легко можем проецировать эту проблему на кухню: если открыть много окон или поставить несколько кондиционеров, это не дает гарантий, что сковорода или кастрюля на плите не подгорит.
Сухой воздух также негативно влияет на работу дата-центра: сохнет изоляция, трескаются платы, снижается срок службы. Чем меньше воды воздухе, тем меньше его теплоемкость — вода здесь выступает проводником тепла и холода. Кубометр «прокаченного» воздуха — влажного и охлажденного до определенной температуры, способен снять больше тепла, чем кубометр сухого. В таком случае мы можем увеличить температуру в холодном коридоре и увеличить объем того самого «прокаченного» воздуха, в результате расход энергии будет меньше, а охлаждение эффективнее — оптимизация.
Как сэкономить площадь после строительства?
В первую очередь стоит отметить, что конкретное помещение не увеличить физически. Если нам нужно больше оборудования, мы можем пойти следующим путем: занять комнату IT-оборудованием, но тогда для инженерных систем придется использовать смежное пространство. Чаще всего это системы охлаждения и энергоснабжения, например, источник бесперебойного питания (ИБП) можно достаточно легко вынести за периметр машинного зала, сэкономив тем самым место. С кондиционерами сложнее, необходимо обеспечить доставку холодного воздуха и забор горячего из смежного помещения, а если плотность оборудования высокая, обычной вентиляционной трубы может быть недостаточно, могут потребоваться воздуховоды в строительном исполнении.
Проблема экономии площади центра обработки данных очень часто возникает при работе в банковской сфере. Условно говоря, есть банк, который выделил в своем здании помещение под серверную, мы там установили несколько стоек — все оптимально функционирует. Затем банк растет, запросы в IT-службу на вычислительные мощности и поддерживаемые сервисы также увеличиваются, подключаются новые платежные системы, каждая из которых требует размещения своего оборудования, а здание при этом остается тем же. Соответственно, при текущем количестве стоек мы можем увеличить удельное энергопотребление и удельную вычислительную мощность, например, с помощью перехода на блейд-серверы. Такие серверы обеспечат аналогичные мощности, но при этом займут меньше места, а также увеличат потребление энергии и выделение тепла. Заменив оборудование, оставаясь в том же помещении, мы фактически обеспечиваем в среднем 10% экономии пространства за счет повышения плотности размещения.
Почва для оптимизации
Хотел бы еще раз подчеркнуть, что система, требующая оптимизации, изначально была спроектирована с ошибкой или на основании неверных требований. Если оптимизация все же необходима, то пространство для нее всегда можно найти в достаточном количестве — важно, чтобы эти изменения соответствовали задачам заказчика. Нужно понять, что нас ограничивает: можно ли увеличивать энергопотребление, есть ли возможность привлечь смежные помещения и так далее.
Резервы для оптимизации всегда можно найти, нужно только понять, чем располагает заказчик и что он хочет получить в итоге. Например, если мы имеем 42-юнитовые стойки, то есть возможность установить более высокие - на 45, 46 или 47 юнитов. Превратив стойки на 42 юнита в аналогичные, вмещающие 47 юнитов, мы получим экономию пространства даже более чем на 10%. Недостаток этой схемы в том, что дополнительные юниты могут недополучать охлаждение — в действующем ЦОДе уже функционирует та или иная система внутрирядного/шкафного кондиционирования, стандартно она охлаждает 42-юнитовые стойки, поэтому установка дополнительного оборудования выше этих юнитов может вызвать сложности. Для решения этой проблемы можно использовать кондиционеры потолочного или надстоечного размещения, которые будут охлаждать верхние юниты и забирать с них тепло. Такое решение позволит нам остаться в том же помещении, оставив ту же занимаемую площадь, а оборудование вырастет вверх, увеличив место для размещения полезной нагрузки.
Также допустим аналогичный рост в ширину, но этот метод ограничен относительно малым количеством производителей серверных шкафов и стоек. Все привыкли, что стойки бывают 19 дюймов или 21 дюйм в ширину — последние как правило используются для размещения элементов СКС, так как дополнительные карманы по 10 см с каждой стороны очень удобны для расположения проводов, мелких устройств, распределителей питания. Но некоторые производители пошли дальше и решили использовать это пространство для размещения элементов сетевой инфраструктуры: коммутаторы, маршрутизаторы, дополнительные патч-панели и так далее. То есть мы можем использовать 21-дюймовую стойку, оставив сервера в изначальном горизонтальном положении, а вертикально расположить по три дополнительных устройства справа и слева. Единственный минус здесь — устройства неудобно доставать, но, если там находится вспомогательное оборудование, которое не требует частой замены, это не проблема. Дополнительное боковое пространство соответствует двум юнитам, таким образом, мы освобождаем до шести устройств по два юнита — это аналогично высвобождению 12 юнитов в 42-юнитовой стойке. Экономия получается существенно больше 10%. Основная сложность этого метода в том, что мы не всегда можем установить 21 дюйм вместо 19. Необходимо оценить текущую конфигурацию: если в дата-центре используются только шкафные кондиционеры, находящиеся за основным периметром размещения стоек, тогда есть возможность расширить оборудование. С другой стороны, при использовании внутрирядных систем охлаждения возможности значительно сокращаются.
В вопросе энергозатрат и охлаждения мы можем, например, обратиться к рекомендациям ASHRAE (Американская Ассоциация инженеров по отоплению, охлаждению и кондиционированию воздуха) о том, что с точки зрения энергоэффективности использовать более высокую температуру в холодном коридоре. Чаще всего в стандартах и требованиях заказчиков температура не превышает 25 градусов. Мы можем предложить повысить показатель до 28-30 градусов, при этом мы увеличим количество прокачиваемого воздуха. При такой температуре образование конденсата на теплообменнике практически исключено — энергопотери на конденсации снизятся, мощность, потребляемая компрессорами чиллеров, также снизится. Такой путь не получится реализовать на классическом фреоновом оборудовании, однако при использовании жидкостных систем охлаждения мы можем смело продемонстрировать, что при увеличении температуры все системы функционируют исправно и стабильно. Это решение позволит повысить энергоэффективность и освободить часть электроэнергии — появится возможность на высвободившиеся мощности разместить дополнительное оборудование. В связи с этим возникает проблема поиска площади для этой аппаратуры. Использование стоек закрытой архитектуры решает эту задачу. Многие производители сегодня предлагают закрытые модули, вмещающие одну или две стойки, со стеклянными дверьми. Такие модули имеют большую глубину и запирают весь воздух внутри, к ним в блок устанавливаются кондиционеры, которые забирают воздух из горячей зоны и отдают в холодную — все это происходит в пределах стойки. Закрытый тип оборудования требует только питания и линии связи, в данном случае не имеет значения, что находится в помещении, где оно установлено. Внутри модуля необходимо выделить два юнита для автономной системы пожаротушения, которая при необходимости сработает в герметичном объеме. Такие блоки могут быть установлены в помещениях, изначально не предусмотренных для размещения IT-оборудования. Закрытая архитектура имеет более высокую цену, но, если сравнить ее стоимость с затратами на подготовку помещения и инфраструктуры под классическое оборудование, вариант с закрытыми модулями может оказаться более выгодным.
Для выявления потребностей в оптимизации ЦОДа может также использоваться система мониторинга, которая предоставляет статистику — на ее основе можно сделать вывод о том, нужны ли изменения. По мониторингу можно понять, есть ли ошибки, в порядке ли показатели и насколько заявленные требования соответствуют действительности. Однако заказчики зачастую хотят сэкономить на системах мониторинга, исключив постоянное отслеживание для получения трендов, прогнозируемых показателей, и оставить только оповещения об ошибках и критических ситуациях. А именно тренды позволяют получить полную картину эксплуатации дата-центра.
Например, показатель PUE (Power Usage Effectiveness) — интегральный параметр, который показывает степень или качество утилизации электроэнергии. До 2013-14 года все говорили о важности PUE, что необходимо бороться за уменьшение этого показателя. Затем произошло падение курса рубля — так как оборудование для ЦОДов мы используем импортное, его стоимость выросла практически в два раза, а стоимость электроэнергии в валютном отношении, соответственно, для нас снизилась. В результате вопрос окупаемости энергоэффективного оборудования ушел «в потолок», то есть приблизился к сроку полезной эксплуатации этого оборудования. Как следствие, борьба за снижение PUE отошла на второй план.
Обеспечить энергоэффективность и оптимизацию ЦОДа проще всего на этапе проектирования и строительства. Однако, как мы видим на текущих примерах, всегда можно найти пространство для маневра после запуска и внести необходимые изменения.
Алексей Сарыгин,
руководитель центра компетенции Oberon
Опубликовано 25.03.2019