Выбор системы охлаждения для ЦОДа: сравнение видов кондиционеров
Влияние размера и формы помещения ЦОДа на выбор кондиционеров
Прежде всего, выбор того или иного типа кондиционеров зависит от размеров и формы помещения ЦОДа.
Для помещений неправильной формы и для вытянутых узких помещений оптимальны шкафные, или перемитральные, кондиционеры. Они называются так потому, что устанавливаются по периметру. Выдув воздуха обычно происходит под пол, но есть исполнение с подачей перед шкафом или вверх. Сложность их использования в том, что для корректной работы шкафных кондиционеров нужен фальшпол или место над потолком, а высота этих пространств определяется в строгом соответствии с требованиями производителей и начинается от 400 мм. Можно сразу сказать: при высоте потолков до 3,5 м шкафной кондиционер не подойдет, поскольку ему требуется минимум 0,5 м свободного пространства снизу и сверху, то есть для линий связи и питания необходимо закладывать дополнительную высоту.
К сожалению, при строительстве ЦОДов данное требование редко учитывается. Игнорировать его — значит гарантированно терять полезную холодильную мощность кондиционирования при выходе на проектные параметры. Еще один момент — при строительстве нового ЦОДа высота помещения добавляет ему стоимости как минимум по двум позициям: непосредственные затраты на строительство более высокого помещения, а также дополнительные затраты на монтаж фальшпола и инженерных систем для его эксплуатации и обслуживания. К тому же электромонтажники, когда прокладывают линии питания в потолочном пространстве или под фальшполом, редко заботятся о правильной циркуляции воздуха. Та же ситуация возникает при монтаже межблочных фреоновых трубопроводов, да и линий СКС.
При этом даже современные программы математического моделирования типа CFD, предназначенные для прогнозирования циркуляции потоков теплого и холодного воздуха, не учитывают эти факторы. Кроме того, есть коммутация вычислительного оборудования внутри стоек, которая также является сопротивлением и нарушает циркуляцию. Изюминкой на этом пироге является неравномерная тепловая нагрузка по площади дата-центра: вместо равномерного распределения оборудования по всем стойкам согласно проекту, сетевые инженеры стремятся размещать вычислительные мощности компактнее, что приводит к нарушению циркуляции и локальному перегреву. С учетом меньшей энергоэффективности шкафных кондиционеров, такой способ контроля микроклимата в машинных залах дата-центров становится все менее и менее интересным.
Это весьма распространенные проблемы, из-за которых пользователи все чаще рассматривают замену шкафных кондиционеров на более современные и компактные внутрирядные модели. Наиболее рационально их использовать в прямоугольных помещениях, с организацией модулей: один или два ряда стоек для вычислительного оборудования с изоляцией общего «холодного» или «горячего» коридора. Сами кондиционеры устанавливаются внутри ряда сток. Такие модели часто называют межрядными, поскольку они подают обработанный воздух непосредственно в пространство между рядами стоек. При этом в циркуляции воздуха не участвуют фальш-конструкции пола или потолка, за счет чего сокращаются потери мощности на преодоление сопротивления и минимизируется тепловая инерция внутри помещения. Соответственно, фальшпол или дополнительная высота помещения может понадобиться таким моделям кондиционеров только для прокладки фреонопровода и на них не влияет прокладка коммуникаций внутри помещения.
Благодаря расположению рядного кондиционера в непосредственной близости от оборудования, ему не нужно перемещать объем воздуха на большие дистанции и преодолевать соответствующие сопротивления. Как следствие, он использует вентиляторы с меньшим напором воздуха и потребляет меньше электроэнергии. При этом значительно снижается температурная инерция, в том числе теряется необходимость подачи переохлажденного воздуха, поскольку он не успевает нагреваться на пути к потребителю, что положительно сказывается на эффективности отведения тепла, а значит, и на энергопотреблении. Это важно, ведь сейчас цодостроителям приходится бороться за каждую сотую долю значения энергоэффективности, в чем им и помогают рядные кондиционеры. Они позволяют существенно понизить PUE (Power Utilization Efficiency), а чем он ниже, тем выше энергоэффективность ЦОДа.
Как выбирать кондиционер, исходя из тепловой нагрузки на стойку
Второе критически важное условие для выбора кондиционера — тепловая нагрузка на стойку в ЦОДе. Не на весь ЦОД, а именно на стойку! Если брать за основу проекта только общую тепловую нагрузку на весь ЦОД, корректного охлаждения достичь не получится.
Классические сплит-системы не могут дать необходимую циркуляцию воздуха для оптимального климата в современном ЦОДе с его высоконагруженным оборудованием. Раньше при нагрузке 2 кВт на стойку можно было установить в ЦОДе пару сплит-систем по 2 кВт, и этого было достаточно. Сейчас, когда нагрузка на стойку составляет более 5 кВт, понадобилось бы завесить сплит-системами целую стену, да и то при условии, что стойки стоят строго в один ряд напротив стены для обеспечения хоть какой-то пригодной циркуляции воздуха. Такая система будет крайне не энергоэффективна и совсем не надежна.
Шкафные системы охлаждения рассчитаны на нагрузки не более 6–8 кВт на стойку. К сожалению, из-за такой особенности шкафные кондиционеры уходят в прошлое: ИТ-индустрия шагает очень быстро, оборудование в ЦОДах обновляется и становится все более мощным и теплоемким. При этом обновление ИТ-парка происходит каждые два-три года, в отличие от инженерных систем со сроком замены от восьми лет и более. При этом для помещений, где размещены ИБП и батареи, шкафные кондиционеры остаются весьма удачным решением: большая «ломаная» площадь, малое и легко прогнозируемое тепловыделение — идеальная рабочая среда для них.
Чиллерные системы хорошо окупаются в ЦОДах с мощностью от 300 кВт. Есть нюанс: выбирая такие решения, надо понимать, что у чиллерных систем сейчас много производителей, но мало профессионалов по их обслуживанию. Труд таких специалистов дорого стоит, и в штате они работают, как правило, только в достаточно больших ЦОДах. Конечно, можно привлечь для обслуживания и внешних специалистов. Главное, нельзя забывать, что такое оборудование обязательно нужно контролировать: протечки жидкости в машинном зале — это всегда очень большие риски и сопустствующие проблемы.
В 2018 году получили широкое распространение так называемые холодные стены. Технология проста: это тот же шкафной кондиционер, только без корпуса, а испаритель с вентиляторами замещает собой стену, что экономит площадь ЦОДа. Холодная стена может быть водяной или фреоновой. Проблема та же: из-за особенностей циркуляции холодного воздуха подобные системы не подходят для высоконагруженных стоек. Приемлемое решение: устанавливать в помещении, где имеется до пяти рядов стоек, при этом нагрузка на стойки, расположенные ближе к холодной стене, может достигать 7–8 кВт, а дальше от нее — не более 5 кВт.
Сейчас становится популярной закрытая архитектура охлаждения, когда кондиционеры выдувают воздух не в общий коридор, а непосредственно внутрь стойки с вычислительным оборудованием. Такой направленный и сконцентрированный поток воздуха позволяет отводить до 20 кВт тепла с одной стойки, что фактически является потолком для воздушного охлаждения стандартной стойки 42U, так как площадь радиаторов на чипах физически не способна передать больше тепла в данном размере. Холодильным агентом может выступать как фреон, так и водные растворы. У подобных решений есть два важных преимущества: высокоэффективный отвод тепла без потерь холодильной мощности и значительная экономия места в ЦОДе. Второе особенно важно в городах, где площади ЦОДов очень дороги. Кроме того, это отличное решение, когда в классических дата-центрах с шкафным охлаждением и расчетной нагрузкой в 5 кВт на стойку необходимо разместить один или несколько высоконагруженных серверных шкафов. Создание закрытой архитектуры не будет отнимать полезную холодильную мощность у текущей системы, при этом позволит гарантированно отвести необходимый объем тепла. Данная архитектура охлаждения применяется и в EDGE-решениях для создания микро-ЦОДов в неподготовленных помещениях. Чаще всего устанавливаются встроенные или модифицированные внутрирядные кондиционеры: их отличие от остальных моделей в том, что они всегда подают охлажденный воздух непосредственно внутрь стойки и забирают нагретый таким же способом. Соответственно, циркуляция воздуха происходит на уровне стойки, без использования внешнего коридора, фальшпола и прочего. При этом стойки отличаются повышенной степенью герметичности, как правило, не менее IP55, и в них не используются перфорированные детали. Встроенные кондиционеры имеют холодильную мощность до 12,5 кВт и не занимают дополнительное место: они размещаются внутри стойки сбоку или в свободных юнитах. На больших мощностях хорошо работают рядные кондиционеры. Такие решения подходят для стоек с тепловыделением до 20 кВт. Почти все суперкомпьютеры в России собираются именно на таких закрытых архитектурах охлаждения.
Как выбор кондиционера зависит от планов по модернизации ЦОДа
Это третий важный момент. Если ЦОД организуется в небольшом помещении, где модернизировать, по сути, нечего и тепловая нагрузка в ближайшие 10 лет не превысит 8 кВт на стойку, то шкафные кондиционеры отлично подойдут. Но если мы говорим про большие помещения, — когда ЦОД размещают, например, внутри производственного ангара или изначально строят под большую нагрузку, а значит, оборудование будет обновляться, — то тип кондиционирования надо выбирать, исходя из планов по модернизации и пиковой нагрузки на стойку.
Если ЦОД проектируется в расчете на стойки с невысокой мощностью, то в случае его модернизации или при размещении высоконагруженных стоек, даже при наличии запаса по холодильной мощности, использование шкафных кондиционеров может привести к сбоям и перегреву вычислительного комплекса. Тут лучше выбирать внутрирядные кондиционеры.
Если планируется наращивание вычислительных мощностей или постепенный ввод очередей, то здесь предпочтительны рядные кондиционеры, позволяющие спокойно наращивать мощность без реконструкции инженерных систем всего ЦОДа. За счет своей компактности и высокой мощности внутрирядные кондиционеры позволяют разместить больше стоек на той же площади, чем при использовании шкафных моделей. Чем больше машзал, тем заметнее будут последствия выбора.
Изначально рядные и шкафные кондиционеры могли организовать групповую работу не больше чем для восьми кондиционеров. Это вызывало проблемы при попытке организации групп в больших машзалах с использованием рядных кондиционеров. Сейчас технологии позволяют включать до 64 кондиционеров в группу, что устраняет данное ограничение.
Климатические условия в зоне расположения ЦОДа также надо учитывать
Для установки систем кондиционирования критически важно, в каких пределах происходят колебания уличной температуры, а также дистанция и перепад высоты между внутренними и внешними блоками. От этого зависит выбор типа внешних блоков, возможность применения дополнительных опций, таких как модуль зимнего комплекта или модуль фреонового фрикулинга. К тому же температурный режим очень важен для чиллеров.
Если климат предполагает холодный период года, то особо эффективны будут системы с чиллерной водой и фреоновым фрикулингом. В районе полярного круга строят ЦОДы как раз в расчете на использование прямого охлаждения и экономию электроэнергии. Однако, как мы уже говорили, фрикулинг подразумевает обязательный контроль за оборудованием. А чем дальше от крупных городов, тем острее стоит проблема поиска кадров для эксплуатации как ИТ-оборудования, так и инженерных систем. Специалисты не хотят переезжать в условия вечной мерзлоты даже за повышенный оклад.
Что еще нужно учесть при выборе кондиционера
Рассчитать экономическую целесообразность внедрения того или иного решения бывает непросто. Например, по стоимости рядные и шкафные кондиционеры сейчас практически сравнялись. Благодаря своей энергоэффективности рядные кондиционеры быстро окупаются — уже через два-три года, теплопотери у них меньше, они стабильнее работают, реже запускаются и поэтому дольше служат. Однако если мы говорим про большие ЦОДы с тепловой нагрузкой 4–5 кВт на стойку, то шкафные кондиционеры выгоднее, исходя из того, что достаточно всего одного резервного на весь объем помещения. При использовании рядных кондиционеров необходимо устанавливать один резервный на каждый модуль, что, с одной стороны, надежнее, но с другой — дороже. Если мы говорим про тепловыделение более 8 кВт на стойку или предполагаемую модернизацию через два-три года, то лучше сразу закладывать рядные решения.
Таким образом, свести в одно все необходимые расчеты и выбрать лучшую комбинацию технологий кондиционирования непросто, но если справиться с этой задачей, то в дальнейшем не возникнет проблем с климатом в ЦОДе и расходов на непредвиденные ремонты или замену оборудования.
Опубликовано 10.12.2024
