ИБП на защите систем. А кто защищает ИБП?
Обычно в дата-центрах среднего и крупного размеров под источники бесперебойного питания (ИБП) выделяются отдельные помещения. Они относятся к числу критически важных для функционирования всех ИТ и инженерных систем и требуют правильной организации и поддержания микроклимата. В данной статье мы покажем на конкретном примере, как за счет использования технологии численного моделирования термодинамических процессов (Computational Fluid Dynamics, CFD) спрогнозировать работу системы кондиционирования, и дадим основные рекомендации для помещений ИБП.
Рассмотрим проект, в котором необходимо было выполнить CFD-моделирование системы кондиционирования нестандартного помещения ИБП и получить практические рекомендации для улучшения ее работы. В помещении установлено оборудование бесперебойного электроснабжения общей мощностью 2,5 МВт. Для снятия теплоизбытков, которые возникают при работе щитового оборудования, ИБП, их циклической зарядке и разрядке, на объекте спроектирована система кондиционирования на базе шкафных водяных кондиционеров. Всего в помещении установлено пять кондиционеров (четыре рабочих и один резервный).
Рис. 1. Визуализация помещения
Помещение является «сложным» с точки зрения кондиционирования из-за ряда факторов:
-
Соотношение размеров объекта – ширина 3 м при длине 40 м.
-
Сочетание тепловых нагрузок. В отличие от серверных стоек с их высокой плотностью мощности, большими перепадами температур и относительно небольшими расходами воздуха, здесь присутствуют существенные расходы воздуха при небольшом перепаде температур (ΔT) на ИБП за счёт встроенных вентиляторов охлаждения (т.е. вынужденная конвекция), а также передача тепла от щитового оборудования за счёт свободной конвекции. То есть в одном помещении сочетаются два основных типа теплоотвода от оборудования. Тепловая нагрузка по расчёту – 150 кВт, т.е. около 310 Вт/м3 при кратности воздухообмена около 125 1/ч.
-
Нестандартное размещение кондиционеров. Расстановка оборудования была связана с технологическими требованиями заказчика. Подфальшпольное кондиционирование не рассматривалось: необходимо было сделать минимальный фальшпол, чтобы сровнять его с уровнем пола снаружи помещения.
Рис. 2. Схема размещения оборудования в помещении
В отличие от ЦОД для помещений ИБП до сих пор часто применяют либо бытовые, либо «полупромышленные» кондиционеры потолочного и канального типов, которые не рассчитаны на круглогодичную работу в режиме 24х7. Однако главная ошибка в том, что ΔT на этих кондиционерах гораздо больше данного показателя на шкафах ИБП. Фактически баланс мощности в объеме помещения сходится, но баланс расхода воздуха – нет. По причине недостаточного воздухообмена могут возникать перегревы оборудования. К сожалению, об этом важном моменте при расчетах часто забывают. А ведь именно в этом состоит коренное отличие систем кондиционирования для помещений ИБП от серверных и ЦОД с высокой плотностью мощности. Поэтому в помещениях ИБП необходимо использовать систему прецизионного кондиционирования, позволяющую настроить рабочие температуры и расходы воздуха в широком диапазоне.
В созданной нами CFD-модели (Рис. 3) были заданы следующие тепловыделяющие объекты: силовые модули ИБП (СМ), щиты распределения и параллельной работы (Щ). Дополнительные теплопритоки от батарейных шкафов (Б), освещения, вентиляции, теплопроводности стен не учитывались в виду малого влияния на результат.
Были смоделированы различные схемы включения кондиционеров (К1-К5), находящихся в ротации, а также включение всех кондиционеров одновременно.
Рис. 3. Схема размещения оборудования в CFD-модели
Основные характеристики расчётной модели:
-
Режим: стационарный (Steady State);
-
Модель турбулентности: k-epsilon;
-
Схема адвекции: Modified Petrov-Galerkin;
-
Число расчётных узлов: 1,74 млн;
-
Число расчётных объёмных элементов: 6,28 млн.
В ходе CFD-моделирования были получены следующие результаты:
-
Застойные зоны с повышенной температурой в районе установки ИБП и батарейных модулей возникают в любом из вариантов включения кондиционеров при ротации.
-
При одновременной работе всех кондиционеров максимальная температура в зоне установки ИБП и батарейных модулей не превышает +27°C, что является допустимым.
-
При работе четырёх из пяти кондиционеров максимальная температура в зоне установки ИБП и батарейных модулей может достигать +29°C, что для силовой части ИБП является нормой, но для батарей типа VRLA становится уже критичным с возможным уменьшением срока их службы на 30%.
-
Неустойчивость охлаждения щитового оборудования без принудительной вентиляции присутствует в случае, если щиты установлены там же, где и силовое оборудование ИБП. Это связано со значительным влиянием основного потока системы кондиционирования на отвод воздуха через вентиляционные решетки щитов. При этом в нижней зоне щитов на вентиляционных решётках может возникнуть эффект эжекции, и нагретый воздух не выходит из верхних вентиляционных решеток щитов, а наоборот движется внутрь щита, нагревая его. CFD-модель щита с принудительной вентиляцией показывает хорошую работу при теплоотводе и обеспечивает устойчивое решение задачи.
Хотелось бы обратить внимание на моделирование щитов и силовых шкафов, которые выделяют тепло. Для подобного оборудования нельзя напрямую перенести из 3D-модели в CFD-модель геометрию со всеми автоматами и шинопроводами, крепежными элементами: возникает большое число мелких элементов, не влияющих на результат, но усложняющих модель, при этом невозможно корректно задать тепловую нагрузку. Поэтому мы использовали расчетную модель, состоящую из корпуса шкафа, эквивалентного теплогенератора в шкафу и вентиляционного устройства, которое охлаждает шкаф. В итоге мы получили устойчивую расчетную схему.
При анализе (интерпретации) результатов CFD-моделирования были использованы различные инструменты визуализации: сечения, изоповерхности, изообъемы и линии тока. Все они наглядно демонстрируют, как распределяется воздух в помещении, какая конфигурация оборудования будет оптимальной, а также позволяют увидеть места перегрева и застойные зоны. На основании полученных данных был сформирован список рекомендаций по улучшению работы системы кондиционирования.
Рис. 4. Примеры визуализации результатов расчёта в CFD. Сопоставление режимов работы кондиционеров в Decision Center: слева - все кондиционеры включены, справа – кондиционер №4 выключен
Рис. 5. Примеры визуализации результатов расчёта в CFD. Сопоставление четырёх режимов ротации кондиционеров в Decision Center
Рис. 6. Примеры визуализации результатов расчёта в CFD.
а – распределение температур в вертикальном сечении (Planes) с отображением проекции векторов скорости; б, в – линии тока (Traces); г – изообъём (Iso Volumes) с температурой +27 °C
Рис. 7. Графики распределения температур по центру «холодного» коридора на уровне 2,2 м от уровня фальшпола, все режимы работы системы кондиционирования
Практические рекомендации для организации систем кондиционирования помещений ИБП:
-
При проектировании системы кондиционирования для помещений со сложной конфигурацией в сочетании с высокой тепловой нагрузкой требуется CFD-моделирование.
-
При расчете систем кондиционирования необходимо обращать внимание не только на баланс мощности, но и на баланс расхода воздуха.
-
Необходимо использовать прецизионные кондиционеры, позволяющие гибко настроить и расход, и ΔT по воздуху.
-
Рекомендуется использовать режим работы типа «горячий резерв», когда все кондиционеры работают на пониженной мощности. Режим «холодный резерв», при котором несколько кондиционеров работают, а резервные выключены, увеличивает вероятность появления зон перегрева.
-
Рекомендуется использовать щитовое оборудование с принудительной вентиляцией для гарантированного теплоотвода.
- Для щитового оборудования без принудительной вентиляции необходимо учитывать теплообмен через стенки корпуса в дополнение к основному отводу тепла через вентиляционные решётки. При наличии принудительной вентиляции теплоотводом через стенки можно пренебречь в целях упрощения решения.
Вадим Каллэ, заместитель начальника отдела проектирования инженерных систем СТЭП ЛОДЖИК
Опубликовано 01.08.2019