ЦОД: правила кондиционирования и охлаждения

Геннадий Дунаев , руководитель службы эксплуатации ЦОД «»ТрастИнфо»», ГК «»Ай-Теко»»
Система охлаждения ЦОД является, как известно, одной из самых энергозатратных составляющих ЦОД, потребляя до 50% всего объема электроэнергии, необходимой для его работы.
Выбор типа системы охлаждения дата-центра существенно влияет на конфигурацию всех смежных инженерных систем, а в конечном итоге определяет такой важный показатель, как полная стоимость владения (TCO). В то же время, рационально спроектированная система охлаждения ЦОД позволяет сократить эксплуатационные затраты более чем на 10%.
Не стоит забывать и о важности поддержания рабочих температур в ЦОД для отказоустойчивости – допустимые перепады температуры вписываются в диапазон всего в 9 °C.
Стандартное похолодание
Спектр задач для современной системы охлаждения ЦОД включает в себя, прежде всего, поддержание оптимальной рабочей температуры и влажности внутри стоек, подвод холодного воздуха и отвод горячего при соблюдении условия несмешиваемости двух потоков.
Общепринятыми стандартами по кондиционированию ЦОД являются рекомендации ASHRAE –- американского общества инженеров –- специалистов по отоплению, охлаждению и кондиционированию воздуха. Стандарт включает в себя следующие параметры: температура –- 18 °C ≤ T ≤ 27 °C, точка росы –- 5,5 °C ≤ Tр ≤ 15 °C, влажность –- H ≤ 60%.
ASHRAE выделяет четыре класса оборудования для дата-центров: A1, A2, A3 и A4:
• оОборудование класса A1 работает в диапазоне температур от 15 до 32 °Cградусов по Цельсию при относительной влажности от 20 до 80%;
• оОборудование класса A2 работает в диапазоне температур от 10 до 35 °C градусов по Цельсию при относительной влажности от 20 до 80%;
• оОборудование класса A3 работает в диапазоне температур от 5 до 40 °C градусов по Цельсию при относительной влажности от 8 до 85%;
• оОборудование класса A4 работает в диапазоне температур от 5 до 45 °C градусов по Цельсию при относительной влажности от 8 до 90%.
Основной объем ИТ-оборудования, установленного в современных дата-центрах, соответствует по даннойэтой классификации уровням А1 или А2.
Это – не единственный стандарт. Так, кондиционирование машинных залов также регулируется другим американским стандартом (TIA-942) и его европейским аналогом.
Стандарт рекомендует применение фальшполов, а также расположение шкафов и стоек с оборудованием таким образом, чтобы между ними можно было организовать «горячие» и «холодные» коридоры.
В «горячих» рядах шкафы и стойки с оборудованием располагаются тыльными сторонами друг к другу. Перфорированные плитки фальшпола в «холодных» рядах позволяют холодному воздуху поступать к лицевым панелям оборудования.
В качестве дополнительных способовредств охлаждения оборудования предусматриваются: также распределение оборудования по неиспользованным участкам фальшпола (— при наличии таковых);, использование открытых стоек вместо шкафов или же шкафов с ячеистыми передними и задними стенками;, а также использование перфорированных плиток с отверстиями большего размера.
В России также действует документ СН 512-78 «Техническое требование к зданиям и помещениям для установки средств вычислительной техники». Согласно ему, запыленность воздуха в серверных не должна превышать 0,75 грамм на 1 м³, а в помещениях обработки данных этот показатель составляет 2 грамма на 1 м³ воздуха. При этом размер частиц не должен превышать 3 мкм.
Поскольку в подобных помещениях оборудование для кондиционирования воздуха эксплуатируется круглый год, то кондиционеры в серверных должны выдерживать температуру наружного воздуха до –30 °С, что требует обязательной установки комплекта зимней эксплуатации. В то же время стандартные системы кондиционирования рассчитаны на работу при температуре воздуха до – 10 °С, реже – до –– 20 °С.
Помещение, в котором располагается ИБП, имеет свои параметры по кондиционированию: температура воздуха 20–-25 °С (не более 40 °С), влажность –- не вышеболее 90%. Кроме того, необходимаТакже нужна отдельная вытяжка.
Определяющим показателем эффективного использования электроэнергии в ЦОД является коэффициент PUE (Power Usage Effectiveness). Он равен мощности энергопотребления всего ЦОД, деленной на мощность энергопотребления серверного оборудования. У энергоэффективного ЦОД PUE стремится к единице.
До недавнего времени даже самые лучшие ЦОД обладали коэффициентом энергоэффективности не более 1,6, а худшие демонстрировали показатель около 3. Именно хорошая система охлаждения оборудования ЦОД помогает снизитьулучшить PUE : один из лучших показателей в мире сегодня составляет 1,25, и достигнут он был благодаря системе охлаждения EcoBreeze (производитель –- APC by Schneider Electric).
Классические способы систем охлаждения
В зависимости от специфики конкретного ЦОД, используются разные решения. Например – так, при небольшой энергоемкости объекта для охлаждения достаточнохватает и воздушного охлаждения прецизионных кондиционеров. Как только объемы выделяемого тепла «перешагивают» определенные пороговые значения, усложняется и система кондиционирования.
Одноим из самых распространенных решений –являются фреоновые прецизионные системы с непосредственным расширением (DX), которые. Они применяютсянашли свое применение в ЦОД любых уровней. В, а числек их главныхм достоинствам – относят относительно низкаяую стоимость, долгий срок службы и высокаяую надежность. Они подходят для небольших по объемам энергопотребления объектов (до 100 кВт).
Более передовоеым решение –м являются прецизионные кондиционеры на холодоносителе, используемые в ЦОД классом вплоть до Tier IV. Охлаждение воздуха в теплообменнике таких кондиционеров происходит за счет циркуляции холодоносителя (хладагента), который доводится до нужной температуры в специальных установках –- чиллерах. Как правило, это сложные и дорогие решения, стоимость которых может быть на 50% выше, чем DX.
Такие системы обеспечивают гибкую модель эксплуатации, позволяющую за счет комбинации различных составляющих добиваться почти двукратного снижения годового потребления энергии по сравнению с фреоновыми прецизионными кондиционерами.
Кроме того, широко используются межстоечные кондиционеры на фреоне или холодоносителе. Они размещаются в рядах стоек с серверным оборудованием и забирают нагретый воздух из «горячих» коридоров. После охлаждения он поступает в холодный коридор, и оттуда передается на охлаждение стоек.
При таком подходе отпадает необходимость в фальшполах, поскольку воздух движется в горизонтальном направлении. Это позволяет размещать довольно мощные дата-центры на небольших площадях.
Еще один тип систем охлаждения –- модули охлаждения с фазовым переходом хладагента. ПодобныеТакие системы могут быть как основными устройствами в системе охлаждения или, так и дополнять системы других типов. Модули представляют собой корпусы различной конфигурации, в которых размещаются теплообменники и вентиляторы. В качестве хладагента используется фреон или углекислота.
Существуют также стойки с интегрированными модулями охлаждения: воздух в в нихтаких стойках циркулирует, не выходя за ее пределы.
Новейшие подходы к организации охлаждения ЦОД
В последние годы наряду с классическими способами организации систем охлаждения, появились новые, экологические, или «зеленые», подходы для теплоотвода в ЦОД: использование морской или речной воды, наружного воздуха (фрешкулинг). Минус таких решений –— необходимость выделять под системы охлаждения помещения большей площади, чем при работе с фреоновыми кондиционерами или чиллерами, что отражается на общей стоимости эксплуатации. Эта технология в различных вариантах используетсяприменена на объектах таких компаний, как Facebook, Google и Yahoo. Однако ее применимость связана с климатическими условиями, поэтому вряд ли этот метод получит повсеместное распространение.
Используют и абсорбционные бром-литиевые холодильные машины (АБХМ), но пока и это решение широкого распространения не получило. Хотя к нему, безусловно, стоит присмотреться: это настоящее «зеленое» решение, при котором в системах охлаждения дата-центра не используется фреон.
Другая актуальная тенденция сегодняшнего дня –— использование жидкостныех системы охлаждения. По данным Knuerr, в ряде случаев они оказываются на 40% экономичнее воздушного охлаждения, а энергоэффективность ЦОД с их помощью можно повысить на 30%.
На жидкостных системах строятся и проекты по геотермальному охлаждению ЦОД. Интересный вариант реализованое решение предложено в Стокгольме: компания Interxion для охлаждения своего ЦОД использует воду Балтийского моря. Это решение стало альтернативой традиционным системам кондиционирования, а значит, — и росту затрат на электроэнергию для их работы. По схожей модели решена проблема охлаждения ЦОД Google в Финляндии. Температура воды на входе в первый модуль ЦОД составляет 6° С, а на выходе – 12 °С. Второй модуль вода покидает уже с температурой 18 °С, а в третьем нагревается до 24 °С. После этого она поступает в насосную станцию и используется для отопления близлежащих домов и офисов. После реализации проекта компании удалось уменьшить коэффициент эффективности использования электроэнергии (PUE) с 1,95 до 1,09, на 80% снизить затраты на охлаждение по сравнению с системами на базе воздушного охлаждения и на 13% –- по сравнению с системами жидкостного охлаждения. Оценив эффективность проекта, компания планирует создать такую же схему в Лондоне –— с использованием вод Темзы.
В России аналогичное решение реализованоиспользовано в дата-центре «ТрастИнфо»: расположенный на территории дата-центра технический бассейн используется в качестве резервного источника холода –- накопительный бак холода на 2000 м³ воды. охлаждает этиленгликоль внешних контуров системы охлаждения, Ххолодная вода также залита в два внутренних контура системы холодоснабжения. Использование данного ресурса с водой температурой +7 °C позволяет обеспечивать до 4х часов автономного охлаждения дата-центра при полной загрузке мощностей.
Модульный ЦОД – прецизионные кондиционеры и free cooling
Свои особенности имеют так называемые модульные ЦОД – относительно новая для России область ЦОДостроения. Модульный ЦОД представляет собой готовую инфраструктуру для размещения серверов, систем хранения данных и другого ИТ-оборудования, состоящую из контейнера или набора контейнеров со всеми компонентами полноценного ЦОД внутри (стойками для серверов, коммуникациями, системами электропитания, охлаждения и т. п.).
Системы кондиционирования таких проектов включают в себя внутренние и внешние блоки кондиционеров с дополнительными системами свободного охлаждения и нагревания воздуха, автономным подогревом слива конденсата из кондиционеров, исключающим возможность замерзания, и защитой внешних блоков от вандализма и случайных повреждений. Уровень резервирования – N+1.
В системе кондиционирования МЦОД возможно использование режима свободного охлаждения (free cooling) с помощью наружных вентиляторов.
Типичное кондиционирование в МЦОД строится на компрессорно-конденсаторном блоке и прецизионных внутрирядных кондиционерах. Они оснащены воздушным фильтром, реле давления для контроля степени загрязнения фильтра, насосом для удаления конденсата, а также микропроцессорным контроллером, который позволяет отслеживать функционирование агрегатов с помощью интерфейсов для подключения к системам диспетчерского управления.
В мировом масштабе
Глобальный рынок этих систем, по прогнозу TechNavio, вырастет вместе с рынком собственно ЦОД до 2016 г.ода на 12%, а его основным драйвером станет бум «облачных» технологий. Ежегодный рост потребности ЦОД в охлаждении оборудования составляет, при этом, 8%.
Исследование компании DCD Intelligence показало, что рост инвестиций в ЦОД в 2012 г.оду составил 22,1% по сравнению с уровнем 2011 г.ода: с $86 млрд до $105 млрд долл. Прогноз на 2013 г.од – 14%. Максимальный рост (22,5%) был отмечен в сегментах решений управления ЦОД, а также в ИБП, системы безопасности и охлаждения. Рост в деньгах за год составил $9 млрд долл.
Основными вендорами, обеспечивающими поставки различных комплектующих и готовых решений, являются APC Corp., Emerson Network Power, Rittal Corp., Coolcentric, Core4 Systems, Dell Inc., Eaton Corp., Fujitsu Ltd., Green Revolution Cooling, Hewlett-Packard Co., Hitachi Ltd., IBM Corp., Klima-Therm Ltd., KyotoCooling, Oracle Corp., и Stulz ATS.
Главными вызовами, стоящими сегодня перед ними и перед операторами дата-центров, являются энергодефицит, а также повышенные требования к энергоэффективности и экологичности процессов охлаждения, что порождает спрос на «зеленые» решения. Патентуются все новые технологии охлаждения, – в том числе и такие, как погружение оборудования в охлаждающую среду (минеральное масло).
Все эти решения применяются и в России. Российский рынок ЦОД – один из самых быстрорастущих. В 2013 г.од он вырос на 28% – до 9,1 млрд руб.лей (данные iKS Consulting), а на 2014-й некоторые эксперты прогнозируют и вовсе двукратное его увеличение. 170 крупных и средних ЦОД на общей площади 65 тыс. м2 – суммарные показатели на текущий момент, которые в 2014 г.оду возрастутувеличатся на 10 тыс. м2. А это значит, что спрос на самые передовые решения по охлаждению оборудования будет только расти.
Уже сейчас в России реализуются проекты по созданию систем охлаждения ЦОД самого высокого уровня. Один из них – система охлаждения дата-центра «ТрастИнфо», особенностью которого является сочетание разных типов систем кондиционирования.
Решение проблемы удаленных теплообменников
ЦОД «ТрастИнфо» организован по принципу блоков: он разделен на пять зон, каждая из которых— самостоятельный дата-центр, включающий в себя два машинных зала с автономной инженерной инфраструктурой. Каждый машинный зал –— это отдельный герметичный модуль внутри основного здания дата-центра, изготовленный из ударопрочных и пожаробезопасных материалов. Внутри такого модуля расположены машинные залы и инженерные системы.
Запуск мощностей «ТрастИнфо» осуществлялся поэтапно, блок за блоком. Каждый модуль обеспечивается системой кондиционирования. Оптимизация энергопотребления достигается прежде всего за счет применения высокоэффективного аккумулятора холода, водоохлаждающих машин с компрессорами Turbocor, вентиляторов прецизионных кондиционеров с EC-приводом (электронно-коммутируемым двигателем), использования технологии фрикулинга, а также управления работой инфраструктуры в зависимости от загрузки серверов.
В случае применения технологий фрикулинга (free cooling) оборудование охлаждается за счет подачи в зал более холодного наружного воздуха при соответствующих погодных условиях. При жаркой погоде режим фрикулинга не включается и охлаждение залов стандартно осуществляетсяпроизводится холодильным контуром кондиционера. Немаловажно и наличие режима аварийного охлаждения с помощью фрикулинга –— в этот режим работы система охлаждения переходит в том случае, если отключается основное энергоснабжение.
Такое решение применено в четырех из пяти модулей дата-центра. Пятый модуль –— особенный: он находится в отдалении от остальных, кондиционирование которых осуществляется с помощью водоохлаждающих машин. При проектировании систем кондиционирования для этого модуля можно было выбрать один из двух путей: сохранить единообразную систему кондиционирования, для чего пришлось бы прокладывать трубопроводы от теплообменников к удаленным залам, или отойти при их оснащении от общего для остальных модулей решения. Расчеты показали, что прокладывать коммуникации внутри дата-центра нецелесообразно – это приведет к большим потерям энергии на водоснабжение удаленных залов.
Альтернативой водному охлаждению стали фреоновые кондиционеры Uniflair производства Schneider Electric. При их монтаже конденсаторы были выведены на крышу дата-центра. Это позволило рационально использовать внутреннее пространство дата-центра и прилегающую территорию с учетом требований к пожарной и экологической безопасности: в случае утечки фреон нигде не скапливается. Кондиционеры находятся практически за стенкой машинных залов, так что ограниченная длина фреоновых трасс в данном случае —не препятствие.
В настоящее время в двух удаленных залах дата-центра установленыо и введеныо в эксплуатацию 14 кондиционеров Uniflair. Два из них предназначены для охлаждения системы бесперебойного питания:— они размещаются в отдельном помещении, где находятсяразмещены четыре ИБП Galaxy (по 500 кВА) производства Schneider Electric. Таким образом соблюдается одно из важнейших требований стандарта TIA-942: размещение ИТ-систем и инженерных систем в разных помещениях. Эта мера предусмотрена стандартом для дополнительной защиты ИТ-оборудования в случае аварии инженерных систем и продиктована многолетней практикой западного рынка, уже имеющего опыт строительства и эксплуатации крупных дата-центров, в том числе, и в форс-мажорных ситуациях.
Удельная мощность, потребляемая одной стойкой, в среднем составляет 5–-6 кВт. Но инженерная инфраструктура «ТрастИнфо» справляется и с нагрузками до 15 кВт без дооснащения дополнительными средствами кондиционирования воздуха. Для таких стоек с повышенным энергопотреблением инфраструктура дата-центра допускает возможность уплотнения нагрузки в расчете на одну стойку: сокращается количество установленных стоек, при этом каждая из них потребляет пропорционально больше мощности, но суммарная мощность и соответственно энергопотребление зала не меняюется. В этом случае для охлаждения таких уплотненных стоек организуется более широкий изолированный «холодный» коридор».
Каждый заказчик перед въездом заполняет опросный лист, где указывает максимально возможную мощность, которую будет потреблять его оборудование. В соответствии с этим требованием выполняется специальное проектное решение, включающее и холодоснабжение. Это может быть создание «холодного» коридора, использование специальных шторок и др.
Ближайшая перспектива
Эксперты «ТрастИнфо» считают, что дальнейшее развитие и модернизацию инженерных систем дата-центра нужно будет вести по двум направлениям: усиление экологической безопасности и энергоэффективности. В числе планируемых мер –- более широкое использование изолированных «холодных» и «горячих» коридоров в машинных залах. Это позволит снизить нагрузку на инженерные системы дата-центра и станет одной из ключевых мер по дальнейшему повышению PUE.
Следует отметить, что в «ТрастИнфо» придерживаются моновендорной стратегии в выборе оборудования: по мнению специалистов компании «Сервионика» (ГК «Ай-Теко»), под чьим управлением находится дата-центр, такой подход упрощает построение и обслуживание инженерной инфраструктуры, обеспечивает совместимость и органичность развития систем и позволяет снизить издержки. Многолетнее сотрудничество связывает «Ай-Теко» и Schneider Electric, но в «ТрастИнфо» используется оборудование и других поставщиков.