С увеличением объемов обрабатываемой в компаниях информации растет и потребность в новых центрах обработки данных повышенной производительности и с улучшенными характеристиками по их воздействию на окружающую среду. Одной из важных задач при создании современных ЦОД является экономия ресурсов, необходимых для эксплуатации вычислительного оборудования. Для этого нужно оптимизимовать строящийся ЦОД по наиболее затратному компоненту – системе охлаждения.
Как важно быть холодным
При строительстве и дальнейшей эксплуатации ЦОД основными инженерными системами являются: подача качественного электроснабжения, обеспечение стабильного охлаждения ИT-оборудования и сетевое оборудование. К вспомогательным инженерным системам относятся освещение, администрирование, пожарная и физическая безопасность. Основные затраты на эксплуатацию ЦОД – это электроэнергия, которая требуется всем элементам: серверам, системам охлаждения, видеонаблюдения, администрирования и др. При этом даже сами источники бесперебойного питания (ИБП) также требуют определенных затрат энергии, поскольку их КПД далек от идеала. Вся потребляемая энергия преобразуется в тепло, которое, очевидно, должно быть выведено из помещения. Чем более мощный ЦОД мы строим, тем бóльшая доля энергии тратится именно на отведение тепла.
Для оценки эффективности систем снабжения энергии в ЦОД введен даже специальный коэффициент эффективности использования электроэнергии – Power Usage Effectiveness (PUE) (рис. 1). Он рассчитывается как отношение всей потребляемой энергии к мощности, потребляемой собственно ИТ-оборудованием. Значение этого коэффициента всегда больше единицы: чем больше энергии тратится на посторонние цели, тем выше PUE. Идеальной ситуацией, недостижимой, как и 100%-ный КПД, является единица, когда вся энергия тратится только на ИТ-оборудование. Если в 2009 г. среднее значение PUE было на уровне 2,2, то в 2015 г. оно составило 1,5, и есть признаки его увеличения вместо уменьшения: большая доля определена холодоснабжением и может достигать 87% всех эксплуатационных затрат.
Рис. 1. Влияние дополнительных расходов на PUE
Для эффективного электроснабжения необходимы ИБП, а в качестве резервного источника электропитания – дизель-генераторные установки (ДГУ) или комбинированное решение дизель-роторные, или динамические, ИБП (ДИБП). ИБП обычно рассчитывается в зависимости от предполагаемой ИT-нагрузки, системы охлаждения серверов и остальных вспомогательных систем. Мощность ДГУ всегда больше ИБП, так как добавляются потери в самом ИБП и генерация холодоснабжения (чиллеры, драйкулеры, насосы). В случае снижения электрической мощности системы охлаждения серверов сокращаются и стоимость ИБП, и потери на них при эксплуатации. А при уменьшении мощности генерации холодоснабжения снижаются стоимость ДГУ и в целом эксплуатационные затраты.
Вся электроэнергия, подаваемая в ЦОД, внутри ИТ-оборудования преобразуется в тепловую, которую необходимо отвести для обеспечения работоспособности ИT-оборудования. Основными источниками тепла в ЦОД являются серверные стойки и ИБП. Обычно их охлаждение происходит с помощью воздуха, параметры которого определены рекомендациями производителя серверного оборудования либо институтом ASHRAE. Рекомендуемые параметры подачи воздуха к серверам – от 18 до 27 °C, а допустимые – от 15 до 32 °C. При расчете нагрузки системы охлаждения серверов и ИБП помимо их тепловыделения учитывается тепловыделение от вентиляторов охладителей. Поэтому производительность холодильных машин больше, чем ИТ-нагрузка с ИБП. При использовании чиллеров внутренней установки необходимы наружные охладители жидкости, которые рассчитываются уже по тепловой нагрузке конденсатора чиллера. Она примерно равна сумме производительности чиллера и его энергопотребления. При этом стоимость наружных блоков зависит не только от эффективности чиллера, но и от расчетной температуры окружающего воздуха.
Возможности по использованию естественного охлаждения зависят от климата (рис. 2), где строится ЦОД, и от допустимой температуры холодоносителя для охладителей воздуха в серверном зале. Например, больше естественного охлаждения (фрикулинга) в Красноярске, больше охлаждения чиллером в Краснодаре. Охладители, рассчитанные на холодоноситель 21 °C, будут работать в режиме фрикулинга на 190% дольше, нежели кондиционеры, работающие на воде 10 °C, что позволяет снизить среднегодовой PUE.
Рис. 2. Зависимость PUE от климатических условий
Системы администрирования, освещения, видеонаблюдения и пожаротушения не имеют большого энергопотребления, следовательно, здесь нет потенциала для снижения операционных затрат. Основной потенциал сокращения операционных расходов – оптимизация режимов работы системы охлаждения.
Борьба с тепловыделением
Для оптимизации работы системы охлаждения используют следующие технологии: фрикулинг, охладители для серверов, изменение температурного режима работы чиллера и изменение параметров подаваемого к серверам воздуха. Рассмотрим каждый из этих методов более подробно.
Фрикулинг, или естественное охлаждение
Естественное охлаждение – это охлаждение без использования холодильной установки. Путем использования атмосферного воздуха как охладителя в системе можно значительно снизить необходимость применения экологически вредных хладагентов. Кроме того, естественное охлаждение – это путь к снижению затрат на электроэнергию. Уменьшение потребления электроэнергии положительно влияет и на окружающую среду, так как производство электроэнергии зачастую влечет за собой загрязнение воздуха. Естественное охлаждение может применяться в тот период, когда температура окружающей среды достаточно низкая, чтобы заменить собой использование охлаждающей жидкости, например в зимний период. В таких случаях весной и осенью может использоваться сочетание фрикулинга охлаждения с помощью чиллера. В летнее время источником холода выступает только охладительная установка. Источником естественного охлаждения могут стать вода озер и рек, морская вода, подземные воды, лед и снег, а также воздух.
При использовании естественного охлаждения можно добиться снижения потребления электроэнергии до 95% в сравнении с компрессорным охлаждением. Определяющую роль играет расчетная температура жидкости воздушных охладителей. Так, при требуемой температуре холодоносителя 10 °C фрикулинг допустим при температуре окружающего воздуха +3 °C и ниже, что в московском климате возможно 3592 часа в году. При использовании охладителей Alfa Laval Arctigo-LSV и повышении температуры холодоносителя до 21 °C, при температуре наружного воздуха +17°C и ниже, количество часов естественного охлаждения будет увеличено до 7359 часов. Это означает, что расходы на работу чиллера будут сокращены в четыре раза (5168 часов против 1401 часа).
Низкоскоростная вентиляция
Низкоскоростная система вентиляции (LSV) представляет собой уникальную и запатентованную систему охлаждения серверов, которая использует для охлаждения воздух с низкой скоростью потока, что обеспечивает работу серверных помещений в условиях стандартного давления и сокращает расход электроэнергии. Серверы постоянно обдуваются потоками воздуха заданной температуры. Для охлаждения серверов требуется достаточно большой объем воздуха. В сравнении с ним стандартные устройства охлаждения серверов относительно малы, что ведет к увеличению скорости подаваемого воздуха со всеми вытекающими негативными последствиями. В технологии охлаждения с использованием низкоскоростной системы вентиляции применяются устройства воздушного охлаждения, имеющие большую площадь поперечного сечения, что обеспечивает поддержание низкой скорости подачи воздуха и предотвращает возникновение негативных последствий (эффект Вентури, точки перегрева, повышенное давление, расход электроэнергии).
В концепции низкоскоростной системы вентиляции (LSV) используются устройства охлаждения, установленные снаружи серверного помещения, которые удаляют отработанный воздух из верхней вентиляционной камеры и равномерно распределяют достаточное количество охлаждающего воздуха по серверному помещению (рис. 3). Такая система обеспечивает подачу воздуха в достаточном количестве. Кроме того, она может работать при использовании оболочек, защищающих от повышенных или пониженных температур, со съемными полами или без них, в системах с замкнутым контуром или использующих наружный воздух. Поскольку низкоскоростные системы вентиляции являются оборудованием, работающим при стандартном давлении, операторам центра обработки данных необходимо только контролировать наличие подачи воздуха, а не его давление, что весьма существенно.
Рис. 3. Схема охлаждения с использованием технологии LSV
При реализации концепции Low Speed Ventilation значительно снижаются потери давления воздуха по траектории его движения в ЦОД, что ведет к значительному снижению мощности вентиляторов (в пять-десять раз) и, как следствие, уменьшению тепловыделения и энергопотребления всей системы холодоснабжения (чиллер, драйкулер, насосы) и электроснабжения (ИБП, ДГУ). Например, для охлаждения ЦОД мощностью 1 МВт мощность вентиляторов составит всего 8,6 кВт. Немаловажный фактор – отсутствие избыточного давления и зон перегрева, а значит, и лишних проблем у службы эксплуатации.
Классическое охлаждение
Традиционно охлаждение ЦОД осуществляется при помощи шкафных или межрядных кондиционеров с изоляцией «горячего» или «холодного» коридора. При классических решениях больший период времени в году холодоснабжение обеспечивается холодильной машиной, следовательно, выбор дорогостоящего, но эффективного чиллера экономически оправдан. Для снижения энергопотребления чиллера можно изменить температурный график на стороне конденсатора. Например, при нагрузке 1 МВт и температурном графике 42…47 °C энергопотребление чиллера составит 235 кВт. Драйкулер рассчитан на мощность 1,235 МВт и при температуре окружающего воздуха +35 °C будет расходовать 40 кВт.
Однако это не самый оптимальный режим работы установки охлаждения, поскольку можно использовать охлаждение за счет испарения жидкости – так называемое адиабатическое. Благодаря применению специальной жидкости для охлаждения Alfa Laval Abatigo при температуре окружающего воздуха +38 °C и мощности 49 кВт можно перейти на график чиллера 30…35 °C. При этом его мощность уменьшится до 144 кВт, а нагрузка по конденсатору может быть снижена до 1,132 МВт. Приведенные показатели достижимы на винтовых моделях чиллеров, которые дешевле турбокомпрессорных аналогов. Адиабатический охладитель Abatigo работает больший период времени как драйкулер, а в адиабатическом режиме при температуре воздуха выше 24 °C с минимальным потреблением воды и не требует водоподготовки. Таким образом, на 30% снижена мощность холодильного оборудования, что позволит уменьшить и стоимость ДГУ или использовать освободившуюся мощность на ИТ-оборудование.
При увеличении температуры подаваемого к серверам воздуха до +28 °C на 258 часов в году (ASHRAE допускает от 15 до 32 °C), а остальной период (рекомендуемые) – от 18 до 27 °С можно применить тандем Arctigo-LSV и Abatigo без чиллера. При этом Arctigo-LSV будет обеспечивать температуру в серверном помещении 24 °C при холодоносителе 21 °C, а при повышении до 25 °C в зале будет 28 °C. В свою очередь, Abatigo будет обеспечивать холодоноситель 21 °C при температуре окружающего воздуха +20 °C и при +38 °C на выходе будет 25 °C с пиковым энергопотреблением 105 кВт и расходом воды 438 м3 в год. Наличие закрытой адиабатической камеры позволяет Abatigo снизить уровень шума, защитить теплообменники от пыли, пуха, листьев и точно регулировать степень увлажнения подаваемого воздуха. Общая мощность системы холодоснабжения составит 113,6 кВт, что даст возможность уменьшить стоимость ДГУ и эксплуатационные расходы. Отсутствие чиллеров в списке обслуживаемого оборудования также обеспечит сокращение расходов на обслуживание и инвестиций.
Если посмотреть на статистику температур для Москвы (рис. 4), то можно отметить, что климат в Центральной России позволяет использовать до 91% времени в году фрикулинг (7997 часов), а в остальное время (763 часа) при помощи адиабатического охладителя снизить энергопотребление механического охлаждения на 50%. При допуске повышения температуры в серверном зале до 28 °C можно вообще отказаться от чиллера и круглый год использовать естественное охлаждение ЦОД с применением низкоскоростной вентиляции и адиабатическим охлаждением с рекордным PUE 1,07. Понятно, что для других широт статистика температурного распределения иная, от этого и будет зависеть средняя эффективность работы охлаждающей установки: чем севернее расположен ЦОД, тем больший период времени для его охлаждения можно использовать естественное охлаждение и тем меньших значений PUE на нем можно достигнуть.
Заключение
При выборе метода оптимизации необходимо определить наиболее эффективное решение: либо применить концепцию низкоскоростной вентиляции в существующем ЦОД, что требует больших площадей, либо ограничиться использованием адиабатического охладителя. Охладитель Arctigo-LSV позволяет добиться и увеличения периода фрикулинга, и снижения тепловыделений, а значит, и повышения производительности системы холодоснабжения. Путем добавления адиабатического охлаждения с помощью специальной жидкости можно снизить и энергопотребление чиллера при увеличении его производительности. Интегрированный подход обеспечивает лучший PUE – 1,10. Если же допустить кратковременное повышение температуры воздуха для серверов в наиболее жаркие дни, то можно значительно снизить инвестиции за счет исключения необходимости установки чиллеров, снижения мощности ИБП, ДГУ, а также круглогодичного естественного охлаждения.
