Климат-контроль по-корпоративному

На климат в центре обработки данных (ЦОД) влияют несколько параметров воздуха: чистота, влажность, температура, а также система воздухораспределения. Именно это важно контролировать в ЦОД. И если чистоту воздуха обеспечивают комплекс санитарно-гигиенических мер и уход за фильтрами приточно-вытяжных установок, то все остальные параметры подлежат более тщательному контролю и анализу.

Оценка энергетической эффективности системы прецизионного кондиционирования

Корректно настроенный режим работы системы кондиционирования ЦОД относительно вышеперечисленных параметров определяет ее энергетическую эффективность.

Начнем с влажности — показателя, обладающего широким рабочим диапазоном и наименее подверженного изменениям. Допустимый диапазон напрямую зависит от выбранного температурного режима, однако необходимо учитывать и тип обслуживаемого ИТ-оборудования. В вопросах выбора допустимого диапазона температурно-влажностного режима ЦОД специалисты чаще всего руководствуются рекомендациями технического комитета 9.9 ASHRAE (рис. 1) американского общества инженеров по отоплению, вентиляции и кондиционированию воздуха.

Так, для обеспечения бесконденсационного режима работы ИТ-оборудования относительная влажность должна находиться в диапазоне 20–80% при определенной температуре, о которой подробно поговорим ниже. Обычно мы назначаем более строгий диапазон в интервале от 30 до 60%.

В правильно спроектированном ЦОД приток влаги может быть вызван проливом технологической жидкости, неисправной системой вентиляции или чересчур влажной уборкой, но постоянных источников влаги быть не должно. То же самое касается и чрезмерного осушения воздуха. Только неисправная система вентиляции или неправильно настроенная система кондиционирования способна опустить значение относительной влажности ниже допустимой планки. Протечки относятся к категориям аварии в ЦОД, всем остальным можно управлять и тщательно контролировать.

Систему вентиляции и кондиционирования необходимо проектировать и настраивать таким образом, чтобы режим увлажнения или осушения воздуха был задействован минимальное количество часов в году. Уменьшение времени работы увлажнителей значительно снижает годовое потребление электроэнергии. Как известно, при осушении воздуха образуется конденсат, а это прямая потеря полезной холодопроизводительности системы охлаждения. Доступный холод, вместо того чтобы охлаждать оборудование (явное охлаждение), тратится на слив конденсата в канализацию (скрытое охлаждение). Отношение явной холодопроизводительности [кВт] к полной называют отношением удельных теплоемкостей (Sensible Heat Ratio – SHR). Идеально, если это отношение равно единице. Значение сначала просчитывается на бумаге: выбор грамотно спроектированных кондиционеров/доводчиков, вдумчивое принятие температурных графиков хладоносителей, снижение расходов приточного воздуха, повышение температуры воздуха на входе в серверное оборудование на стадии проекта. После окончания монтажа и пусконаладки проектный SHR обеспечивается квалифицированной эксплуатацией систем.

С температурой воздуха дела обстоят сложнее. В рекомендациях ASHRAE идет речь о температуре на входе в стойку и непосредственно перед сервером. Для ИТ-оборудования важно контролировать именно эту температуру. Диапазон допустимых значений можно выбрать согласно вышеупомянутым рекомендациям – в интервале от +5 до +45 ^оС: все зависит от типа установленного оборудования и критичности процессов, запущенных на нем. Для корпоративных жизненно важных ЦОД рекомендуется интервал от +18 до +27 ^оС, а практикуется — от +16 до +22 ^оС.

К сожалению, до сих пор встречаются проекты, реализованные на основе ошибочного суждения «чем холоднее, тем лучше». Пониженная температура воздуха дает операторам ЦОД мнимое ощущение надежности и запаса холода, за который приходится платить, в прямом смысле. С точки зрения энергоэффективности системы все иначе: чем горячее, тем эффективнее. Однако убедить оператора ЦОД повысить температуру воздуха – отдельная проектная задача. Получаемая за счет этого выгода объясняется очень просто: чем выше температурный уровень воздушной среды в ЦОД, тем эффективнее работает холодильный контур, а значит, меньше электроэнергии потребляет. Для дополнительной оценки эффективности работы системы проектировщикам, службе эксплуатации, оператору ЦОД следует измерять и контролировать температуру воздуха в разных точках: на входе/выходе из кондиционера и из серверной стойки, в «холодном»/«горячем» коридоре (рис. 2). В каждой из этих точек температура воздуха будет разной. По разнице значений можно многое сказать об эффективности системы, в частности об эффективности воздухораспределения.

Суть эффективного воздухораспределения, если не вдаваться в технические подробности, сводится к тому, чтобы каждому серверу доставался минимально необходимый и достаточный объем воздуха с учетом его загрузки. Проще всего эту задачу решить, когда нагрузка в ЦОД квазистационарная. Тогда и задача воздухораспределения сводится к организации равномерной/одинаковой подачи воздуха к стойкам. Труднее такую задачу решить в динамичном с точки зрения загрузки ЦОД (самый распространенный случай). Самая сложная ситуация возникает, когда к динамике изменения нагрузки добавляется неравномерное ее распределение между стойками. Механизм потери энергоэффективности при неправильном воздухораспределении следующий: уменьшается разница температур воздуха между входом и выходом из кондиционера, вследствие чего увеличивается расход подаваемого воздуха. В совокупности это приводит к тому, что кондиционер начинает потреблять больше электроэнергии, а холода производит столько же. Кроме того, возникает риск образования локальных перегревов ИТ-оборудования, которые обнаруживаются далеко не сразу.

Оценка эффективности воздухораспределения производится путем анализа температур и расхода воздуха в различных точках. Чаще всего температура воздуха на выходе из стойки значительно выше, чем температура на входе в кондиционер. Это говорит о том, что воздухораспределение организовано не оптимально. Отсюда следует вывод: недостаточно просто установить значение желаемой температуры воздуха на экране контроллера кондиционера. Как минимум, нужно учесть две вещи: где кондиционер измеряет температуру и какая разница значений между входом и выходом из кондиционера.

Помимо общей эффективности системы необходимо уделять внимание и отдельным ее компонентам. Один из них мы уже разобрали – SHR кондиционера. Другой не менее значимый общепринятый показатель эффективности – коэффициент энергетической эффективности (Energy Efficiency Ratio – EER). Он равен отношению полной холодопроизводительности установки [кВт] к подведенной электрической мощности [кВт]. Этот показатель применим к любому холодильному оборудованию. Однако при сопоставлении оборудования по данному критерию нужно убедиться, что в сравнении участвует оборудование одного функционального типа при равных климатических условиях.

Следует понимать, что EER одного и того же кондиционера или холодильной машины меняется в зависимости от степени загрузки и температурных условий работы. В случае с ЦОД степень загрузки условно принимается одинаковой. Условно лишь потому, что в действительности ЦОД может запускаться в строй поэтапно, резервные элементы могут вводиться и выводиться из работы на период аварии/обслуживания, а потребляемая ими мощность варьируется в течение суток. Все это факторы второго порядка. Действительно существенное влияние на эффективность оказывает температура наружного воздуха, а остальные факторы хоть и считаются трудно прогнозируемыми, тем не менее подлежат учету. В своих проектах мы собираем сведения о работе элементов системы кондиционирования при различных температурах наружного/внутреннего воздуха и различных степенях их загрузки. Формирование таких расчетных таблиц невозможно без истории погодных наблюдений за последние пять-десять лет. По результатам этой работы специалисты располагают всеми необходимыми данными для расчета частичного коэффициента эффективности использования энергии (Рower Usage Effectiveness – PUE) для различных режимов и состояний ЦОД в разрезе системы кондиционирования (см. таблицу).

Таблица. Фрагмент таблицы с энергетическими показателями системы прецизионного кондиционирования

Особенности кондиционирования в ЦОД различного назначения

Системы кондиционирования различаются в зависимости от того, корпоративный это ЦОД или коммерческий. В первом случае загрузка известна заранее, ее можно спрогнозировать, а самое главное — управлять ею в период эксплуатации. Кроме того, вполне реально достичь максимально доступной энергоэффективности всех систем. ЦОД создается под конкретные нагрузки, а исполнитель настраивает кондиционирование и воздухораспределение между стоек согласно проекту.

В случае работы с коммерческим ЦОД проектировщиков всегда поджидают трудности и элементы неопределенности. Необходимо предусмотреть различные варианты заполнения: на первое время, когда ЦОД еще относительно пустой, на период, когда он заполнен наполовину, и т. д. Второй параметр, которым невозможно управлять в коммерческом ЦОД, – равномерность нагрузки стоек по длине ряда. Обычно это приводит к частым перенастройками системы воздухораспределения и установке дополнительных источников холода. Иными словами, в коммерческом ЦОД не получается планировать загрузку машзала и управлять ею, в связи с чем системы кондиционирования коммерческого ЦОД всегда будут менее энергоэффективны по сравнению с аналогичным корпоративным.

Основные системы кондиционирования и их энергетические характеристики

На основе полученных климатических данных, места расположения объекта, технических условий и предпочтений заказчика специалисты определяют тип системы кондиционирования.

В настоящее время наиболее широкое распространение получили фреоновые системы охлаждения, системы, работающие на охлажденной воде, системы косвенного испарительного (адиабатического) охлаждения и системы прямого/косвенного охлаждения уличным воздухом. У каждой из них есть свои ограничения и зоны применения.

Максимальной эффективностью обладают системы прямого/косвенного охлаждения уличным воздухом, вслед за ними идут системы адиабатического охлаждения. Основными ограничивающими факторами повсеместного применения подобных систем являются сильная зависимость от географии строительства и высокие капитальные затраты.

Последние тенденции охлаждения и их энергоэффективность

Сфера охлаждения и кондиционирования воздуха достаточно консервативна. Сложно выделить какие-либо прорывные технологии, так как общедоступные способы получения холода давно разработаны и успешно используются в тех или иных отраслях промышленности. Основные тенденции развития прецизионного кондиционирования заключаются в освоении и расширении применимости доступных способов охлаждения, улучшении и развитии компонентой базы агрегатов (вентиляторы, компрессоры, теплообменное оборудование, автоматика и управление), изучении и глубоком понимании технологии ЦОД.

Процесс совершенствования идет непрерывно: системы с каждым годом становятся все более экологичными и эффективными, появляются новые агрегаты с комбинацией различных способов охлаждения. В настоящее время развитие по большей части сосредоточено на совершенствовании созданных ранее систем. При этом спрос на энергоэффективные решения охлаждения в России пока невелик: в отличие от западных стран у нас не развита система стимулирования применения этих технологий и ключевым фактором принятия решений по-прежнему являются капитальные затраты, а не полная стоимость владения.

Самые интересные и эффективные решения по охлаждению на текущий момент – те, которые подстраиваются под наружные условия и стремятся обеспечить длительный период охлаждения в бескомпрессорном режиме. В подобных агрегатах применяется одновременно несколько ступеней охлаждения (прямое, косвенное, адиабатическое и фреоновое), которые задействуются по мере необходимости. Помимо цены недостаток таких систем – сложность применения в существующих зданиях.

Набирает популярность технология погружения в открытый резервуар (Open Bath Immersion – OBI) – иммерсионное/погружное/жидкостное охлаждение. Это радикально новый подход к охлаждению серверов, у которого есть ряд преимуществ. Очень важно, что не нужно покупать дорогостоящие чиллеры, строить фальшпол и коридоры, а используемое минеральное масло не приходится менять и добавлять (за исключением случаев утечки) в отличие от других охладителей в ЦОД. Но есть и недостатки: требуется специальное вычислительное оборудование, перекрытия в здании должны обладать повышенной несущей способностью, поскольку ванны, наполненные серверами и залитые охлаждающей средой, крайне тяжелые.

Пример проекта ЦОД, оценка эффективности системы климат-контроля

В качестве примера – система охлаждения в собственном ЦОД «Компрессор», сертифицированному Uptime Institute по уровню TIER III, что соответствует коэффициенту отказоустойчивости 99,982%. Это коммерческий ЦОД, система охлаждения здесь двухконтурная, первый контур с водой, второй – с этиленгликолем. При строительстве были заложены высокие параметры по температуре, чтобы минимизировать потери мощности при охлаждении воды. Чиллеры и «сухие» градирни включены в контур последовательно (сначала по потоку стоят градирни, потом чиллеры). Это позволяет расширить диапазон работы системы в режиме полного и частичного фрикулинга.

Одна из задач, которую наша команда решала при проектировании инженерных систем, состояла в том, чтобы внутри машинных залов не было никакого постороннего (не относящегося к арендаторам) инженерного оборудования. Это связано с тем, что заказчик, например банк, чаще всего ставит специальные ограждения прямо в машзале. Обслуживание оборудования внутри зоны клиента в таком случае крайне затруднительно. Архитектура системы кондиционирования позволяет проводить обслуживание или ремонт любого элемента без остановки работы всей системы и без снижения рабочей мощности в соответствии с требованиями Tier III Uptime Institute.

Заключение

Работа в направлении повышения энергоэффективности требует технологического прогресса и развития. КРОК строит и обслуживает ЦОД уже больше 18 лет, компания участвовала более чем в 60 запусках ЦОД в России. Спрос на энергоэффективность в России растет с каждым годом, развитие энергосберегающих технологий становится актуальным. Правительство принимает меры, направленные на повышение энергоэффективности отраслей экономики страны, и строит амбициозные планы по снижению энергопотребления к 2020 г. Исходя из личного опыта советую заказчикам и проектировщикам уделять больше внимания расчету энергоэффективности своих объектов, смещая фокус оценки системы с величины капитальных затрат на полную стоимость ее владения.