Максим БАКАНОВ, заместитель технического директора, ЗАО «ИНЭЛТ»
Как бы странно это ни прозвучало, любой тип источников бесперебойного питания (ИБП) может быть использован для питания нагрузки в ЦОД. Существуют лишь факторы, которые позволяют оценить целесообразность применения ИБП той или иной топологии, и международные стандарты, которые накладывают определенные (а в ряде случаев и безальтернативные) ограничения на тип источника бесперебойного питания.
К примеру, стандарты американского Uptime Institute позволяют применять для питания ИT-оборудования ИБП не только двойного преобразования, но и линейно-интерактивные системы (в том числе ИБП с дельта-преобразованием), а также динамические ИБП (ДРИБП). Более того, Uptime вообще формально не требует применения ИБП в обязательном порядке, поскольку для высших уровней отказоустойчивости ЦОД – TIER (III и IV) генераторная установка (на дизельном или другом топливе либо иная локальная электростанция) – основной источник электроэнергии, а внешняя электросеть вне зависимости от количества вводов является лишь резервной. Международный стандарт TIA-942, наоборот, предписывает применение только источников бесперебойного питания двойного преобразования. Тем не менее подавляющее большинство заказчиков предпочитают осуществлять бесперебойное и часто гарантированное питание нагрузки по классической схеме с применением ИБП.
Не секрет, что одной из важнейших характеристик ЦОД является его отказоустойчивость, которая не в последнюю очередь зависит от степени резервирования, заложенной при проектировании инженерных систем. В большинстве случаев из экономических соображений применяется резервирование по схеме N+1, позволяющее при потере одного из источников бесперебойного питания при поломке либо остановке его для обслуживания или ремонта продолжать осуществлять питание нагрузки «чистым» электропитанием.
Более высокой степенью резервирования является уровень 2N, когда питание нагрузки производится от двух независимых групп источников бесперебойного питания. Нагрузка должна иметь два входа питания либо подключаться через системы STS, позволяющие беспрерывно переключать вход нагрузки с одной группы ИБП на другую.
Дальнейшее увеличение надежности систем приводит к уровню резервирования 2N+1, который позволяет осуществлять питание нагрузки с уровнем надежности 2N в случае выхода из строя или вывода на ремонт либо обслуживание одного из ИБП из каждого плеча.
Чтобы не вводить читателя в заблуждение, примем потребляемую мощность ИT-нагрузки ЦОД от 500 кВт, а все остальные центры обработки данных скромно назовем «серверная», и их электроснабжение в рамках данной статьи рассматривать не будем.
Проанализируем несколько вариантов построения систем бесперебойного электроснабжения на ИБП различных производителей, являющихся лидерами рынка бесперебойного электропитания питания.
Chloride (Emerson) может предоставить несколько вариантов ИБП, оптимальных для создания систем бесперебойного питания всех перечисленных типов. Это хорошо известные и зарекомендовавшие себя высокой надежностью и непревзойденными характеристиками источники бесперебойного питания серии Chloride 80-NET с мощностью единичной системы от 60 до 500 кВА (кВт) и возможностью увеличения мощности при параллельном включении до 4 МВт. При использовании новейшего блока централизованного байпаса Chloride MSS появилась возможность использовать параллельную систему в режиме ECO mode. Данный режим ранее был доступен только на отдельно стоящих ИБП и невозможен на параллельных системах. Теперь же, если питающая сеть имеет стабильные характеристики и редко выходит за границы ±10% номинала, при переводе системы в ECO mode можно довести КПД ИБП до 98–99%, что обеспечит экономию более 4,5 млн руб. в год при мощности ЦОД в 4 МВт.
ИБП серии Trinergy мощностью от 200 до 1200 кВт – флагманская модель компании Chloride, способная работать в трех автоматически переключаемых режимах: VFI (двойного преобразования), VI (линейно-интерактивный режим) и интеллектуальный режим ECO с КПД, приближающимся к 99%. Возможность параллельного объединения до 8 ИБП позволяет достигнуть поистине колоссальной выходной мощности в 9,6 МВт. Источники бесперебойного питания Chloride серий 80-NET и Trinergy имеют самые малые габариты среди систем подобного класса, что позволяет строить мощные, но компактные системы. Высокий КПД дает возможность выбирать меньшую, чем у конкурентов, мощность системы кондиционирования. ИБП Trinergy позволяет в автоматическом режиме выводить избыточные силовые блоки в спящий режим, что еще более оптимизирует расходы на электроэнергию.
Недавно появившиеся источники бесперебойного питания Chloride NXL мощностью от 400 до 800 кВА выполнены по классической схеме с 12-пульсным выпрямителем и трансформаторным инвертором, что является неоспоримым достоинством при организации электропитания инженерных систем ЦОД, таких как системы кондиционирования, освещения и различные аварийные. Обладая более низким, чем ИБП бестрансформаторной топологии с IGBT либо COOLMOS выпрямителем КПД, источники бесперебойного питания классической конструкции превосходят конкурентов по надежности и стабильности при работе на «неудобные» для бестрансформаторных ИБП нагрузки – электродвигатели и т. д.
Крайне низкий (менее 3%) коэффициент гармонических искажений, вносимых источниками бесперебойного питания с «чистым» IGBT или COOLMOS выпрямителем в питающую сеть, позволяет использовать дизель-генераторную установку (ДГУ) для организации гарантированного электроснабжения с минимальным запасом по мощности, что опять-таки снижает первоначальные расходы на строительство инфраструктуры ЦОД.
Schneider Electric с брендами APC и MGE традиционно предлагает два типа систем:
- модульного (блочного) типа Symmetra PX2 (Odin) мощностью до 500 кВА для единичной системы и до 2 МВА – для параллельной, а также флагманский ИБП Symmetra MW с мощностью единичной системы до 1,6 МВА и параллельной – до 6,4МВА. Следует, однако, отметить, что ИБП Symmetra MW не является источником двойного преобразования – в нем используется так называемое дельта-преобразование, что необходимо учитывать при проектировании. Модульные и блочные системы обеспечивают высокую гибкость системы в плане масштабирования мощности и времени автономной работы, но имеют и ряд недостатков. Вот лишь основные из них: большое количество силовых и информационных контактных соединений, множество общих точек отказа (автоматический электронный байпас, батарея, платы управления), невозможность замены ресурсных элементов (вентиляторов охлаждения, электролитических конденсаторов шины постоянного тока и т. д.) – можно заменить только силовой блок весь целиком, что очень дорого. Еще одним существенным недостатком данных систем является высокая стоимость решения;
- ИБП классического типа Galaxy 5500, Galaxy 7000 и Galaxy 9000. Источники Galaxy 5500 и 7000 построены по современной бестрансформаторной топологии и отличаются высоким КПД и небольшими габаритами. Единичная мощность одного ИБП составляет 120 кВА для ИБП Galaxy 5500 и 500 кВА – для ИБП Galaxy 7000. Мощность параллельной системы достигает 720 кВА для Galaxy 5500 и 4000 кВА – для Galaxy 7000. ИБП серии Galaxy 9000 единичной мощностью 800 и 900 кВА и мощностью параллельной системы до 5,4 МВА построены по классической трансформаторной топологии с высоконадежным 12-пульсным выпрямителем.
Несмотря на кажущуюся архаичность данной архитектуры и связанные с ней недостатки, практически у всех лидеров рынка ИБП в продуктовой линейке присутствуют системы с трансформаторной схемой построения инвертора, а в ряде случаев с тиристорными 6- либо 12-пульсными выпрямителями. Применение таких систем позволяет обеспечить не только нагрузку высоконадежным бесперебойным питанием, но и гальваническую развязку нагрузки от питающей сети. Если для бестрансформаторных ИБП установка опции изолирующего трансформатора на мощности более 200 кВА всегда влечет за собой установку дополнительного шкафа, подчас равного самим ИБП по массе и габаритам, то в случае трансформаторного ИБП такой необходимости нет. Еще одной особенностью трансформаторных ИБП является формирование на выходе ИБП независимой от питающей сети нейтрали, что позволяет при высоком уровне помех, возникающих в нейтральном проводе питающей ИБП сети, на выходе источника бесперебойного питания сформировать собственную «чистую» нейтраль и, следовательно, избежать сбоев высокочувствительного оборудования, защищаемого ИБП.
Schneider Electric позиционирует модульные системы серии Symmetra как источники бесперебойного питания для ИT-нагрузки центров обработки данных, а источники серии Galaxy- – для питания инженерной инфраструктуры ЦОД, а также для применения в различных областях промышленности и медицины.
Eaton для питания нагрузки большой мощности предлагает источники бесперебойного питания серии Power Expert 9395 мощностью от 225 до 1100 кВА для единичной машины и до 5,5 МВА (по другим данным до 6,6) – для параллельной системы. Фирменная технология HotSync™ позволяет параллельной системе оставаться в рабочем состоянии даже при нарушении целостности информационных кабелей связи между ИБП. Стоит, однако, заметить, что данная опция при поврежденных кабелях связи не позволит запустить параллельную систему и при необходимости (штатной либо аварийной) переключиться на автоматический электронный байпас, что повлечет сбой в питании нагрузки.
AEG Power Solutions выпустила новый блочный источник бесперебойного питания Protect Blue мощностью от 250 до 1250 кВА, первый в истории компании бестрансформаторный ИБП высокой мощности. Это подтверждает нацеленность компании не только на промышленный сектор, где позиции AEG PS традиционно сильны, но и на бурно развивающийся рынок центров обработки данных. Хотя нельзя не отметить, что с выпуском данной модели компания AEG PS сильно затянула, что может серьезно затруднить распространение продукта на рынке, где давно уже царствуют Chloride (Emerson), APC (Schneider Electric) и Eaton. Но перспективы у данного ИБП однозначно есть.
Особо хотелось бы отметить быстро набирающую популярность концепцию построения электропитания центров обработки данных на динамических ИБП, или дизель-роторных источниках бесперебойного питания (ДРИБП). В состав этих систем входят система стабилизации напряжения, динамический накопитель кинетической энергии и дизельный двигатель. На территории Российской Федерации наиболее широкое распространение получили ДРИБП фирм Hitec Power Protection, Piller и Eurodiesel. Конструктивно оборудование Hitec и Eurodiesel имеет схожую монорамную компоновку (но не конструкцию!), а вот система от Piller состоит из нескольких не связанных друг с другом механических частей: дизеля с генератором и отдельно стоящего динамического накопителя энергии, ротор которого вращается в среде инертных газов (гелия).
В отличие от статических источников бесперебойного питания ДРИБП могут быть низковольтными (0,4 кВ) или рассчитаны на работу с сетью среднего напряжения от 6,3 до 35 кВ. Повышение напряжения позволяет существенно уменьшить сечения силовых кабелей и номиналы защитных устройств, а также открывает широкие возможности для построения параллельных систем большой и очень большой мощности – от единиц до десятков мегаватт. И если для статических ИБП мощность параллельной системы ограничивается максимальным током автоматов защиты в 6300 А, что приблизительно равно мощности 4,5 МВА, то в системе напряжением 10 кВ высоковольтная ячейка (аналог автоматического выключателя в низковольтных сетях) с номинальным током 1250 А позволяет построить систему электропитания с мощностью в 22 МВА. Передача электроэнергии, особенно на расстояния более 100 м, например, если энергоцентр с системами бесперебойного и гарантированного питания находится с кластерами ЦОД в разных местах, напряжением в 10 кВ также экономически более целесообразна, нежели для низковольтных систем. Сечения кабелей и их стоимость будут несоизмеримы! Понижающие трансформаторы 10/0,4 кВ ставятся в непосредственной близости от кластеров ЦОД, что максимально сокращает длины кабелей, по которым текут большие токи низкого напряжения. Еще одним неоспоримым преимуществом ДРИБП является то, что, не вступая в конфликт с нормами построения систем электропитания ИT-нагрузки ЦОД и его инженерных систем (которые, как известно, не должны питаться от одних и тех же систем бесперебойного питания), они являются общим элементом питания всех систем ЦОД. Основная (ИT) нагрузка питается от ДРИБП через специальный дроссель, блокирующий помехи от других потребителей и питающей сети, а инженерная нагрузка запитана напрямую от генератора.
Несмотря на множество очевидных плюсов, динамическим системам свойственны и недостатки: малое время выбега ротора (автономной работы) – около 15 секунд – заставляет при любом сбое питания запускать дизельный двигатель, что отрицательно сказывается на ресурсе двигателя и экологии; узкое окно питающих напряжений около ± 10% против –40…+15% для статических ИБП, повышенный уровень шума и вибраций, даже в режиме работы от сети, необходимость мощной системы приточно-вытяжной вентиляции, о которой «забывают» упомянуть производители и т. д.
При выборе источника бесперебойного питания необходимо учитывать комплексные затраты на весь планируемый срок эксплуатации системы, т. е. стоимость не только решения (CAPEX), но и эксплуатации (OPEX). В ряде случаев пугающее дороговизной решение оказывается весьма выгодным и малозатратным в эксплуатации и обслуживании, что позволяет окупить его достаточно быстро.
