Алексей Соловьев, технический директор подразделения IT Division, компания Schneider Electric
Модульные и контейнерные дата-центры прочно заняли свою нишу на рынке ИТ. Такие решения оказываются незаменимыми при решении задач самого разного спектра. В первую очередь это создание стандартизованного, проработанного, испытанного решения, реализация которого предполагает многократное повторение по принципу Copy-Paste. В этом случае затраты на проектирование второго и последующих модулей минимальны, сроки реализации модулей предсказуемы и, самое главное, что и подводные камни, и возможные «грабли» известны. Подход, применяемый при создании подобного рода дата-центров, нацелен на выработку максимально оптимизированного решения, чтобы не дублировать издержки при дальнейшем повторении.
Еще одним случаем, когда преимущества модульных, а особенно контейнерных, ЦОД превышают преимущества классических дата-центров, является необходимость создания ЦОД в неподготовленном месте. Для случаев, когда капитальное строительство экономически невыгодно, длительно или физически невозможно, вариант с быстровозводимыми конструкциями или установленным ЦОД в контейнере может оказаться единственно верным решением.
При этом необходимо отметить, что большинство модульных и контейнерных ЦОД по внутренним компонентам и подсистемам идентичны классическим дата-центрам: в них используются такие же ИБП, кондиционеры, ИТ-стойки, отличия лишь в оболочке. Поэтому все преимущества, связанные с совместимостью этих компонентов, которые достигаются при использовании комплексного решения от одного производителя, также актуальны для модульных и быстровозводимых дата-центров. Однако при решении нестандартных задач по организации вычислительных мощностей важна слаженная работа проектной команды, и в этом случае возможность получить единое решение по инженерной инфраструктуре от одного производителя значительно упрощает процесс создания ЦОД. Привлечение производителя позволяет подобрать оптимальное оборудование, при необходимости внести изменения в устройства и при этом сохранить совместимость компонентов на прежнем уровне. К тому же производители комплексных инженерных решений для ЦОД – это в большинстве своем крупные международные компании, имеющие богатый опыт реализованных проектов, возможность использовать интеллектуальный ресурс и лучшие мировые практики. Это добавляет уверенности, что нестандартная задача будет решена правильно и эффективно.
Одним из примеров решения подобной нестандартной задачи является ЦОД, построенный компанией Schneider Electric и греческим системным интегратором Lamda Hellix для компании GRNET, которая обеспечивает информационное взаимодействие между университетами, исследовательскими центрами, школами и другими образовательными учреждениями Греции. Для консолидации вычислительного оборудования нескольких греческих университетов было принято решение построить один общий дата-центр и использовать его совместно. Подобное решение позволило сэкономить на организации собственных вычислительных мощностей в каждом из университетов, повысить коэффициент спроса и соответственно степень утилизации оборудования. Поскольку потребители услуг этого ЦОД географически были удалены друг от друга, размещать ЦОД на базе одного университета оказалось невыгодным, так как остальные участники затрачивали бы большее время на обработку информации за счет необходимости передачи данных на большие расстояния. В связи с этим было принято решение построить единый дата-центр на внешней площадке, равноудаленной от всех университетов. Таким центром оказался район в горной области страны, богатой водными ресурсами, где развита гидроэнергетика. Это позволило решить еще одну задачу, стоявшую перед создателями ЦОД, – обеспечить высокую энергоэффективность при сохранении параметров надежности. С учетом особенностей проекта был выбран формат размещения оборудования в контейнерах, при этом все основные функциональные элементы ЦОД – ИТ-оборудование, энергетические системы и система охлаждения – размещены в отдельных контейнерах.
Выбор площадки был обусловлен в том числе близостью к гидроэлектростанции и реке, на которой установлена ГЭС. Это позволило использовать возобновляемый источник электроэнергии для питания дата-центра, а также речную воду для снятия тепловой нагрузки в ЦОД. Для реализации этого решения была разработана двухконтурная схема холодоснабжения с промежуточным теплообменником. Речная вода, прошедшая через систему фильтров, забирает тепло у внутреннего водяного контура и затем поступает обратно в реку. Поскольку объемы прокачиваемой воды для ЦОД малы по сравнению с объемами самой реки, то подача небольшого объема подогретой на несколько градусов воды не оказывает существенного влияния на экосистему водоема. Система охлаждения в машинном зале и помещении энергоцентра за счет постоянной и невысокой температуры воды в реке, которая колеблется от 10 до 16 ºС, дала возможность не использовать компрессорное охлаждение практически в течение всего года, несмотря на то что климат в стране жаркий и классический фрикулинг малоэффективен. Для обеспечения работоспособности ЦОД в случае превышения температуры воды в реке, производства профилактических и ремонтных работ на оборудовании ГЭС или же снижения уровня воды была предусмотрена резервная чиллерная установка и разработана схема автоматического переключения системы холодоснабжения ЦОД с основной системы на нее. Чиллерная установка, кондиционеры энергоцентра, внутрирядные кондиционеры машинного зала, а также автоматика, отвечающая за слаженную работу всей системы охлаждения, выполнены на оборудовании Schneider Electric. Реализация подобной схемы охлаждения потребовала от проектной команды серьезных расчетов и применения нестандартных для классических ЦОД решений, но в итоге позволила достичь необходимого уровня надежности и крайне высокой энергоэффективности объекта. По результатам нескольких лет эксплуатации ЦОД измеренный коэффициент энергоэффективности PUE не превышает 1,18, и это с учетом климатических особенностей Греции. Для сравнения: классические дата-центры в России, где климат гораздо холоднее, ориентируются сегодня на значение коэффициента PUE 1,3–1,4.
Выбор места для размещения ЦОД внес ряд ограничений в реализацию проекта: в районе установки практически отсутствовали ровные горизонтальные поверхности, поэтому пришлось специально выравнивать площадь для установки ЦОД. В связи с этим размещение ЦОД происходило на очень компактной площадке с ограниченными возможностями по доставке и установке оборудования. Особенности размещения оборудования потребовали дополнительно продумать весь процесс инсталляции и учесть это при выборе габаритов контейнеров и внешних элементов ЦОД. Для экономии места внутри самих контейнеров в конструкции основания заранее были предусмотрены каналы для прокладки силовых, информационных кабелей, а также труб системы охлаждения.
Электропитание и охлаждение в дата-центре выполнено с уровнем резервирования N+1. Для случаев полного длительного пропадания внешнего электропитания предусмотрена генераторная установка. Система бесперебойного электропитания ЦОД построена на базе ИБП Galaxy 5500, система распределения электропитания также выполнена на оборудовании Schneider Electric. Общая мощность ИТ-оборудования в ЦОД составляет 370 кВт, в 14 серверных шкафах размещается 220 серверов и система хранения объемом 576 Тб. Таким образом, средняя плотность мощности составляет более 25 кВт на шкаф, это в 5 раз больше средней плотности мощности в современном дата-центре. Внутрирядные кондиционеры APC InRow совместно с изоляцией горячего коридора обеспечивают предсказуемое охлаждение таких высоконагруженных стоек как в режиме пиковой нагрузки, так и в режиме малой загрузки ЦОД.
Отдельным фактором, повлиявшим на выбор технических решений в построенном дата-центре, было требование по абсолютной автономности объекта. В силу географического расположения, а также благодаря возможностям систем мониторинга и управления инженерной инфраструктурой в работающем ЦОД не присутствует ни одного человека из службы эксплуатации. Данные от всех инженерных систем, а также от системы видеонаблюдения поступают в единый диспетчерский центр компании-интегратора Lamda Hellix, и в случае необходимости специалисты выезжают для обслуживания на площадку. Таким образом, эксплуатация ЦОД также находится в зоне ответственности компании, построившей объект. Система мониторинга была тщательно продумана на этапе проектирования, поскольку от качества и полноты мониторинга зависит простота и экономичность дальнейшей эксплуатации. Здесь также проявились преимущества комплексного решения от одного производителя: все подсистемы интегрируются в единую платформу мониторинга и управления, а развертывание на месте и адаптация под нужды службы эксплуатации происходит без дополнительных усилий по интеграции. При необходимости расширения ЦОД или внесения дополнительного функционала в систему управления сделать это будет несложно, так как взаимодействие будет происходить на уровне единых протоколов.
Построенный дата-центр успешно эксплуатируется уже на протяжении нескольких лет, технологические решения, примененные при его создании, позволили разместить высокоплотное ИТ-оборудование и обеспечить высокую энергоэффективность объекта в целом. Построение дата-центра в формате отдельных контейнеров для подсистем дало возможность осуществить установку в условиях ограниченного пространства в сжатые сроки. Комплексное решение по инженерным системам ЦОД от компании Schneider Electric и слаженная работа проектной команды, состоящей из системного интегратора и производителя, позволили получить инфраструктуру со сквозной системой мониторинга и обеспечить автономную работу объекта.
