Для поддержки работы высокопроизводительного дорогостоящего оборудования в ЦОД необходимо обеспечивать оптимальные условия его эксплуатации. Наращивание вычислительных мощностей дата-центра и серверных комнат приводит к повышению энергетической плотности оборудования. Современное высокотехнологичное вычислительное и телекоммуникационное оборудование чувствительно к самым незначительным изменениям окружающей среды, поэтому необходимо поддерживать строго определенный температурный режим и уровень влажности. Правильные условия эксплуатации не только гарантируют бесперебойную работу дата центра, но и продлевают его жизненный цикл. При нарушении норм эксплуатации рабочие характеристики оборудования ухудшаются, уровень его готовности и надежности снижается, а срок службы сокращается. Для обеспечения условий должного содержания всех элементов инфраструктуры ЦОД разрабатывают и внедряют системы климат-контроля. После внедрения системы климат-контроля главная задача дежурной смены ЦОД – автоматическое поддержание в дата-холлах заданных параметров микроклимата и электропитания в целях обеспечения оптимальных условий работы ИT-оборудования.
Требования к температуре, влажности и другим параметрам ЦОД
Как известно, Uptime Institute создал систему классификаций уровней надежности Tier для эффективной оценки инфраструктуры и бесперебойности работы систем ЦОД исходя из определенных бизнес-требований. Согласно этой классификации существуют четыре уровня надежности, у каждого определенные требования к температуре, влажности и другим параметрам климат-контроля ЦОД. Тремя основными элементами обеспечения операционной устойчивости являются система управления и эксплуатации объекта, характеристики здания и расположение объекта. Каждый из этих элементов, в свою очередь, подразделяется на несколько категорий и компонентов, связанных с различными моделями поведения и организации и различными рисками. Стандарт уровня надежности рекомендует владельцам, операторам и руководителям центров обработки данных список моделей организации и рисков, связанных с эксплуатацией центра обработки данных. Компания, которая получает сертификат того или другого уровня, должна придерживаться определенных условий по поддержанию необходимых параметров микроклимата в машинных залах.
DataSpace1 выполняет требования международных стандартов надежности Uptime Institute и имеет все три сертификата уровня Tier III в категориях «Дизайн проектной документации» (Tier III Design), «Введенный в эксплуатацию объект» (Tier III Constructed Facility) и «Операционная устойчивость дата-центра c золотым рейтингом кампуса» (Tier III Operational Sustainability-Gold), что обязует соблюдать следующие параметры:
- температурный режим: 15…32,2 ºС (допустимый); 20…25 ºС (рекомендуемый) – такую температуру обеспечивают прецизионные кондиционеры в машинных залах;
- максимальная скорость изменения температуры: 5 ºС в час;
- относительная влажность воздуха: 20…80%, 17,2 ºС макс. Точка росы (допустимый уровень) 40…55% (рекомендуемый уровень). Если на прецизионном кондиционере задана установка по влажности 50%, то это означает, что данный блок будет выдавать воздушный поток с параметрами по воздуху 50±2%. Но если этот параметр в помещении изменится на большую дельту (выше 2%), то сработает аварийная сигнализация и оповестит об этом дежурную смену. Инженер запустит дополнительный блок в работу и будет вести за ним тщательное наблюдение на предмет правильности выдаваемых параметров;
- качество фильтрации воздуха: 65…30%. Данный параметр обеспечивается установкой фильтрующих элементов соответствующей классификации, в нашем случае не ниже 30%.
В России есть компании, которые опираются на российские ГОСТы, однако это не дает такой же высокой гарантии бесперебойной работы ЦОД, поскольку требования к климат-контролю носят общий характер и не имеют прямого отношения именно к дата-центрам.
Особенности помещения для ЦОД и расположение климатического оборудования в нем
Помещения машинных залов имеют конструктивные особенности в зависимости от того оборудования, которое в них установлено. Отличительными особенностями являются такие характеристики, как высота потолка, фальшпола, несущая способность перекрытия и самого фальшпола. При расчетах следует учитывать параметры серверного оборудования и оборудования, обеспечивающего его работу (прецизионные кондиционеры и распределительные силовые шкафы). Важно также учитывать параметры «горячих» и «холодных» коридоров, их изоляцию друг от друга. С этой целью серверные стойки размещают в ряд, ограничивая их по тепловыделениям. Кроме того, помещение должно быть герметичным, чтобы обеспечить максимально эффективное использование рециркулируемого воздуха.
Высота фальшпола и расстояние до потолка рассчитываются по расходу воздуха от прецизионных кондиционеров. Перекрытия внутри машинных залов дополнительно покрывают антистатическим (для защиты от скапливания пыли) и гидроизоляционным (от протечек) покрытием с диэлектрическими свойствами (чтобы не пропускать электрический ток).
Расположение системы климат-контроля обусловлено геометрией помещения, размещением серверных стоек, силового оборудования и другими не менее важными факторами. Например, чем меньше выступающих поверхностей, тем ниже сопротивление воздушным потокам, поступающим к серверным стойкам. Если расположение стоек рядное и охлаждение подразумевается через «холодный» коридор, то блоки нужно устанавливать в начале этого коридора. В случае DataSpace1 с одной стороны установлены прецизионные кондиционеры, с другой – распределительные силовые шкафы.
Как наиболее эффективно расположить оборудование в помещении в соответствии с температурными нормами
Оборудование подбирается по выданным заказчиком техническим условиям (параметрам микроклимата). Под параметрами микроклимата понимаются подающая температура, скорость ее изменения, относительная влажность воздуха, степень очистки и объем подаваемого воздуха. И завод-изготовитель выдает соответствующие рекомендации по расположению указанного оборудования. Для примера: у компании Emerson Network Power существуют модели с различными способами подачи воздуха (верхняя, нижняя и дисплейсмент, т. е. вытеснение), два из них используются в нашем дата-центре – с вытеснением и c нижней подачей воздуха под фальшпол. Это обусловлено расположением охлаждаемого оборудования, параметрами микроклимата, конструктивными особенностями помещения, в котором установлено оборудование.
В помещениях UPS установлены прецизионные кондиционеры типа дисплейсмент. В помещениях отсутствует фальшпол, поэтому горячий воздух, забираемый сверху, охлаждается в блоке и выдается снизу вдоль пола по нужному направлению к оборудованию.
В серверных залах установлены прецизионные кондиционеры с нижней подачей под фальшпол. В этих блоках входящий воздух поступает из «горячих» коридоров и поступает в «холодные» через пространство фальшпола. При этом воздух охлаждается (увлажняется) до требуемых параметров.
Контроль микроклимата осуществляется по указанным параметрам (температура и атмосферная влажность воздуха), которые фиксируются специальными датчиками, установленными под фальшполом в зонах «холодных» коридоров и на стенах по периметру всего помещения наряду с выносными датчиками, установленными и встроенными в каждую установку (прецизионный кондиционер). Контроллеры оборудования с заданной дискретностью получают сигналы, в которых содержатся данные по параметрам воздуха. После их анализа выдаются команды на управляющие элементы для плавной регулировки. Например, при увеличении температуры воздуха более чем на 1,5 °С будет подан сигнал на открытие трехходового клапана холодоснабжения прецизионного кондиционера на 1% и т. д.
Трехходовой модуляционный клапан (1) с шаговым мотором для управления потоком воды, направляемой в теплообменник (2); сигналы на открытие или закрытие, генерируемые электронным контроллером, управляют движением привода клапана для поддержания заданных условий. Воздух из помещения, перемещаемый вентилятором (3), охлаждается, проходя через теплообменник (2) (за счет теплообмена между водой и воздухом).
Типы и виды оборудования
В СМИ и технической периодической литературе приведено достаточно информации об использовании того или иного элемента системы климат-контроля в соответствующих условиях эксплуатации. Если строится новый ЦОД, то зачастую заказчики используют накопленный положительный опыт по эксплуатации конкретного оборудования.
На мой взгляд, для подбора составных частей системы климат-контроля, соответствующей техническим условиям работы, необходимо также учитывать наработки на отказ, оптимальные режимы работы, отчеты по использованию расходных материалов и т. п. Выбор оборудования должен основываться на его совместимости с уже установленным.
Как поддерживать оборудование для климат-контроля ЦОД
В компании DataSpace при составлении годовых графиков планово-предупредительных ремонтов инженеры руководствуются российскими нормами и правилами (РД 25.964-90, ПУЭ, РД 009-01-96, приказом № 107 от 12 августа 2004 г. «Об организации контроля за очисткой и дезинфекцией систем вентиляции и кондиционирования» и др.), а также международными требованиями TIA/EIA-942 и TIA/EIA-569-B, ASHRAE TC 9.9, Tier III Uptime Institute и т. д. При этом требования не должны противоречить рекомендациям заводов-изготовителей. Поэтому в настоящее время существуют ежедневные осмотры, еженедельные, ежемесячные, ежеквартальные, полугодовые и годовые технические обслуживания климатического оборудования.
Основная задача эксплуатирующей компании – своевременно выполнить техническое обслуживание, чтобы предотвратить возникновение аварийной ситуации и предупреждающих сигналов о неисправности (некорректной работе) отдельных элементов оборудования.
График обслуживания, приведенный в инструкции по эксплуатации одного из прецизионных кондиционеров
Возможные проблемы при построении комплексной системы климат-контроля для ЦОД:
- некачественный монтаж оборудования;
- отсутствие необходимой пусконаладки при вводе оборудования в эксплуатацию. После монтажных работ по СНиП 3.05.05-84 должны проводиться испытания отдельных систем, затем по СНиП 41-01-2003 «Отопление, вентиляция и кондиционирование» составляться программа проведения пусконаладочных испытаний;
- невозможность выполнения качественной эксплуатации вследствие ошибок монтажа и проекта;
- отсутствие запасных частей и принадлежностей на складах (либо длительный период доставки) дистрибьюторов в России. Поэтому при выборе оборудования следует оговаривать наличие на складах в России (в нашем случае в Москве и Московской области) необходимых запасных частей и принадлежностей или, как в случае DataSpace1, иметь собственный склад запасных частей (в рабочем режиме поддерживается весь требуемый запас запчастей на сумму более 1 млн долл.);
- совместимость вновь выпускаемого оборудования и установленного в ЦОД.
Тенденции в области климат-контроля ЦОД
Прежде всего развиваются и совершенствуются компьютерные технологии в области управления микроклиматом как машинных залов в отдельности, так и в здании ЦОД. Производство обновленных электронных элементов, выпуск обновлений ПО на соответствующие контроллеры, увеличение энергоэффективности элементной базы, точности измеряемых параметров и скорости передачи данных, более плавное регулирование контролируемых параметров способствуют повышению стабильности работы сервисных стоек.
В соответствии с требованиями Tier III Uptime Institute запрещено изменять конфигурацию оборудования. Институт ведет статистику по отказам сертифицированных ЦОД и проводит анализ по усовершенствованию работы оборудования. Главный критерий (и он же – основная тенденция) в управлении микроклиматом, как и во всем оборудовании ЦОД, – это надежность.
Выводы
Для построения надежной системы климат-контроля ЦОД необходимо выполнять следующие требования:
- участие специалистов (климат-техников) из эксплуатационной службы на всех стадиях строительства ЦОД – монтажа, пусконаладки и последующей эксплуатации данного оборудования;
- обучение от представителей завода-производителя особенностям пусконаладочных работ и составлению планов предупредительных ремонтов (зачастую эта информация отсутствует в инструкциях по эксплуатации);
- систематический контроль датчиков температуры и влажности в помещениях машинных залов;
- контроль качества выполнения технического обслуживания на оборудовании;
контроль безопасности выполняемых работ.
