Отрасль строительства дата-центров продолжает динамично развиваться. Во многом это происходит за счет перехода к Индустрии 4.0, увеличения объема данных и количества облачных сервисов, а также возрастающей популярности решений Интернета вещей. Цифровизация ставит перед бизнесом новые задачи, которые требуют новых подходов, в том числе и к инфраструктуре ЦОД. Компактнее, дешевле, эффективнее – вот главный курс для инженерных решений дата-центров. Рассмотрим подробнее, какие технологии помогают его придерживаться.
Главные тренды: как будут строить ЦОД в 2020-м
Основной резерв для повышения эффективности дата-центров – оптимизация системы охлаждения, второго после ИТ-нагрузки энергопотребителя в ЦОД. Казалось бы, один из самых логичных вариантов решения этой задачи – максимальное использование наружного воздуха. Долгое время идея свободного охлаждения существовала лишь в теории, однако с появлением устойчивого к повышенным температурам ИТ-оборудования решение стало получать широкое применение на практике.
Существуют два вида фрикулинга – прямой и косвенный. Суть первого заключается в подаче наружного воздуха после фильтрации напрямую в машинные залы. Несомненные достоинства такой системы – простота конструкции, низкая стоимость реализации и невысокое потребление энергии. Косвенный фрикулинг подразумевает охлаждение внутреннего воздуха ЦОД в промежуточных теплообменниках. Понятно, что такой способ менее эффективен, но он имеет неоспоримое преимущество – изолированный внутренний контур. Другими словами, в машинных залах циркулирует один и тот же чистый воздух. С целью повысить эффективность фрикулинга нередко применяется принцип адиабатического охлаждения – понижение температуры воздушного потока путем испарения распыленной в нем воды.
Свободное охлаждение наиболее применимо в крупных корпоративных дата-центрах, изначально проектирующихся под этот тип охлаждения. Там, во-первых, можно сразу выбрать оптимальную компоновку системы. Во-вторых, есть возможность закупки только устойчивых к повышенным температурам серверов. В-третьих, служба эксплуатации может сама определять температурный режим. В коммерческих же ЦОД последние два пункта зависят от требований клиентов. Востребованность решений на базе фрикулинга постепенно растет, технология уже нашла применение в ЦОД таких компаний, как «Яндекс», Google, Facebook, Amazon. Подтверждает это и собственный опыт КРОК: проектов, где заказчиками рассматриваются системы свободного охлаждения, становится все больше. Например, для дата-центров одного из них была предложена концепция круглогодичного стопроцентного фрикулинга, и это в средней полосе России. Для реализации решения пришлось провести глубокую аналитическую работу – проанализировать температуру в регионе за последние 50 лет, а также рассчитать годовое энергопотребление возможных вариантов от различных производителей.
Жидкостное охлаждение не только для суперкомпьютеров
Сравнительно недавно стали набирать популярность технологии жидкостного охлаждения. Согласно отчету Global Market Insights, рынок таких решений для дата-центров к 2025 г. превысит 2,5 млрд долл. Это объясняется тем, что с увеличением объемов обрабатываемых данных и, как следствие, нагрузки на серверы в ЦОД – особенно на те, которые занимаются высокопроизводительными вычислениями – традиционных воздушных установок иногда становится недостаточно.
Так, до недавнего времени иммерсионное охлаждение (охлаждение серверного оборудования путем его полного погружения в жидкий диэлектрический хладагент) использовалось только для суперкомпьютеров. Однако теперь за счет увеличения плотности размещения ИТ-оборудования в стойках эта технология все чаще применяется в обычных дата-центрах. Сама идея иммерсионного охлаждения не нова, но если раньше это решение предлагали лишь несколько вендоров, то сейчас число таких производителей значительно увеличилось. Преимущество системы заключается в ее компактности и потреблении минимального количества электроэнергии: питание нужно только для нескольких маломощных насосов. Кроме того, иммерсионное охлаждение обеспечивает для оборудования стабильную и постоянную температурную среду, поскольку хладагент равномерно распределен по герметичному или частично открытому резервуару. Это позволяет избежать появления в машинном зале горячих зон, возникающих из-за отдельных высоконагруженных стоек.
Еще одна технология, которая набирает обороты в рамках общей тенденции как можно большего приближения источника холода к источнику тепла, – двери с водяным охлаждением. В этом случае кондиционер устанавливается на заднюю стенку серверной стойки. Таким образом, он сразу отводит тепло от оборудования, и горячий воздух не попадает в машинный зал. Многократное сокращение длины горячего коридора заметно повышает энергоэффективность системы охлаждения. Помимо этого решение не требует дополнительных площадей, позволяя оптимально использовать пространство в дата-центре. Двери с водяным охлаждением могут быть хорошей альтернативой внутрирядным кондиционерам, когда необходимо обеспечить целевое охлаждение высоконагруженных стоек.
Другое решение с подобной концепцией «охлаждения изнутри» – охлаждение с помощью контурных тепловых трубок, которые доставляют хладагент непосредственно к активным компонентам серверов. От них тепло отводится на теплообменник, который может быть расположен как внутри серверной стойки, так и снаружи в непосредственной близости. Среди преимуществ – малогабаритность, минимизация энергозатрат и шума от систем охлаждения. Использование такой системы возможно и как дополнение к другим технологиям охлаждения.
Повышение КПД, Li—ion и динамические ИБП
Электроснабжение в ЦОД – одна из самых консервативных систем инженерной инфраструктуры. Однако и здесь появляются новые подходы, которые также определяются общими тенденциями развития дата-центров, – это децентрализация вычислительных мощностей, интерес к компактным и быстро развертываемым решениям, повышение энергоэффективности.
Источники бесперебойного питания (ИБП) – основа функционирования дата-центра. Их производители продолжают работать над повышением показателей КПД установок, и кажется, что они уже практически достигли максимума. Оптимизация алгоритмов управления за счет использования высокотехнологичных IGBT-транзисторов и применение более современной элементной базы повысили возможный КПД до 97%, а при контролируемом переходе в экономичный режим – и до 98–99%.
Другой путь усовершенствования ИБП – поиск альтернативы свинцово-кислотным аккумуляторным батареям. Сейчас востребованным решением обещают стать литий-ионные аккумуляторы. Они гораздо легче традиционных, что позволяет размещать ИБП в помещениях, перекрытия которых могут не выдержать вес свинца. Этот аспект играет немаловажную роль, поскольку зачастую дата-центры располагаются в уже существующих зданиях. Кроме того, литий-ионные аккумуляторы в разы компактнее, чем отлично вписываются в тренд оптимального использования площадей ЦОД, когда максимум пространства отводят под ИТ-оборудование, а место для вспомогательных систем сокращают. Коммерческим дата-центрам это помогает увеличить доходы от размещения дополнительных стоек, корпоративным – снизить операционные затраты. К сильным сторонам литий-ионных аккумуляторов можно также отнести высокую энергоемкость, небольшое количество времени для зарядки, длительный срок службы – около 10 лет.
Еще одна тенденция в системах электроснабжения, которая заслуживает внимания, – активное развитие модульных ИБП. Если раньше такие машины мощностью больше 100 кВт было сложно найти, то сейчас практически все ведущие вендоры выпускают модульные установки мощностью мегаватт и выше. Они легко масштабируются и обслуживаются. При выходе из строя запчасть можно поменять силами службы эксплуатации или сервисной организации без привлечения вендора.
Однако установка статических ИБП не всегда оптимальный вариант. Сейчас по крупным ЦОД продолжают торжественно шествовать дизель-динамические ИБП. Они совмещают в одном конструктиве синхронный генератор, накопитель энергии (маховик) и дизельный двигатель. Их главное отличие в том, что бесперебойная работа поддерживается за счет кинетической энергии маховика, вследствие чего необходимость в аккумуляторных батареях отпадает.
Решение с ДДИБП занимает гораздо меньше места, проще обслуживается, помогает сократить капитальные и эксплуатационные затраты. Однако ДДИБП – далеко не панацея, их применение целесообразно в ЦОД мощностью выше 1 МВт. В большинстве случаев максимальную выгоду от использования можно получить только при созаднии дата-центра с нуля, когда есть возможность спроектировать все решения под конкретный типоразмер машины.
Активное предотвращение: возгорание невозможно
Системы пожарной безопасности строго регламентируются законодательными актами, требуют многочисленных проверок и испытаний перед внедрением. Потому инновации в данной сфере не так быстро доходят до рынка.
Современные системы уже относятся к системам раннего обнаружения возгорания. Например, точечные дымовые пожарные извещатели срабатывают при незначительном задымлении среды. Однако если речь идет о дата-центрах, следует рассматривать более ранние этапы возгорания – еще до распространения видимых частиц дыма. С этой задачей справляются аспирационные системы пожарообнаружения. Их главное отличие от систем с пассивными датчиками дыма – активный забор проб воздуха из помещений и его постоянный анализ.
Скорость обнаружения возгорания у аспирационных систем на порядок выше, чем у традиционных, за счет непрерывного анализа воздушной среды и высокой чувствительности детекторов (она может быть в сотни и даже тысячи раз выше, чем у точечных извещателей). Кроме того, для аспирационных систем есть возможность установки нескольких уровней реагирования системы, что позволяет запрограммировать для каждого порога детектирования собственный алгоритм работы. Например, от простого оповещения персонала до автоматического отключения вентиляции и кондиционирования, а также инициации эвакуации и автоматического запуска локального пожаротушения.
В системах пожаротушения набирают обороты системы активного предотвращения возгораний. Они обеспечивают создание условий, при которых возникновение возгорания в принципе невозможно. Например, системы активного предотвращения пожаров с применением мембранной технологии разделения газов. Подобные системы работают по принципу снижения в помещении концентрации кислорода путем контролируемой подачи в помещение азота.
Стоит отметить один из самых молодых способов пожаротушения – с помощью тонкораспыленной воды. Технология заключается в том, что тушение пожара и локализация очага возгорания происходят за счет подачи струй тонкораспыленной мелкодисперсной воды («водяного тумана»). При такой подаче используется дистиллированная вода, а диаметр капель не превышает 100–150 мкм, потому считается, что решение безопасно для оборудования. Система требует минимального расхода воды и эффективна вне зависимости от герметичности помещения. Такой способ безопасен и для людей, поэтому при необходимости начинать тушение можно немедленно.
Полный контроль над территорией
В современном мире данные – это новый тип активов, которым нужны надежные сейфы. Именно поэтому сейчас в ЦОД большое внимание уделяется безопасности, как информационной, так и физической. Если посторонний сможет проникнуть в машинный зал и нарушить работу ЦОД, потеря данных или остановка клиентских сервисов может обернуться существенными финансовыми убытками.
Обеспечить контроль за ситуацией в режиме 24×7 помогают системы видеонаблюдения. Главный тренд для них сегодня – применение интеллектуальной видеоаналитики. Для дата-центров могут быть интересны различные модули на основе нейронных сетей: распознавание лиц или номеров, оставленный предмет, пересечение линий – все зависит от расположения объекта и важности хранимой в нем информации.
Нередко физическая безопасность ЦОД строится по принципу матрешки: выделяется несколько периметров безопасности с постепенно возрастающим уровнем защищенности. При этом на каждом из рубежей посредством систем контроля доступа можно сокращать количество людей, имеющих право прохода в следующие помещения. Таким образом, к самой важной части дата-центра – машинному залу – будет иметь доступ ограниченное количество человек.
Одна из главных тенденций в системах контроля доступа – использование биометрических идентификаторов. Это может быть отпечаток пальца, венозный рисунок, радужка глаза или 3D-маска лица. Все чаще биометрия применяется для двухфакторной аутентификации в ключевых зонах ЦОД, что позволяет исключить использование чужого потерянного или украденного пропуска.
Еще один вариант усиления защиты – использование шлюзовых кабин с весовыми платформами. Например, в сейсмоустойчивом дата-центре в Турции, при создании которого КРОК выступал в качестве технического консультанта, такие кабины стоят на входе в само здание ЦОД и машинный зал. В первом случае система помогает исключить проход одновременно по одному пропуску нескольких людей. Во втором – сравнивает вес на входе и выходе, удостоверяясь, что это тот же самый человек и он не выносит ничего лишнего.
BIM всемогущий
BIM уже не просто набирает обороты, теперь без него не обходятся даже небольшие проекты. Применение информационного моделирования помогает просмотреть несколько возможных вариантов компоновки инженерных систем и выбрать из них оптимальный. Распределение оборудования, построение схем для пневматики и гидравлики, моделирование тепловых полей – лишь малая часть того, для чего сейчас используются BIM-технологии.
За счет того, что взаиморасположение инженерных систем можно просчитать до мелочей, количество коллизий при монтаже уменьшается в разы. Это позволяет избежать увеличения сроков выполнения проекта. Применение BIM также помогает контролировать ход строительных работ и расход материалов, что сохраняет бюджет в изначально заданных рамках.
Однозначное определение объемов работ и материалов в тендерах исключает пере- и недозаклады, контроль над ходом работ в едином информационном пространстве становится гораздо проще, внесение корректировок уже не требует большого времени. Все это, конечно, отражается на капитальных затратах: по нашему опыту BIM способствует экономии до 20% бюджета на строительство и дальнейшую эксплуатацию здания ЦОД.
ВРЕЗЫ:
Согласно отчету Global Market Insights, рынок технологий жидкостного охлаждения для дата-центров к 2025 г. превысит 2,5 млрд долл.
Источники бесперебойного питания (ИБП) – основа функционирования дата-центра. Их производители продолжают работать над повышением показателей КПД установок и уже практически достигли максимума.
Стоит отметить один из самых молодых способов пожаротушения – с помощью тонкораспыленной воды.
Сейчас в ЦОД большое внимание уделяется безопасности, как информационной, так и физической.
Применение информационного моделирования помогает просмотреть несколько возможных вариантов компоновки инженерных систем и выбрать из них оптимальный.
