На замершем было рынке строительства ЦОД заметно оживление. Если в 2015–2016 гг. предприятия и организации массово включали для проектов «режим ожидания» и «замораживали» бюджеты, то сейчас они приспособились к изменившимся условиям и вновь рассматривают возможности инвестирования в возведение дата-центров. На фоне повышения активности вокруг строительства ЦОД очевиден интерес к так называемым модульным дата-центрам. Заказчики все чаще обращаются к модульным сооружениям как более предпочтительному варианту по сравнению с капитальным дата-центром. Нередко определенные обстоятельства, в частности особенности используемого оборудования и нюансы зданий, влияют на проекты создания дата-центров и становятся причиной реализации нестандартных проектов в сегменте ЦОД. В чем их уникальность и преимущества?
«Разморозка» бюджетов на строительство ЦОД привела к тому, что 2018-й, по всей видимости, будет годом-рекордсменом по числу введенных в эксплуатацию стоек. Свои объекты начнут эксплуатировать как госструктуры, так и коммерческие операторы. Впоследствии, вероятно, количество проектов по возведению капитальных дата-центров существенно снизится, поскольку планируемых к сдаче мощностей будет достаточно, по меньшей мере года на три вперед, как для государственных, так и для коммерческих заказчиков.
Модульность = мобильность
На этом фоне лидером по количеству новых проектов строительства дата-центров может стать корпоративный сегмент, который в поисках альтернативы капитальным сооружениям все чаще смотрит в сторону модульных конструкций. Во-первых, цена модуля (без стоимости подводимых коммуникаций) известна заранее. По сравнению с капитальным ЦОД это большое преимущество, поскольку фактические затраты на создание дата-центра по классической технологии нередко превышают расчетные. И масштаб превышения обычно зависит от ошибок проектирования и строительства: чем серьезнее ошибки, тем дороже они обходятся.
Во-вторых, модульные конструкции позволяют постепенно наращивать мощности в зависимости от бизнес-потребностей. Несмотря на то что заказчики приспособились к новым условиям, они не готовы «морозить» деньги в процессе возведения ЦОД «на вырост». Да, в пересчете на стойку капитальный дата-центр большой вместимости может быть выгоднее. Однако он требует больше времени на возведение и грозит дополнительными текущими расходами. В-третьих, модульный ЦОД можно вводить в эксплуатацию сразу, как только будет готова первая очередь. При необходимости такой объект можно наращивать путем доустановки дополнительных модулей, которые относительно быстро (всего за два-три месяца) изготовят, доставят и установят.
В-четвертых, модульный объект хорош тем, что в его проект можно заложить возможность перемещения. Все основные и самые дорогостоящие узлы в подобных проектах – от систем кондиционирования и насосов для хладагента до гермозон – «упакованы» в форм-факторы обычных транспортных контейнеров, которые можно перевезти на грузовиках по дорогам общего пользования на новое место. Фактор мобильности особенно ценен на фоне общероссийских тенденций, связанных с децентрализацией ИТ-инфраструктуры компаний федерального уровня. У заказчиков все чаще возникает потребность перебросить часть вычислительных мощностей из центрального региона на Урал, в Сибирь, на Дальний Восток, где у них открывается крупный локальный офис или новое производство.
Поставлю где захочу
Именно сейчас, насколько нам известно, специалисты одной из компаний прорабатывают для промышленного предприятия проект модульного ЦОД. Его предстоит установить непосредственно на производстве и предусмотреть возможности оперативного демонтажа и быстрой транспортировки на другое место. Предполагается, что эта же компания как сервис-провайдер возьмет на себя комплексное техническое обслуживание объекта и будет обеспечивать его работоспособность в ближайшие несколько лет. Комплексный подход – одна из причин, по которой заказчики наряду с созданием ЦОД приобретают пакет по обслуживанию объекта. Это не самый бюджетный вариант из возможных на рынке, но такой маневр снимает головную боль по поводу работоспособности дата-центра на несколько лет вперед.
Фактическая независимость от условий окружающей среды – одна из основных ценностей при возведении модульных ЦОД. Она обусловила использование модульного подхода для строительства необычных дата-центров в мире. Например, крупнейший ЦОД в Европе на 75 гермозон площадью 120 тыс. м² находится в Норвегии, расположен под землей и построен по модульному принципу. Модули собираются и тестируются в заводских условиях, доставляются к месту установки на большегрузных автомобилях по дорогам общего пользования, достаточно быстро подключаются к энергосети и другим коммуникациям. Особенностью проекта можно назвать систему охлаждения: для контроля температуры используется холодная морская вода. Есть ЦОД в скальной выработке и в России. Одно из предприятий в Восточной Сибири разместило там резервный дата-центр, в то время как основной ЦОД работает в производственных помещениях.
Оборудование как признак нестандартного проекта
Очевидный интерес к модульным ЦОД наблюдается в рамках классических проектов с их типовыми задачами и более-менее постоянным и привычным набором оборудования. Модульный подход к традиционным проектам настолько хорош, что позволяет сертифицировать такие ЦОД под высокие стандарты Uptime Institute. Например, модульный ЦОД becloud (кстати, одно из самых больших модульных сооружений в Восточной Европе) сертифицирован по TIER 3. Но на рынке хватает и нестандартных проектов, обусловленных эксплуатацией нетипового «железа» либо специфическими кондициями зданий, где размещается дата-центр.
Набор оборудования – отправная точка для любого проекта. И если при создании модульных дата-центров (независимо от особенностей их размещения) заказчики обычно обращают внимание на требования нормативов и стандартов, то в случае проектирования дата-центров для майнинга клиенты такими условностями не скованы. Одна из отечественных компаний работает над несколькими подобными проектами по заданию российских и зарубежных заказчиков. Назвать эти проекты типовыми нельзя при всем желании. Прежде всего стоит отметить, что под майнинговое оборудование пока нет серверных шкафов. «Железо» размещается на стеллажах. Эта особенность влечет за собой нестандартный подход к питанию и охлаждению оборудования. Главное, что бросается в глаза, – инженерная инфраструктура таких объектов спроектирована с большими перекосами. В ней отсутствует привычный баланс, который характерен для обычных ЦОД.
Большое внимание уделяется подводимой электрической мощности и резервированию питания. При этом подобный объект может быть полностью лишен привычной для дата-центров системы охлаждения. Стеллажи с оборудованием продуваются забираемым с улицы воздухом мощными вентиляторами с определенными параметрами воздушного потока. Такой подход позволяет сэкономить до 30% бюджета на проект в целом: именно столько в среднем стоят чиллеры, насосы, трубопроводы и другое оборудование как часть системы охлаждения в обычном ЦОД. Вторая необычная вещь на таких объектах – отсутствие резервирования по вычислительному оборудованию. При майнинге криптовалют этого не требуется – в процессе не создается больших массивов критически важных данных, потеря которых недопустима. А раз нет резервирования – нет нужды держать под него избыточные гермозоны и инженерную инфраструктуру.
Один из заказчиков подобного проекта даже отказался от системы газового пожаротушения. Свое решение он объяснил тем, что его майнинговый ЦОД расположен в здании старого промышленного цеха с десятиметровыми потолками. Заправка системы газового пожаротушения такого объекта стоит огромных денег, а каждое ее ложное срабатывание (что случается) будет приносить владельцу большие убытки. В качестве альтернативного решения был найден предельно консервативный способ надзора за пожарной безопасностью: стойки с оборудованием находятся под видеонаблюдением. Ситуацию постоянно контролирует несколько диспетчеров, которые при появлении дыма или открытого пламени поднимают тревогу. Возгорание предлагается устранять обычными огнетушителями. Да, они могут навредить оборудованию, но дешевые компоненты для майнинга достаточно просто поменять.
«Железная» специфика характерна для проектов ЦОД, реализуемых в сфере оборонной отрасли. Несколько производителей в России изготавливают компактные модули, где оборудование погружено в диэлектрическую жидкость. В рамках таких проектов задача инженера со стороны подрядчика – разместить готовые блоки в помещении и подключить их к коммуникациям.
Когда перестраивать имеет смысл
Особенности здания, где планируется разместить ЦОД, – еще один сигнал к необычному проекту. Достаточно часто заказчик оказывается в положении, когда под дата-центр или серверную комнату выделяется конкретное здание либо помещение. С этими ограничениями приходится считаться. Если судить по нашему опыту, то мы всегда предупреждаем о слабых местах сооружения или серверной комнаты, которые могут повлечь за собой конкретные риски. И заказчик решает, принимать эти риски или нет. Часто он их принимает, иногда нет. В нашей практике был случай, когда заказчик пять раз менял помещение под серверную, поскольку не был готов потерять оборудование и лишить свою компанию важной части ИТ-инфраструктуры.
Наличие «коробки» для дата-центра не гарантирует, что на строительстве готового объекта удастся сэкономить. Несколько лет назад одна компания начала строить ЦОД в отдельном здании с прочным фундаментом, однако стены и перекрытия не соответствовали требованиям по нагрузке и прочности. Компания-подрядчик не пошла на компромисс и полностью перестроила здание изнутри. Да, пришлось вложить достаточно большие деньги, зато получили здание, которое полностью удовлетворяет их запросы. К тому же сэкономили огромное количество времени на всевозможные согласования и утверждения, которые при строительстве сооружения с нуля существенно усложнили бы дело. Так что будем считать, что это были оправданные инвестиции.
Целесообразность инвестирования в ту или иную технологию волнует заказчиков необычных проектов так же сильно, как и тех, кто эксплуатирует традиционные ЦОД. Методику оценки экономической эффективности вполне уместно распространить и на нетривиальные проекты. Если использование модной сегодня «фичи» freecooling (охлаждение за счет низкой температуры наружного воздуха, когда система потребляет значительно меньше электроэнергии, чем обычно) при расчетах указывает на срок окупаемости 15–20 лет в рамках конкретного проекта, то использовать его не будут ни при реализации обычного, ни в рамках оригинального проекта. Ведь приемлемый срок окупаемости составляет пять-семь лет.
Медленная эволюция
Конечно, ЦОД с охлаждением с помощью погружения оборудования в диэлектрическую жидкость и дата-центры для майнинга – пока экзотика для проектировщиков и строителей подобных сооружений. Утверждать, что именно такие проекты сейчас меняют подходы к инженерной инфраструктуре, преждевременно. Инженерная составляющая меняется медленно – в отличие от вычислительного и сетевого оборудования. В области инженерной начинки инновации двигают вперед военные (они имеют возможность экспериментировать с различными системами в рамках одного проекта, и данные об этих экспериментах так или иначе становятся достоянием профессионального сообщества строителей дата-центров), а также, как ни странно, заказчики с нетривиальными проектами или с желанием сэкономить. Они согласны отходить от классических решений и принимать ряд рисков – либо ради повышения эффективности ЦОД под конкретные задачи, либо ради снижения цены проекта. Возможно, благодаря таким заказчикам мы обязательно увидим, как рынок принимает новации, еще недавно казавшиеся не вполне оправданными.