В последнее время концепция модульных центров обработки данных (далее – ЦОД) пользуется репутацией передовой и бизнес-эффективной технологии. Сегодня с трудом верится, что всего пару-тройку лет назад этот подход к созданию ЦОД считался в России экзотикой и редко использовался в масштабных проектах. Впрочем, наиболее проницательные участники ИТ-рынка уже тогда оценили его огромный технический и экономический потенциал. В настоящее время подавляющее большинство желающих построить ЦОД отдают предпочтение модульной архитектуре, преимущества которой очевидны для всех. Модульный ЦОД – это не просто конструктив, а бизнес-концепция, главная цель которой – снизить стоимость владения объектом при сохранении требований к его высокой производительности и отказоустойчивости. Экономический эффект достигается за счет гибкости и масштабируемости решения. Причем гибкость касается не только технической, но и инвестиционной составляющей.
Четыре поколения ЦОД
Отказоустойчивость в первых ЦОД обеспечивалась за счет избыточных инженерных систем, построенных на классическом оборудовании. Стандартный ЦОД первого поколения представляет собой огромное помещение, оснащенное классическими источниками бесперебойного питания (ИБП) вкупе с дизельными генераторными установками, фреоновыми системами кондиционирования воздуха и т. п. Содержание таких мощностей требует значительных затрат, поэтому на рынке появился спрос на более экономичные решения. Второе поколение ЦОД включает в себя энергоэффективные и экологичные решения: чиллеры с фрикулингом, динамические дизельные ИБП, электроснабжение от возобновляемых источников и т. д.
В настоящее время почти все ЦОД в России – первого и второго поколений. Общий для них недостаток заключается в том, что на этапе проектирования невозможно гарантированно спрогнозировать объем мощностей ЦОД (а также площадь зала, количество стоек), которые понадобятся бизнесу в будущем. Приходится строить ЦОД с большим запасом мощности, который на стадии строительства требует значительных инвестиций, а в ближайшем будущем не используется и неясно, будет ли использоваться.
Простой пример. Представьте, что у вас, владельца автопарка, всего 20 автомобилей, но со временем, возможно, их количество увеличится до 100. Вы строите отапливаемый гараж на 100 транспортных средств. Машин всего 20 (да хотя бы и две), а расходы на электричество, отопление и вентиляцию такие, словно их сотня. Понятно, что в такой ситуации целесообразно построить отапливаемый бокс на 20–30 автомобилей, а потом, по мере приобретения автотранспорта, пристраивать к нему дополнительные типовые боксы. Расходы на электричество, отопление и вентиляцию будут изменяться только в случае увеличения автопарка (нет автомобилей – нет и коммунальных расходов), а срок возведения дополнительных боксов будет минимальным, поскольку уже есть проект, получены необходимые согласования и размечен участок для их возведения.
Столь простой принцип лег в основу модульной концепции. ЦОД третьего поколения включает в себя несколько типовых машинных залов (серверных), для каждого из них можно создать выделенную инженерную и ИТ-инфраструктуру. Допустим, построено десять машинных залов по 50 стоек каждый. Не важно, сколько из них вы используете – 50 или все 500 – ровно столько, сколько требуется бизнесу. Затраты на электроэнергию и сервис будут распространяться только на работающие стойки, а не на весь комплекс. По нашему мнению, оптимальный объем для модуля составляет около 200 стоек, поскольку при большем их количестве машинный зал (модуль) теряет гибкость и становится громоздким.
В настоящее время в технически развитых странах создаются масштабируемые модульные решения на базе унифицированных форм-факторов. ЦОД четвертого поколения уже не требует огромных ангаров, все оборудование размещается внутри контейнеров (40 футов), из которых, как из конструктора, можно собрать ЦОД любого размера. Современные системы изоляции обеспечивают надежную защиту оборудования от повреждения водой, огнем (снаружи и изнутри), перепадов температур, электромагнитных полей, несанкционированного доступа и других негативных факторов.
Модули (до десяти штук) скрепляются между собой по длинной стороне и образуют единое пространство. Каждый из контейнеров – готовое сборное изделие, укомплектованное всем необходимым оборудованием и коммуникациями (электропитание, кондиционирование, пожаротушение, безопасность, кабельные системы), что ощутимо сокращает время на проектирование и развертывание. Таким образом, владелец получает большой машинный зал с единой инженерной и ИТ-инфраструктурой. Решение отличается высокой мобильностью: может быть доставлено в любую точку мира и развернуто даже в чистом поле, а при необходимости демонтировано и перевезено.
Собираем пазлы
Несмотря на ряд очевидных преимуществ, модульный ЦОД четвертого поколения в России используется редко из-за особенностей климата. Наиболее востребованным на отечественном рынке считается ЦОД третьего поколения. Он унаследовал лучшие характеристики предшественников: высокую производительность, отказоустойчивость, энергоэффективность, но полностью лишен таких их недостатков, как высокие капитальные расходы и невозможность расчета оптимального объема требуемых мощностей. Расходы стали гибкими: владелец может строить бюджетные модули под текущие потребности и добавлять новые помещения и стойки по мере необходимости, как пазлы.
Обычно строительство дополнительных машинных залов занимает три-пять месяцев. Масштабирование, как и техническое обслуживание ЦОД, обеспечивается без вмешательства в бизнес-критические ИТ-процессы. Нет необходимости приостанавливать работу всех модулей, когда требуется, например, провести регламентное обслуживание на одном из них, простой оборудования исключается.
Как и в случае с ЦОД второго поколения, модульный подход предусматривает использование энергоэффективных решений и «зеленых технологий». Сотрудничество с самой природой дает ощутимый экономический эффект. Например, охлаждение стоек наружным воздухом и природными источниками охлаждения – грунтовыми водами, реками и др. – позволяет радикально снизить затраты на электроэнергию. Решение такого типа было использовано при строительстве масштабного модульного ЦОД в Ярославле. На этом объекте впервые в России задействованы уникальные блоки охлаждения NFC (Natural-Fresh-airCooling), которые представляют собой два разомкнутых (отдельных) воздушных контура. Это позволяет владельцу ЦОД не останавливать работу машинного зала даже в случае возгорания.
Во внутреннем контуре рециркулирует воздух помещения ЦОД, а в наружный подается воздух с улицы. Оба потока проходят через рекуперативный теплообменник, в котором осуществляется теплообмен между наружным и внутренним воздухом. Данное решение позволяет использовать охлаждение машинного зала наружным воздухом до 90% времени в году, даже при температуре внешнего воздуха до +33 °C. Такая экономия позволит владельцу значительно снизить расходы на электроэнергию. В этом и есть главное преимущество указанной системы перед традиционным охлаждением с использованием водяных холодильных машин.
Примечательно, что создание Ярославского ЦОД было начато в 2012 г., когда модульный подход еще не был так популярен в России. Однако заказчик – крупный российский сотовый оператор – отдал предпочтение этой концепции, учитывая практически неограниченные возможности масштабирования и особенности местного климата, позволяющие существенно уменьшить расходы на охлаждение ЦОД.
Каждому – по потребностям
Сегодня почти каждый проектируемый ЦОД в России – третьего поколения. Предположим, вашей компании нужны 600 стоек. Выбирая ЦОД первого-второго поколений, вы сразу расходуете весь большой бюджет и получаете такое же большое строительство. Наконец ваш «гигант» готов, нужно заполнять его оборудованием, осуществлять миграцию информационных массивов на новую платформу, переносить туда бизнес-приложения (обычно это происходит с переносом в виртуальную среду). В работу включаются все подразделения, отвечающие за согласования, тендеры, составление технических заданий и многое другое.
Вслед за трудозатратами затраты временные – на проектирование, разработку, тестирование, миграция бизнес-приложений, что происходит после определения требований к оборудованию, его приобретения, установки и настройки. По статистике, подобная работа (на 600 стоек) занимает более трех лет, не считая времени на строительство самого ЦОД.
Страшновато, не правда ли? Очевидно, что этот вариант подходит только для самых терпеливых и щедрых. Прочие владельцы ИТ строят модульные ЦОД. Например, на начальном этапе проекта монтируются 200 стоек и тратится примерно 45% бюджета. Первый модуль можно использовать для миграции и работы с уже перенесенными бизнес-приложениями, обучения обслуживающего персонала и других задач.
Спустя какое-то время владелец может построить следующий модуль, потом еще – до тех пор пока не выйдет на нужное количество стоек. Весь этот период ИТ-ресурсы и бизнес-приложения работают, принося владельцу доход. Для этого не нужно тратить сразу все деньги и ждать три года, как в первом случае.
Подобный подход идеален для проектов создания коммерческих и смешанных ЦОД (в первом случае стойки предназначены для бизнес-процессов внешних клиентов, во втором – компания строит корпоративный ЦОД и выделяет часть стоек для себя и часть – на продажу). Эффективность инвестиций играет первостепенную роль – у владельца нет трех лет на то, чтобы «наслаждаться» видом пустых стоек и инфляцией.
Модульный подход позволяет проектировать все решение сразу, но разбить его реализацию на этапы, каждый из которых финансируется и эксплуатируется автономно. Построив один машинный зал, владелец начинает активно привлекать клиентов, его мощности работают на окупаемость. Затем можно строить следующий зал. Первый заполнится – начнем продавать второй. Согласитесь, гораздо рациональнее, чем строить сразу два зала – сумма та же, но окупаться она будет значительно дольше.
Преимущества очевидны. Во-первых, снижаются затраты на проектирование и строительство. Создавать решение из небольших типовых «пазлов» проще и дешевле. Во-вторых, инвестиции растягиваются во времени. Дорогостоящие вещи удобно покупать в рассрочку. В-третьих, сокращается разрыв между инвестициями и окупаемостью. Тратите медленно – зарабатываете быстро. В результате снижаются совокупная стоимость владения, стоимость сервисного сопровождения, лицензирования программного обеспечения и затраты на персонал. Наконец, децентрализация инженерной инфраструктуры и вычислительных мощностей между модулями обеспечивает исключительно высокую отказоустойчивость.
Непрофильный бизнес
Корпоративный ЦОД – немного другая история. В России немало государственных и коммерческих компаний, которые заинтересованы в создании больших отказоустойчивых ЦОД в целях развития и консолидации мощностей, а также сокращения эксплуатационных расходов. Их главная проблема заключается в том, что для таких компаний ИТ не являются профильным бизнесом. Однако у них есть собственные ИТ-подразделения – обычно со слабой ИТ-квалификацией в сравнении со средними рыночными интеграторами, привлекаемыми для создания ЦОД.
В подавляющем большинстве случаев подобный опыт у ИТ-подразделений госкомпаний и банков ограничивается созданием и эксплуатацией небольших серверных помещений с 10–40 стойками либо просто отсутствует. Тем не менее именно им предстоит под лозунгом «экономим средства» выступить в роли заказчика, проектировщика и генподрядчика.
В результате проект дробится на подсистемы и распределяется путем проведения закрытых конкурсов среди тех, «кого знаем». Зачастую в них нет ни грамотного технического задания, ни прозрачной системы оценки предложений, а у проектной команды (которая должна была эти требования и оценку сформировать) отсутствует достаточная квалификация. Качество закупаемых услуг по подобным конкурсам изначально не является рыночным.
Нередко из соображений все той же экономии к сотрудничеству привлекаются ИТ-компании из числа аутсайдеров, которые недавно вышли на рынок и, что называется, «голодны до заказа». В результате вместо того чтобы построить ЦОД, компания устраивает себе грандиозный ИТ-эксперимент. Наибольшую сложность для проектной команды такого рода представляет задача собрать из разрозненных проектов нескольких исполнителей единое работающее решение. Чаще всего желаемый результат не достигается.
В итоге организация все-таки обращается к ведущим ИТ-интеграторам, которые большую часть своих усилий тратят на то, чтобы исправить чужие ошибки. Если это получается – отлично. Но если решение имеет плохой фундамент, то сделать из него что-то стоящее удается редко. Поэтому будущим владельцам ЦОД рекомендуем сразу привлекать к сотрудничеству известных интеграторов, имеющих опыт и специализированные проектные команды для создания ЦОД. В противном случае пословица «Скупой платит дважды» станет для вас реальностью.
Проектный опыт ЛАНИТ в области ЦОД третьего поколения
Корпоративный ЦОД, г. Ярославль
Архитектурное решение
На участке, оборудованном системами безопасности, размещены технический центр ЦОД, включающий в себя три отсека (офисный, ЦОД, хладоцентр), энергоцентр (отдельное здание), сооружения топливохранилища, распределительного узла электропитания, стоянки автомобилей для персонала и посетителей.
Основу производственного процесса обеспечивают шесть независимых машинных залов, спроектированных для размещения 236 стандартных телекоммуникационных стоек в каждом с различными (до 20 кВт) мощностями.
Технические характеристики
- Общая площадь участка – 70 тыс. м².
- Выделенная электрическая мощность – 10 МВт.
- Общее плановое количество стандартных стоек телекоммуникационного или серверного оборудования ЦОД – 1416 шт.
- Система спроектирована по классу надежности Tier 3 стандарта Uptime Institute.
Особенности
Система охлаждения ИТ-оборудования реализована с использованием внешнего атмосферного воздуха. Однако воздух не попадает напрямую в серверную, а охлаждает промежуточный теплообменник «воздух – фреон – воздух». Отсутствует необходимость тонкой фильтрации атмосферного воздуха, достаточно грубой очистки на входе в теплообменник. Задача постоянного поддержания заданной влажности внутри серверной решена так, что контур ее охлаждения замкнут. PUE такой системы составляет около 1,09. Производственной и инвестиционной программой предусмотрен поэтапный ввод в эксплуатацию машинных залов ЦОД. Первый этап предусматривает создание одного машинного зала. Ввод любых последующих машинных залов не влияет на работу уже запущенных модулей.
Коммерческий ЦОД, г. Санкт-Петербург
Архитектурное решение
На участке площадью 2 га, оборудованном системами безопасности, размещены технический центр ЦОД, административный корпус, сооружения топливохранилища, распределительного узла электропитания, стоянки автомобилей для персонала и посетителей.
Основу производственного процесса обеспечивают 11 независимых машинных залов, спроектированных для размещения 220 стандартных телекоммуникационных стоек в каждом с различными (до 20 кВт) мощностями.
Технические характеристики
- Общая площадь участка – 21 тыс. м².
- Выделенная электрическая мощность – 21 МВт.
- Общее плановое количество стандартных стоек телекоммуникационного или серверного оборудования ЦОД – 2420 шт.
- Система спроектирована по классу надежности Tier 3 стандарта Uptime Institute.
Особенности
Система охлаждения ИТ-оборудования реализована с использованием моноблочных чиллеров с функцией фрикулинга; для бесперебойного питания оборудования ЦОД применены дизельные динамические источники бесперебойного питания (ДДИБП). PUE объекта – около 1,35. Производственной и инвестиционной программой предусмотрен поэтапный ввод в эксплуатацию машинных залов ЦОД. Первый этап предусматривает создание трех машинных залов. Ввод любых последующих машинных залов не влияет на работу уже запущенных модулей.
Проектный опыт ЛАНИТ в области создания ЦОД четвертого поколения
Корпоративный ЦОД, г. Москва
Архитектурное решение
Решение состоит из пяти специализированных контейнеров с полным объединением и герметизацией трех из них в единый машинный зал и двух – в единое сервисное помещение.
Технические характеристики
- Обеспечена полная изоляция по технологии Smart Shelter.
- Общее плановое количество стандартных стоек телекоммуникационного или серверного оборудования ЦОД – 20 шт.
- Система спроектирована по классу надежности Tier 3 стандарта Uptime Institute.
Особенности
Охлаждение DX для низких температур. Чиллеры размещены на специальных независимых платформах на крыше ЦОД.
Корпоративный ЦОД, г. Владивосток
Архитектурное решение
Решение состоит из трех специализированных контейнеров, один из которых используется в качестве машинного зала, а два других как сервисные помещения.
Технические характеристики
- Обеспечена полная изоляция по технологии Smart Shelter.
- Общее плановое количество стандартных стоек телекоммуникационного или серверного оборудования ЦОД – 15 шт.
- Две автоматизированные электростанции.
- Система спроектирована по классу надежности Tier 3 стандарта Uptime Institute.
Особенности
Решение включает три установки кондиционирования воздуха и 14 систем охлаждения задней двери стоек. Контейнер ДГУ обеспечен дополнительной теплоизоляцией стен, потолка, пола, звукоизоляцией и отделкой полимерными материалами.
