Основные технические характеристики дата-центра компании «ВымпелКом»:
- соответствие стандартам TIERIII UptimeInstitute, TIA-942, BICSI-00,
ASHRAETC 9.2;
• высокий уровень физической безопасности объекта;
• модульный принцип размещения оборудования;
• шесть независимых модулей ЦОД;
• применение современных технологий бесперебойного электроснабжения и
охлаждения;
• 10 МВт по двум вводам, мощность для нужд офиса 1,4 МВт;
• резервирование электроснабжения 2N;
• резервирование холодоснабжения N+2;
• водяное чиллерное охлаждение;
• охлаждение наружным воздухом (NaturalFreeCooling);
• адиабатическая система охлаждения;
• бесперебойное питание оборудования системы охлаждения;
• коэффициент энергоэффективности PUEна уровне 1,3;
• четыре ввода транспортных волоконно-оптических каналов;
• машинный зал на 236 стойко-мест;
• 16 коммутационных стоек в центре машинного зала;
• система контроля и управления доступом, видеонаблюдение.
Комплексный подход к проектированию, модульный принцип размещения оборудования, уникальное сочетание технических и архитектурных решений, применение технологий бесперебойного электроснабжения и охлаждения – лишь некоторые слагаемые формулы эффективности, реализованной при создании нового дата-центра компании «ВымпелКом». Корпоративный центр обработки данных предназначен для размещения вычислительных мощностей и ИТ-инфраструктуры оператора. Возведенный в индустриальном парке под Ярославлем комплекс занимает территорию7 га. Общая площадь построек, в которых размещаются офис класса А с рабочими местами для персонала компании, зоны дата-центра, оснащенные оборудованием и системами, складские помещения, превышает 32 тыс. м2. Центр обработки данных с готовой инфраструктурой соответствует всем требованиям стандарта TIER III UptimeInstitute.
Холодный расчети стандарты TIER
Когда перед «ВымпелКомом»,одним из ведущих российских операторов, встал вопрос расширения своей инфраструктуры и оптимизация управления множеством небольших дата-центров, в компании рассматривали различные варианты решения задачи. Предварительно наметили перспективы развития инфраструктуры на 10–15 лет, оценили объем требуемых ресурсов, количество телекоммуникационного и ИТ-оборудования, площадь, на которой его можно разместить, и поставили задачу грамотно распорядиться денежными средствами. На основе расчетов выяснилось, что дешевле построить собственный ЦОД для размещения компьютерных, биллинговых, финансовых и иных систем, но при условии, что проект реализуется не сразу, что называется под ключ, а по частям.
Примерно в тот же период игрокам российского телекоммуникационного рынка стали доступны модульные технологии создания подобных объектов, и в компании оценили преимуществасоответствующих решений. Одно из них заключается в том, что поэтапное финансирование проекта позволяет оптимизировать расходы, поскольку дополнительные мощности дата-центра заказываются по мере надобности, исходя из запросов и потребностей бизнеса, с учетом ситуации на рынке. Щадящий режим финансирования хорош тем, что имевшихся финансовых ресурсов оказалось достаточно для того, чтобы компания отдала предпочтениеиспользованию технических и технологических решений из более высокого ценового диапазона. Очевидная выгода заключалась в том, что на их основе можно не только обеспечить повышенный уровень отказоустойчивости объекта, но и быстрее окупить затраты. Как говорят финансисты в случае принятияподобныхпрагматичных решений, –это былхолодный расчет.
«На этапе проектирования объекта основное внимание уделили тому, каким принципам проектирования объекта отдать предпочтение. Сделать надежно, качественно, но при этом дорого либо сэкономить, построив ЦОД с соблюдением минимальных требований к отказоустойчивости объекта, который будет непросто эксплуатировать, – рассказывает Александр Трикоз, директор Ярославского технического центра ОАО «ВымпелКом». –Разрешить споры, возникающие между техническими и финансовыми службами компании, помогают международные стандарты, определяющие зависимость параметров дата-центра и технологий, на основе которых проектируется его инфраструктура. Наша компания ориентировалась на требования отказоустойчивости инфраструктуры (TIER), установленные стандартами UptimeInstitute. При этом главной задачей было реализовать комплексный подход к проектированию дата-центра на основе модулей, чтобы обеспечить поэтапный ввод объекта в эксплуатацию и возможность его сертификации по уровню TIERIII».
Видимая часть хайтек-айсберга
Решение о поэтапном строительстведата-центра с применением быстровозводимых конструкций заводской сборки, которые на момент реализации проекта в Ярославле стали доступны на российском рынке, послужило одним из условий минимизации расходов на реализацию проекта.Серверные комнаты или модульные помещения физической защиты производства Schneider Electric, устойчивые к внешнему воздействию, позволили монтировать и вводитьоборудование в эксплуатацию еще до того, как завершилось строительство самого здания. Огнеупорные конструкции обеспечивают надежную защиту ИТ-инфраструктуры от любых неблагоприятных факторов. Кстати, ряд конструктивных особенностей самого здания, например выделенная зона для воздухообмена в помещениях, где устанавливается оборудование, пополнили перечень инженерных, технических и технологических решений, которыми выгодно отличается этот проект.
В дата-центре предусмотрено шесть модулей, которыезаказываются по принципу «мощность по требованию». В модуле площадью 500 м2 размещается 236 стоек. Реализованная в дата-центре система охлаждения Naturalfreecooling включает в себя две камеры смешения, магистральный воздуховод и компактные блоки охлаждения MNFC с невысоким энергопотреблением. В системе охлаждения, которую также можно наращивать пошагово, применена технология косвенного теплообмена. Благодаря этому обеспечивается высокий уровень безопасности ИТ-оборудования независимо от условий окружающей среды. Блоки, из которых состоит система,легко устанавливать и просто обслуживать. Климатические условия в регионе, где построен дата-центр, таковы, что систему фрикулинга, как показывают расчеты, можно использовать почти круглый год.
Серверные комнаты и система охлаждения – это видимая частьхайтек-айсберга под названием «высокотехноличный объект» с возможностью помодульногозапуска его мощности в эксплуатацию. Среди других ключевых показателей эффективности дата-центра – сочетание сбалансированного энергопотребления и высокой отказоустойчивости.
Контроль над энергопотоками
Надежное энергоснабжение – базовое условие функционирования объекта.Известно, во сколько обходятся сбои в электропитании и ликвидация возможных последствий. Например, проблема с предоставлением услуг в телекоме, нерешенная в течение нескольких дней, может привести к закрытию бизнеса. Неслучайно в этой сфере все достаточно консервативно в хорошем смысле слова и детально регламентировано. Тем не менее специалисты прилагают немало интеллектуальных усилий, чтобы найти оптимальное соотношение между надежностью энергоснабжения и расходами на эти цели. Справиться с такой задачей помогает внедрение новых технологий. Некоторые примененные для создания дата-центра в Ярославле решения стали отраслевыми стандартами.
Каждый объект уникален, и многое зависит от схемы энергоснабжения, определения балансной принадлежности и алгоритма взаимодействия со сбытовыми компаниями. Построенная по кольцевому принципу схема энергоснабжения дата-центра позволяет дублировать ее элементы на каждом уровне подключения. Высоковольтные линии подключены к двум разным подстанциям, а внутри них к различным ячейкам, также дублирующим одна другую.
Компания Schneider Electric выполнила комплекс работ по проектированию системы электроснабжения ЦОД и его диспетчеризации, обеспечила поставку и ввод в эксплуатацию электрооборудования. В перечень оборудования высокой заводской готовности, рассчитанного на многолетний период эксплуатации, входят ячейки SM6 и RM6, трансформаторы Trihal, шкафы Okken, шинопроводыCanalis и система EMCS.
«Мы выбрали готовые решения в виде блоков, протестированных в заводских условиях, – продолжает рассказывать Александр Трикоз. – Так, в состав инфраструктуры входят двухсекционные сухие трансформаторы. С точки зрения капитальных затрат они обходятся дороже масляных. Однако благодаря простоте конструкции и реализованной в них технологии сухие трансформаторы нетребовательны в обслуживании, удобны в эксплуатации. В результате совокупная стоимость владения ниже. Распределительные станции оснащены перемычками, позволяющими обеспечить автоматическое переключение напряжения при возникновении неполадок или сбоя на одной из них. Следовательно, любой перепад напряжения в сети не приводит к выходу из строя ее элементов и не сказывается на энергоснабжении потребителей. Реализовано несколько уровней защиты, установлены автоматы ввода резерва (АВР). Регламентные или профилактические работы выполняются в срок и незаметно для потребителя. Следует отметить, что блоки защиты производства компании Schneider Electric оснащены микропроцессорными секциями, позволяющими на основе учета огромного количества параметров осуществлять настройки на программном уровне».
Современная система энергоснабжения во многом схожа с ИТ-системами, функционирование которых обеспечивается путем автоматического переключения потоков, в данном случае – электрических. Применение новых технологий позволяет гарантировать надежную работу оборудования, но позаботиться об этом важно на стадии проектирования объекта.
Проектом предусмотрено построение системы управления и мониторинга как зонтичной, так и отдельных применительно к оборудованию разных производителей. Контроль осуществляется на основе оперативных параметров, сигнализирующих о необходимости принятия срочных мер, например по локализации, переключению нагрузки, и статистических, которые воссоздают полную картину того, на каком участке и сколько потребляется электроэнергии, а также дают возможность определить показатель PUE (проектное максимальное значение 1,7).
«Внедренноена объекте решениеDCIMSchneider Electricохватывает весь спектр используемого оборудования и помогает обеспечить управление электроэнергией на основе анализа энергопотребления в зависимости от режима работы. Наличие такой системы, как и реализация базовых сценариев экономии энергоресурсов, по нашим оценкам, позволяют уменьшить расходы компании на эти цели примерно на 30%», – подчеркивает Александр Трикоз.
Ассортимент продукции Schneider Electric дает возможность удовлетворить бóльшую часть потребностей оператора, заинтересованного в развитии инфраструктуры дата-центров. На каждой из 200 технологических площадок «ВымпелКома» в России используются решения этого производителя. Преимущества долгосрочного сотрудничества в том, что обеспечивается бесшовная интеграция применяемых решений на всех уровнях, упрощаются процессы внедрения и эксплуатации оборудования, в частности, легче организовать обучение технического персонала и доступ региональных служб к складским запасам.
«Одним из аргументов в пользу выбора решений под этой маркой служит общий подход Schneider Electric к организации работы над проектом заказчика. Помощь в выборе технологий, консультации на этапах проектирования, ввода в эксплуатацию способствуют поиску оптимальных решений при создании инфраструктуры», – резюмирует Александр Трикоз.
***
До начала реализации проекта сотрудники «ВымпелКома» на основе математической модели сравнивали совокупную стоимость владения (TCO) при использовании классических и новых технологий. Точность расчетов подтверждается на практике, о чем свидетельствуют первые предварительные результаты. Операционные затраты ниже по сравнению с затратами на аналогичных объектах. В полной мере оценить эффективность примененных решений, как говорят в компании, можно будет примерно через год после того, как завершится полный цикл использования фрикулинга.
