Группа компаний Softline объявила о завершении строительства модульного центра обработки данных для компании beCloud («Белорусские облачные технологии»). На сегодняшний день он является крупнейшим дата-центром в Беларуси, а также одним из наиболее современных ЦОД во всей Восточной Европе. Республиканская облачная платформа, размещенная на базе дата-центра, уже доступна в тестовом режиме государственным и коммерческим организациям. Первыми в гособлако были перенесены информационные системы Министерства по налогам и сборам Беларуси.
Перековали мечи на орала
В марте 2017 г., после введения в строй первой очереди дата-центра, представители российской компании Softline и белорусского инфраструктурного оператора beCloud познакомили ИТ-журналистов с уникальным объектом, построенным в агрогородке Колодищи, примыкающим к городской черте Минска на востоке.
Об этапах строительства модульного ЦОД рассказал Игорь Авдеев, главный инженер компании. Отвечая на вопрос обозревателя журнала Connect о причинах выбора данного места для возведения дата-центра, он объяснил, что в эпоху СССР у поселка Колодищи находились так называемые глушилки (подчинялись Министерству связи СССР) – на прилегающей местности располагались три колоссальные мачтовые антенны и прочие энергоемкие инженерные сооружения. После развала СССР этот объект, естественно, оказался невостребованным. На выбор места также повлияли и следующие факторы: близость к Минску, соответствие требованиям американского Uptime Institute (на месте нет никаких катастрофоопасных объектов – нет взлетно-посадочных полос, достаточно далеко расположена железная дорога). На некотором отдалении от ЦОД располагается 350-метровая мачта Белорусского радиотелевизионного передающего центра, но даже при падении антенны (маловероятный сценарий) модульный дата-центр не пострадает.
Модули для ЦОД создавались на заводах Emerson Electric Company в Хорватии, а затем транспортировались на трейлерах и устанавливались на подготовленную площадку. Как пояснил Игорь Авдеев, максимально ЦОД рассчитан на подведенную мощность 10 МВт. Расчетный коэффициент энергоэффективности PUE при полной нагрузке составляет 1,4. На подступах к объекту было проведено порядка 7 км кабелей, осуществлено 13 проколов для прокладки электротрассы (через железную дорогу и автомобильные трассы). При этом сроки строительства дата-центра побили все рекорды: 15 мая 2016 г. beCloud получила разрешение на подготовительные работы, 15 июня – разрешение на само строительство, а уже в декабре ЦОД был построен!
В тендере предложили поучаствовать 45 компаниям со всего мира – 25 из них прислали свои заявки. Когда начали формироваться конкретные предложения, в тендере осталось порядка 15 компаний, а на завершающем этапе за проект боролись пять участников – в сложной борьбе победила Softline.
Ключевыми критериями выбора российской компании стали: 1) сроки строительства, 2) цена проекта и 3) «единство видения» и эффективность дальнейшего использования.
На специальных площадках размещены два дизель-генератора мощностью по 2,5 МВт – учитывая перспективу дальнейшего развития ЦОД, уже залито еще три площадки, на которых будут располагаться аналогичные дизель-генераторы на базе двигателей американской компании Caterpillar, Inc. Как пояснил Игорь Авдеев, дизельные двигатели были доставлены из Америки в Петербург, а уже там осуществлялся монтаж в контейнеры по требованиям beCloud – в соответствии с белорусскими стандартами по пожарной безопасности и пр.
Вся территория занимает порядка 12 га – большое поле рядом с основным зданием рассчитано на установку еще трех модулей ЦОД. С учетом применения такой модульной конструкции beCloud в состоянии буквально за шесть месяцев удвоить или даже утроить мощности дата-центра – на заводах Emerson модуль создается за 3–4 месяца. В том случае, если и таких объемов окажется недостаточно, проект предусматривает зеркалирование имеющейся инфраструктуры.
По высшим международным стандартам
Познавательную экскурсию по внутренним помещениям ЦОД провел Андрей Новиков, начальник управления РЦОД beCloud. Он рассказал о трех важнейших составляющих любого современного центра обработки данных – безопасности, электроснабжении и охлаждении оборудования.
Андрей Новиков отдельно заострил внимание аудитории на сертификатах, которыми обладает РЦОД beCloud. Речь идет, во-первых, о сертификатах соответствия ЦОД международным стандартам Tier III Design и Tier III Facility (Uptime Institute, США). Сертификат Tier III Design подразумевает соответствие требованиям самого проекта – проще говоря, это сертификация «большого количества бумажных папок», поэтому сегодня есть множество дата-центров, которые могут похвастать этим сертификатом. Что же касается самого объекта – построен ли он в соответствии с проектной документацией, то это уже требует дополнительной проверки – ее заверяет сертификат Tier III Facility. В Колодищи приезжали представители из Великобритании и Москвы, которые в течение 10 дней проверяли центр на устойчивость в различных режимах работы, моделировали все возможные, а порой и невозможные аварийные ситуации. Как признался Андрей Новиков, не все тесты были пройдены ЦОД с первого раза, однако все было устранено еще в ходе самих испытаний. Инспекторы отметили, что весьма не многие центры в мире проходят сертификацию Tier III Facility так быстро (с первого раза) и так успешно, они также отдельно отметили высокий уровень обслуживающего персонала (в дата-центре сегодня работает 31 человек).
Кроме того, РЦОД сертифицирован и по стандарту Payment Card Industry Data Security Standard (PCIDSS), что позволяет ему размещать оборудование банков.
РЦОД связан с внешним миром двумя волоконно-оптическими линиями связи по 100 Гбит/с, которые проложены по разным маршрутам (каждый по 144 волокна). Причем непосредственно до самих узлов доходит 48 волокон – остальные волокна у beCloud арендует компания МТС.
На самом деле имеется еще и третья дополнительная 16-волоконная линия связи местного значения, которая проложена на ближайший узел связи. РЦОД в двух точках включается в Единую республиканскую сеть передачи данных (ЕРСПД), которая уже позволяет ему доставлять услуги в любое место Беларуси. Компания beCloud является оператором связи, поэтому она ни у кого не арендует каналы передачи данных.
В дата-центре функционируют 6 систем пожаротушения. Водная система (два подземных хранилища по 150 т воды с отдельными насосными станциями) была построена по требованию белорусского МЧС. Каждая ДГУ имеет свою систему пожаротушения, равно как и каждый узел ввода ВОЛС. Самая мощная система пожаротушения предназначена для борьбы с огнем в модуле.
В помещении мониторинга работает круглосуточная смена инженеров, которые имеют доступ ко всем характеристикам инфраструктуры ЦОД. На мониторах отображается информация о работающих системах: в качестве примера были продемонстрированы экраны, на которых были видны выключенные кондиционеры, – при существующей нагрузке все 8 кондиционеров не требуются. Нам также показали мониторинг в режиме реального времени системы микроклимата в машинном зале: она отображает температуру, влажность и давление в горячих и холодных коридорах в четырех уровнях – верхний, средний, нижний и под полом.
Само здание ЦОД экранировано, поэтому в нем работает только сотовый оператор МТС, который разместил внутри репитеры для передачи сигнала. Причем непосредственно в самом модуле никакая мобильная связь не работает.
Рассказывая о специфике модульного дата-центра и его основных отличиях от обычных классических ЦОД, Андрей Новиков заострил внимание на заводской сборке. Он, в частности, отметил, что монтаж в контейнере всего оборудования (коммуникации и пр.) на заводах Emerson в Хорватии обеспечивает такое качество модуля, которое невозможно было бы даже теоретически обеспечить в условиях местной сборки. К тому же это значительно ускоряет весь процесс постройки дата-центра.
Входы в машинный зал – святую святых дата-центра – оборудованы специальными тамбурами, которые предотвращают попадание пыли: в модуле создается небольшое избыточное давление, так что при открытии двери тамбура воздух вместе с возможными твердыми частицами выходит из двери. Тот воздух, который поступает в машинный зал, соответствующим образом подготавливается: зимой он немного подогревается, чтобы не возникало конденсата на трубах, летом дополнительно охлаждается. Кроме того, воздух еще и увлажняется парогенератором (порядка 3 кг водяного пара в час на модуль), чтобы не появлялась статика.
В машинном зале первого модуля расположены 156 серверных стоек – в 12 рядов, по 13 стоек в каждом ряду. Каждая такая стойка (42 юнита) рассчитана на размещение в ней оборудования мощностью 6,5 кВт. В каждом ряду имеется по две высоконагруженные стойки по 12 кВт каждая. Высота контейнера немного больше 4 м, под техническим полом находится еще 80 см пространства для коммуникаций (проложены шинопроводы от распределительных щитов, которые питают модуль). С запуском последующих модулей количество стоек в ЦОД возрастет до 624.
Интересно, что в момент прохождения экскурсии по машинному залу можно было увидеть, как сотрудники МТС завершали монтаж своего оборудования – сотовый оператор арендовал 3 ряда стоек. В настоящее время машинный зал заполнен оборудованием на 35%.
При испытаниях машинного зала, когда нужно было имитировать полную нагрузку (на 1 МВт), были использованы расставленные по шкафам 140 тепловых пушек.
Чиновники уходят в облака
После столь обстоятельного анализа технических характеристик дата-центра пришел черед рассказать о том, как будут использоваться все перечисленные мощности, – эту задачу взял на себя генеральный директор beCloud Сергей Поблагуев. Он объяснил, что стратегической целью проектов компании beCloud было создание национальной облачной платформы, которая позволит государству и бизнесу существенно снизить затраты на ИТ. Запуск современной облачной платформы на базе нового ЦОД предоставит возможность эффективно использовать инструменты в области управления IT-инфраструктурой.
Сергей Поблагуев отметил, что миграция государственных сервисов в республиканский ЦОД уже началась. Показательно, что одной из первых перенесена информационная система Министерства по налогам и сборам Беларуси, а также Министерства строительства и архитектуры. Как ожидается, в ближайшее время решения beCloud помогут реализовать социально значимые для страны проекты – создать системы мониторинга общественной безопасности, управления энергетикой, транспортом, здравоохранением, образованием и другие инициативы.
Компания beCloud может предоставлять следующие виды услуг.
- Программное обеспечение как услуга (Software as a Service – SaaS) – корпоративная почта в облаке (Microsoft Exchange SaaS), объединенные коммуникации в облаке (корпоративное хранилище документов и совместная работа OnlyOffice).
- Инфраструктура как услуга (Infrastructure as a Service – IaaS) – республиканский центр обработки данных, резервное копирование и восстановление (Server Backup and Workstation Backup), виртуальный хостинг (Shared Hosting).
- ЦОД как услуга (Data Center as a Service – DCaaS) – предоставление места в серверной стойке (по юнитам); предоставление серверной стойки 42U до 12 кВт (услуги аренды с ежемесячной оплатой).
Предметом особой гордости руководителя beCloud является наличие SLA у белорусской компании.
Рассказывая о первом клиенте – Министерстве по налогам и сборам Беларуси – Сергей Поблагуев назвал сотрудничество с министерством примером крупнейшего в стране государственно-частного партнерства.
Автоматизированная-информационная система «Учет счетов-фактур» спроектирована и создана партнером компании. Оператор республиканской платформы по модели SaaS предоставляет доступ МНС и ее клиентам к АИС. Размещена на ресурсах РЦОД в виде частного облако. Организованы технические мероприятия по обеспечению криптографической защиты информации, обрабатываемой в системе. В проекте использована оркестрация и виртуализация на VMware.
И сегодня уже вся Беларусь использует по электронным счетам-фактурам систему beCloud. Сейчас эту систему использует 121 тыс. пользователей Беларуси. За 6 месяцев через нее прошло более 71 млн счетов-фактур. Причем вся система занимает в ЦОД всего 4 стойки.
Компания beCloud предлагает государственным клиентам совсем другой уровень защиты, который невозможно обеспечить в публичном облаке. В облаке имеются три подсистемы, которые обрабатывают разные классы информации: в одной подсистеме обрабатывается информация класса ДСП; условно открытая информация (например, негрифованная переписка) – во второй подсистеме; а подсистема № 1 представляет собой классическое публичное облако. Для подсистемы ДСП предусмотрена защита от 72 видов угроз, для подсистемы условно открытой информации – 50. Среда виртуализации для гособлака реализована на базе решения от Huawei – Huawei FusionSphere.
В настоящее время компания beCloud плотно работает над средствами защиты информации, поскольку следующий этап запуска проекта государственного облака Беларуси должен быть согласован с регуляторами.
