Известно, что в сегодняшний сложный экономический период многие компании начинают придерживать инвестиции, опасаясь неопределенности перспектив развития бизнеса. Но лидеры банковского сектора России и в эти тяжелые времена не собираются сбавлять темпы – они находят возможности для вложения средств в завтрашний день. Так, недавно банк ВТБ24 объявил о завершении строительства нового ЦОД, который по своим масштабам не только превосходит прежние проекты, но и заметно выделяется на общероссийском фоне. Уникальное решение по хранению и обработке данных для банка ВТБ24 было разработано и выполнено в короткие сроки компанией «Инфосистемы Джет». Connect решил побеседовать с представителями заказчика и исполнителя проекта, чтобы узнать подробности этого неординарного решения. В нашем разговоре приняли участие начальник отдела инженерного обеспечения и эксплуатации сервисного центра ВТБ24 Алексей Таракин и руководитель направления ЦОД Центра сетевых решений компании «Инфосистемы Джет» Всеволод Воробьев.
ЦОД ВТБ24, построенный компанией «Инфосистемы Джет»
Алексей Таракин
– Алексей, давайте начнем нашу сегодняшнюю беседу с небольшого исторического экскурса. Расскажите, пожалуйста, о том, как создавались прежние ЦОД (три из которых, как известно, построила компания «Инфосистемы Джет») банка ВТБ24 до запуска нового проекта.
– Первая очередь ЦОД № 2 была построена для банка ВТБ24 компанией «Инфосистемы Джет» в 2008 г., а моя трудовая деятельность в ВТБ24 началась в 2009 г. Таким образом, в 2009 г. мною были приняты в эксплуатацию два основных дата-центра банка – ЦОД № 1, построенный другой компанией, и ЦОД № 2, построенный компанией «Инфосистемы Джет».
Если сравнивать эти два ЦОД с технической стороны, то ЦОД № 2 был намного совершеннее, построен более правильно с точки зрения современных дата-центров.
Основной отличительной особенностью ЦОД № 2 является схема резервирования: по системе бесперебойного питания – 2+1, по системе холодоснабжения – 4+2 с возможностью выведения двух любых кондиционеров в резерв. Для сравнения: в ЦОД № 1 по системе холодоснабжения мы могли вывести в резерв только один кондиционер из четырех.
Кроме того, в ЦОД № 2 была увеличена высота фальшпола на 200 мм – до 600 мм, что позволило в итоге улучшить прохождение воздушных потоков от кондиционеров к стойкам. Также установлены регулируемые вентиляционные решетки – для регулирования воздушных потоков.
Для ЦОД № 2 была построена отдельная электрощитовая, питание от которой распределялось только для нужд дата-центра, в ЦОД № 1 использовалась электрощитовая, которая помимо ЦОД частично обеспечивала питанием офисное здание. Первое решение более правильное, поскольку при проведении регламентных работ или при ежеквартальных испытаниях систем позволяет не затрагивать потребителей здания.
В 2010 г. была реализована вторая очередь ЦОД № 2, и перед нами встала проблема нехватки стойкомест. Для строительства ЦОД № 3 была принято решение все начать с чистого листа. Мы составили ТЗ таким образом, чтобы компаниям-участникам предоставлялась максимально возможная свобода в выборе модели построения, были заданы только основные параметры – бюджет проекта, площадь дата-центра, электрическая мощность.
В конкурсе тогда приняли участие 11 компаний. Это состязание цодостроителей проходило в два этапа. В финал конкурса попали только шесть проектов. Лучшее решение по стоимости, срокам и техническим характеристикам предложила компания «Инфостистемы Джет». Третий ЦОД, как и второй, был реализован в два этапа в течение трех лет.
– Почему вы решили осуществить новый проект с компанией «Инфосистемы Джет»? Какими соображениями руководствовались специалисты ВТБ24 при выборе поставщика решения?
– К строительству ЦОД № 4 мы подошли иначе. Нас полностью устроило то решение, которое было воплощено в ходе строительства ЦОД № 3, поэтому новый проект объединил все лучшее из реализованного ранее, а также ряд передовых технологий, позволяющих повысить отказоустойчивость и снизить затраты на электроэнергию.
Основное отличие от предыдущих проектов – мы перешли от фреоновой системы кондиционирования на чиллеры. Это обеспечило возможность значительно экономить на электроэнергии и повысить надежность системы. Строительство велось в сжатые сроки: практически за шесть месяцев была полностью реализована первая очередь ЦОД № 4 – в декабре 2014 г. объект был построен, а в июле 2015 г. дата-центр запущен в эксплуатацию.
Кстати, данный проект позволил нам получить серьезный опыт: планирование осуществлялось в одних финансовых условиях, а этап проектных работ пришелся на период резких валютных скачков. Тем не менее это не сказалось ни на характеристиках ЦОД, ни на сроках работ – компания «Инфосистемы Джет» полностью взяла на себя все финансовые риски, связанные с этими событиями.
– Насколько быстро вы планируете загрузить работой новый ЦОД? Другими словами, ВТБ24 создавал дата-центр с расчетом на будущие потребности или банк уже сейчас испытывает острую потребность в новых мощностях?
– Новый ЦОД у нас рассчитан на пять лет. Уже в 2017 г. мы начнем строительство второй очереди ЦОД № 4. Эксперты компании «Инфосистемы Джет» разработали проект таким образом, что на 80% ЦОД реализован уже сейчас, для ввода второй очереди останется лишь закупить технологическое оборудование, поставить его и производить наращивание ИТ-системы. По нашим расчетам, мощности ЦОД № 4 (первой и второй очереди) должно хватить вплоть до 2019 г.
Сейчас ЦОД № 3 загружен на 100%, а ЦОД № 4, запущенный в июле 2015 г., пока на 10–20%. К 2017 г. его загрузка достигнет 100%, так что наши мощности точно рассчитаны под нагрузку и простаивать не будут. Во многом это происходит за счет действия классической схемы, когда бизнес-процессы являются драйвером развития, а ИТ выступает вспомогательной структурой, обеспечивающей сервисы. Именно бизнес-подразделение ставит перед ИТ конкретные задачи, связанные с долгосрочным развитием банка, а мы уже определяем конкретные схемы их выполнения.
– Есть ли у нового ЦОД такие возможности, которых у ВТБ24 раньше вообще не было, либо речь идет только о постепенном количественном наращивании ИТ-ресурсов банка?
– Как я уже упоминал ранее, мы полностью перешли на оптическую СКС (что является важным качественным изменением в ИТ-инфраструктуре) и на чиллерные машины охлаждения. Кроме того, в новом ЦОД были изменены и некоторые количественные показатели, которые обеспечивают и новое качество. Например, мы сделали фальшпол высотой 1 м, за счет чего улучшилось охлаждение системы. Внутри серверного зала построены две гермозоны – специальные сборные конструкции, внутри которых поддерживается нужный микроклимат. Гермозоны позволяют размещать высоконагруженные стойки до 16 кВт, работа которых не создает локального перегрева.
Всеволод Воробьев
– Что ж, тогда самое время перейти к компании «Инфосистемы Джет». Всеволод, для вашей компании дата-центр ВТБ24 – знаковый проект или это лишь одно из ряда аналогичных решений, с которыми вы работаете на российском рынке?
Безусловно, для нас это знаковый проект. Это самый крупный ЦОД, который мы сделали для ВТБ24, более того, самый инновационный ЦОД из всех, которые мы до сих пор построили. Здесь мы применили ряд новейших технологий, использовали новое оборудование, новые схемы и решения, которые в некоторых случаях были впервые реализованы на российском рынке. И хотя каждый такой элемент согласовывался с банком, инициатива по внедрению новых решений исходила от нас. Соответственно, нам пришлось взять на себя некоторые дополнительные риски, дополнительную ответственность, чтобы обеспечить основное требование банка: надежность ЦОД при условии внедрения новых, не освоенных еще на рынке решений.
– Расскажите, пожалуйста, об основных количественных и качественных показателях нового ЦОД: площади, мощности, количестве стоек и пр.
– Общая площадь нового дата-центра составляет около 400 м2 (без учета гидромодуля), включая дополнительные помещения, подведенная мощность – 1,6 МВт, из которых полезная мощность (приходится на ИТ) – примерно 800 кВт. При этом среднегодовой коэффициент энергоэффективности дата-центра составляет 1,41. В пределе ЦОД № 4 рассчитан на установку 92 серверных/сетевых шкафов (при необходимости может быть уплотнен до 100 стоек). Проектная емкость кросса – около 18 тыс. портов.
Отдельно стоит упомянуть уникальную схему резервирования: практически все основные инженерные системы ЦОД № 4 выполнены в соответствии с принципами уровня отказоустойчивости TIER III от Uptime Instituite. Это означает, что любой элемент системы в любой момент времени может быть выведен в резерв, заменен и т. д. без каких бы то ни было последствий для нормального функционирования ЦОД.
В фальшпол были вынесены практически все коммуникации, так что, во-первых, машинный зал ЦОД выглядит очень аккуратно, без «лишних» элементов, которые привычны для старых дата-центров, во-вторых, мы смогли оптимизировать полезное пространство дата-центра.
Бесперебойность электропитания поддерживается ИБП повышенной емкости и двумя дизель-генераторами. Возможность автономной работы – до 20 минут на ИБП и до 8 часов от дизель-генератора (без дозаправки).
– На каком оборудовании работает новый ЦОД и почему выбор был сделан в пользу именно этих производителей?
– Мы использовали самое современное на сегодняшний день оборудование из Германии, Франции, Италии и Швейцарии: холодильные машины и кондиционеры немецкой компании Stulz, ИБП итальянской компании Chloride, французские дизель-генераторы SDMO, уникальная СКС от известной швейцарской компании HUBER+SUHNER, электрощитовое оборудование Schneider Electric и др.
Почему были выбраны именно эти компании? Перед проектированием мы провели масштабный сравнительный анализ, оценив оборудование основных инженерных подсистем аналогичной мощности от различных производителей по целому ряду характеристик. Скажем, чиллерные машины или источники бесперебойного питания сравнивали по энергоэффективности – искали оборудование с самым высоким КПД при минимальных габаритах, наименьшей занимаемой площади. Ведь чем меньше площади в ЦОД занимает вспомогательное оборудование, тем больше остается под полезные мощности – серверные стойки.
Также мы учитывали фактор унификации и старались чрезмерно не раздувать численность новых вендоров, чтобы банку в дальнейшем было проще оптимизировать портфель сервисных контрактов.
К слову, некоторое оборудование является в своем роде уникальным. Например, устройство центральных кроссов: реализованное решение позволяет устанавливать высокоплотные оптические кроссовые стойки, важнейшее преимущество при этом состоит в простоте обслуживания и администрирования.
– Предъявлял ли ВТБ24 в техническом задании какие-либо особые требования?
– Для ВТБ24 было очень важно построить универсальный ЦОД, который был бы готов принять любое ИТ-оборудование (в том числе и то, которое сейчас еще не существует, но с большой долей вероятности появится на рынке через несколько лет). Мы должны были заложить в проект такие технические решения, которые позволяли бы в дальнейшем без особых усилий подключать любой новый сервер, стойку и т. д.
Поэтому в данном проекте не совсем обычная СКС. Банк принял решение организовать топологию с центральным кроссом без промежуточных узлов. Причем новая СКС охватывает еще три существующие площадки. Схема реализации центрального кросса – cross-connect. Эта схема хотя и обладает некоторой избыточностью, зато полностью универсальна. На станционную часть кросса расшиваются сразу все порты центральных коммутаторов LAN и SAN. Шкафы с коммутаторами запираются, и к ним имеет доступ только высококвалифицированный персонал. На линейную сторону кросса приходят линки от всех серверных шкафов. Интересным способом организации кросса стало использование MTP-панелей (кассет). Кроссировка между полями осуществляется тоже 12-волоконными МТР-шнурами. Таким образом, нам удалость уменьшить количество шкафов под кросс почти в пять раз – с 18 до четырех.
Еще один бесспорный плюс такого подхода (скорее, даже преимущество) – безболезненный переход на технологию 40G, так как вся линия между коммутатором и сервером может быть выполнена 12-волоконными МТР-кабелями. В случае применения оборудования 10/16G со стороны сервера и коммутатора используются гидры MTP-LC.
Что касается энергоэффективности оборудования, то это позволяет не только экономить на ежегодных платежах, но и забирать больше выделенной мощности на собственно серверы (на полезные нагрузки ЦОД).
В завершение могу сказать, что вторая очередь ЦОД № 4 уже запроектирована и оборудование для нее тоже уже подобрано – остается только привезти его и подключить.
