Круглый стол
ЦОД для оператора: в поисках оптимального кванта развития
В круглом столе принимают участие:
Илья АСТАХОВ, директор департамента развития сетей и платформ, компания «АКАДО Телеком»
Владимир ВАЛЬКОВИЧ, директор департамента эксплуатации и развития, компания OrangeBusinessServices в России и странах СНГ
Александр ВАХТИН, управляющий директор, компания «Телекомбиржа»
Владимир ДУРЫГИН, заместитель директора по ИТ, блок информационных технологий, компания МГТС
Михаил КАМЕНСКОВ, первый заместитель генерального директора, телекоммуникационная группа «Мотив»
Дмитрий МИЛОВ, директор департамента тестирования и развития инфраструктуры, компания МТС
Дмитрий ОНИЩЕНКО, директор департамента технического развития, компания «МТТ»
Алексей СОЛОВЬЕВ, системный архитектор подразделения IT Business, компания Schneider Electric
Александр ТРИКОЗ, директор Ярославского технического центра, компания «ВымпелКом»
Какова специфика требований к проектированию, строительству и эксплуатации ЦОД в телекоммуникационных компаниях? Чем это обусловлено: бизнес-моделью, функциональным назначением, различиями в эксплуатации телеком- и ИТ-оборудования?
Илья Астахов
Основными требованиями к любому ЦОД являются телекомсвязанность, обеспеченность определенным объемом электроэнергии и возможность теплоотведения. Если ЦОД строит оператор, все составляющие должны быть требуемой степени надежности, а иногда и выше. Что касается проектирования телеком- и ИТ-оборудования, то известны различные подходы вследствие разных требований. Например, для телеком-оборудования бывает достаточно мощности до 5–7 кВт на одну стойку, а для ИT-оборудования – от 10 кВт и выше. Также различаются требования к холодоснабжению и инфраструктуре.
Владимир Валькович
ЦОД для оператора желательно размещать ближе к точкам концентрации/обмена трафиком, в местах с хорошо развитой телеком-инфраструктурой. Современное телеком-оборудование в целом менее энергоемко в отличие от ИТ-оборудования. Стойки мощностью до 5кВт вполне удовлетворят потребности компании. Однако дальнейшее развитие телекоммуникаций, например сети SDN, возможно, ликвидирует эту разницу. Кроме того, обязательно наличие обслуживающего персонала соответствующего уровня квалификации в непосредственной близости к ЦОД.
Александр Вахтин
Корпоративный ЦОД подразумевает высокую стоимость владения и объемные единовременные вложения. Рынок поделен на два сегмента. В первом компании, располагающие средствами, зачастую вынуждены строить ЦОД, отвечающий повышенным требованиям к надежности, гарантированному резервированию электропитания, поскольку проектируется объект не только для собственных нужд, но и для хостинга, он обслуживает все критически важные приложения операторов, обеспечивает инфраструктуру для развития бизнеса. Во втором сегменте – клиенты коммерческих дата-центров. В этом случае первичной является инвестиционная привлекательность.
Владимир Дурыгин
При планировании ЦОД для оператора наряду со стандартными требованиями к объектам такого уровня сложности целесообразно предусмотреть: необходимую и достаточную избыточность площадей для размещения оборудования, которое будет поступать в ЦОД на протяжении двух-трех лет; продуманное взаимное расположение единиц/групп разнородного оборудования; резервирование всех (без исключения!) систем, устройств и инженерных элементов, отклонение от штатного режима эксплуатации которых может повлиять на непрерывность и качественные параметры сервисов и транзакций.
Михаил Каменсков
Если раньше ЦОД для телекоммуникационных и других компаний принципиально различались по объему энергопотребления, количеству вырабатываемого тепла и, как следствие, требовали разных подходов к проектированию и строительству тех же систем кондиционирования, то сегодня решения для телеком-отрасли в большинстве своем строятся на типовом ИТ-оборудовании. Современные ЦОД по инфраструктурным характеристикам практически идентичны. Специфика эксплуатации таких объектов заключается разве что в электропитании.
Дмитрий Милов
Важное отличие ЦОД для оператора состоит в том, что такой объект планируется и проектируется из расчета обслуживания абонентов при постоянно растущих объемах обрабатываемых данных. В первую очередь это обусловлено поступательным увеличением транзакционности бизнес-сервисов и объема потребления мобильного Интернета, включая VAS-услуги, оказываемые оператором. Крупный оператор обязан учитывать территориально распределенный характер ведения бизнеса.
Дмитрий ОНИЩЕНКО
Специфика создания и эксплуатации ЦОД в телекоме не очень сильно отличается от общих требований к подобным объектам. Конечно, существуют исключительные требования к качеству помещения, в котором ведется строительство и обеспечивается эксплуатация систем. Один из самых важных вопросов – подводка электропитания.
Алексей Соловьев
Телеком-компании все чаще создают дата-центры как для себя, так и для оказания коммерческих услуг. Крупные операторы строят и специализированные коммерческие ЦОД. Нередко в операторском дата-центре имеются площади для собственного оборудования и площади, сдаваемые в аренду. При создании подобных дата-центров приходится учитывать специфику разнородного оборудования и функциональные назначения площадок.
Александр ТРИКОЗ
Специфика обусловлена тем, что и телеком-, и ИТ-оборудование не подлежат строгой стандартизации по типам оборудования. Поэтому дата-центр должен быть способен принять самое разнородное оборудование, что зачастую усложняет процесс внедрения инновационных технологий.
В чем, на ваш взгляд, особенности жизненного цикла такого сложного комплекса, как современный ЦОД? С какими наиболее распространенными проблемами сталкиваются отечественные провайдеры?
Илья Астахов
На этапе создания ЦОД необходимо предусмотреть стадии его развития. При классической компоновке очень сложно и экономически невыгодно «наращивать» ЦОД маленькими частями. Например, если провайдер уже построил ЦОД определенной мощности, дальнейшее увеличение количества стоек с той же мощностью потребует больших вложений, чем если бы расширение было предусмотрено в проекте изначально. Еще одна проблема – перезакладка мощности, в результате чего новая мощность становится невостребованной. Таким образом, целесообразно и экономически выгодно все расходы закладывать в проект изначально, но с учетом требований бизнеса. Самая распространенная проблема при строительстве ЦОД – попытка сэкономить на качестве и резервировании.
Александр Вахтин
Лет десять назад в России отсутствовала культура создания дата-центров, поэтому большой процент корпоративных ЦОД, построенных в то время, заканчивают свой жизненный цикл. Попытки оптимизировать затраты на такие объекты зачастую оказываются менее эффективными, чем строительство новых или переход на аутсорсинг. Подобная дилемма заставляет компании искать баланс между капитальными и операционными затратами. Большинство компаний стремятся к снижению в среднесрочной перспективе капзатрат, что приводит их к аутсорсингу услуг ЦОД.
Владимир Дурыгин
У разных систем ЦОД различные жизненные циклы, поэтому уже на этапе проектирования должны быть предусмотрены возможности их модернизации и масштабирования в процессе эксплуатации. Жизненный цикл ЦОД определяется техническим ресурсом основных систем жизнеобеспечения. Поэтому инженерный комплекс должен быть рассчитан на более длительный период эксплуатации – в среднем 15–20 лет, в то время как жизненный цикл вычислительного и серверного оборудования не превышает семи лет. Нужно предусмотреть возможность увеличения мощности защищенного электроснабжения и серверного оборудования еще на этапе проектирования. Качественно спроектированные дата-центры морально не устаревают в течение десятилетий.
Михаил Каменсков
Прежде всего нужно обращать внимание на высокую стоимость строительства и дальнейшей эксплуатации дата-центра. Следует учитывать, что расходы на содержание и эксплуатацию ЦОД в разы превышают объем затрат на его создание. Проблемы могут возникнуть с выкупом земельного участка для строительства ЦОД – весьма рискованно строить дорогостоящий объект на арендованной земле. Не всегда есть возможность обеспечить гарантированное и резервное электропитание нужной мощности.
Дмитрий Милов
Наряду с надежным функционированием ЦОД для оператора важно обеспечить возможность масштабирования и проведения модернизации оборудования дата-центра без перерывов в работе его систем. С этой целью в новом ЦОД МТС применяются технологии с элементами резервирования электроснабжения TIER IV. Энергоэффективность обеспечивается, в частности, благодаря применению в централизованной многозонной системе кондиционирования технологии free cooling.
Дмитрий ОНИЩЕНКО
Постоянно возрастают требования заказчиков услуг и партнеров в телекоммуникационном бизнесе по предоставлению все более защищенного доступа к каналам управления оборудованием, по их резервированию, усложняются требования по обслуживанию стороннего оборудования в ЦОД, что зачастую становится проблемой при его развитии.
Алексей Соловьев
В жизненном цикле ЦОД можно выделить четыре основные стадии: идея, проектирование и разработка, внедрение, эксплуатация и модернизация (стадию утилизации оставим за скобками). Для каждой из них характерны свои подводные камни. Избежать их можно, если изначально правильно планировать этапы развития такого объекта. Сегодня редко кто строит ЦОД в один этап, потому что на создание большого дата-центра требуются значительные капитальные затраты, которые могут нескоро окупиться, если часть оборудования будет простаивать. Поиск оптимального «кванта» развития дата-центра зачастую увеличивает сроки проектирования. Однако чем точнее определен этот «квант», тем выше эффективность итогового решения. Если на этапе проектирования ИТ-системы ЦОД привязаны к определенным инженерным решениям, то впоследствии они могут накладывать ограничения на модернизацию ИТ.
При внедрении у заказчиков иногда возникают проблемы с согласованной работой оборудования, которое служба эксплуатации получает в результате тендера. Когда создается проект с минимальными техническими требованиями и проводится тендер с привлечением множества участников, заказчик получает гетерогенное оборудование с характеристиками, формально удовлетворяющими требования ТЗ. Но функционирует оно не так, как рассчитывал заказчик. Приходится прилагать дополнительные усилия, чтобы создать единую систему управления и организовать работу разных систем в связке друг с другом.
Что касается стадии эксплуатации, то, как показывает опыт, в дата-центрах, за редким исключением, плохо налажен контроль использования инженерных ресурсов. ИТ-руководитель понимает, что у него есть инженерные ресурсы, но не знает, сколько и какие именно.
Александр ТРИКОЗ
Особенностей несколько. Во-первых, телекоммуникационные сервисы предоставляются круглосуточно. Во-вторых, действует принцип географической привязки оборудования: оно должно быть размещено в том регионе, на территории которого оказываются услуги. ЦОД работает до тех пор, пока бизнес пользуется его ресурсами. Если возникает потребность в новой площадке, ее приходится разворачивать параллельно.
Как соблюсти баланс между требованиями масштабируемости и экономической целесообразности на этапах проектирования, строительства и развития ЦОД при условии, что речь идет о капитальном и капиталоемком объекте?
Илья Астахов
Прежде всего нужно проработать бизнес-модель с учетом будущей модернизации и предусмотреть объемы продаж, а также рассчитать последовательность увеличения мощности ЦОД.
Владимир Валькович
Масштабируемость общестроительных затрат в значительной мере зависит от конкретных условий и возможностей – строительство с нуля или перестройка существующего здания. Масштабирование инженерных систем вполне возможно. Поскольку плавное наращивание мощностей ЦОД технически сложно и зачастую экономически нецелесообразно, важным параметром является «квант приращения» емкости ЦОД – на какую величину (в стойках или по мощности потребления) рассчитывать будущее единовременное расширение дата-центра. От этого зависят и технические решения для построения систем жизнеобеспечения, и номенклатура оборудования.
Владимир Дурыгин
Перед проектированием здания ЦОД нужно оценить возможные риски, а также проанализировать, нужен ли этот объект и сможет ли компания в ближайшие годы выделить на его строительство и эксплуатацию около 20 млн долл. Типичная ошибка большинства российских компаний в том, что они не могут рассчитать полную стоимость создания и владения ЦОД и, как правило, закладывают в бюджет только расходы на строительство. На возведение дата-центра приходится около 20% общей стоимости проекта, а 80% – на эксплуатацию.
На стадии разработки проекта следует учитывать возможность увеличения общей производительности ЦОД, его пропускной способности и – самое главное – во сколько обойдется модернизация. Многие компании при строительстве стараются сэкономить на начальном этапе, ориентируясь на дешевые, но плохо масштабируемые решения. Еще одна типичная ошибка на первоначальном этапе – некорректное проектирование ЦОД. Успешное строительство дата-центра напрямую зависит от проработки технического задания.
Михаил Каменсков
Наша компания строит ЦОД для решения собственных задач, поэтому еще на этапе проектирования предусмотрели потенциал развития дата-центра исходя из краткосрочных и дальнесрочных планов и перспектив. Так, если в будущем потребуется установка дополнительного оборудования и увеличится количество потребляемой энергии, потребуется усилить систему охлаждения, что можно обеспечить далеко не в каждом помещении. Среди наиболее значимых факторов, которые нужно учитывать на этапе планирования, стоит отметить наличие свободных площадей, возможности размещения дизель-генераторной установки, расширения системы электропитания и создания резервных каналов связи.
Дмитрий Милов
На этапе проектирования ЦОД необходимо комплексно оценить потенциал использования его ресурсов. Применительно к услугам коммерческого ЦОД важным обстоятельством является расположение объекта.
Дмитрий ОНИЩЕНКО
Необходимо учитывать стоимость капитала, который требуется для построения дата-центра, возможность привлечения ресурсов для дальнейшей эксплуатации объекта и окупаемость вложений. Адекватность запросов технических служб бизнес-возможностям компании определяется руководством конкретной компании.
Алексей Соловьев
Как показывает практика, на этапе проектирования лучше избегать уникальных решений. Переделывать уникальные решения под меняющиеся требования – долго и сложно. Время введения в эксплуатацию и реакции на изменения нужно стремиться по возможности сокращать. Не менее важно предусмотреть контроль инженерных ресурсов на этапе проектирования. Либо не пожалеть времени и средств на обеспечение контроля инженерных ресурсов действующего ЦОД. Многие заказчики заранее планируют бюджеты на развитие дата-центра. Без четкого понимания того, в каком состоянии находится инженерная инфраструктура, какие ресурсы на исходе или близки к исчерпанию, бюджетирование выполняется вслепую.
Александр ТРИКОЗ
Для предоставления услуг операторы используют не один огромный дата-центр, а много относительно небольших площадок. Проблема масштабируемости в данном случае решается по мере необходимости путем установки внутри капитального строения дополнительного инженерного оборудования. Если речь идет о большой ИТ-площадке, то для наращивания ее мощности целесообразно использовать модульные решения.
Насколько эффективен, по вашему мнению, так называемый модульный подход? В чем его преимущества, а в чем сложность реализации?
Илья Астахов
На мой взгляд, модульный подход высокоэффективен. Он прост в реализации и не требует строительства или подготовки зданий: достаточно подвести электричество и оптические кабели. Из модулей стандартной компоновки собирается инфраструктура, что позволяет оперативно вводить ЦОД в эксплуатацию – в течение 6–8 месяцев. На создание классического ЦОД требуется, как известно, не менее года работ, а иногда и больше. Модульный подход означает стандартизацию инфраструктурных решений.
Владимир Дурыгин
Четкого разграничения между «модульными» и «мобильными» ЦОД нет даже среди специалистов. По нашему мнению, модульный ЦОД –это готовое комплексное решение, включающее в себя здание, всю инженерную «начинку» и дополнительные инженерные системы. Преимущество строительства такого ЦОД перед классическим заключается в быстром развертывании проекта, в котором мощности не превышают 1% объема обычного ЦОД. Однако такие ЦОД имеют свои недостатки: заказчикам придется отказаться от определенных преференций и внутренних стандартов; порой бывает сложно адаптировать модули к архитектурным особенностям площадки; отсутствие стандартов для модулей затруднит переход от одного производителя к альтернативному в случае расширения объекта.
Михаил Каменсков
К преимуществам можно отнести масштабируемость, экономию времени и трудовых ресурсов, а также мобильность – перенести на другое место «классический» ЦОД невозможно, модуль же не имеет территориальной привязки. К минусам – высокую стоимость и необходимость адаптации оборудования к техническим требованиям ЦОД.
Дмитрий ОНИЩЕНКО
Нет четкого определения термина «модульный подход». Современное оборудование обеспечивает возможность поэтапного ввода тех или иных составных частей дата-центра и наращивание его производительности. Однако к проектированию целесообразно приступать, зная примерные максимальные параметры создаваемого ЦОД.
Алексей Соловьев
Под инженерным модулем дата-центра понимается законченное решение с известными параметрами энергопотребления, надежности и стоимости. Это может быть часть машинного зала, машинный зал целиком (если ЦОД крупный) или набор стоек со своим распределением питания и охлаждением. Положительный эффект от применения модульных технологий можно обеспечить только при использовании их преимуществ, среди которых стоит выделить стандартизацию и масштабируемость. Если система выполнена в виде модуля, но такой модуль используется всего один, то преимуществ в применении подобной системы мы не увидим. Когда внедряется модульное решение, но по своей природе не поддерживающее масштабирование, то очень сложно будет поддерживать планы развития и последующая модернизация превратится в создание полностью новой системы. Поэтому важно правильно подобрать размер модуля.
Александр ТРИКОЗ
По моему мнению, это один из наиболее эффективных походов, который в нашей компании применяется, например, в рамках строительства нового ЦОД в Ярославле. Преимущество модульного подхода в том, что инженерная и строительная инфраструктура наращивается постепенно. Заказчику предоставляется возможность распределить инвестиции во времени, при этом прибыль на вложенные средства можно получить быстрее. Недостатки этого подхода заключаются в том, что приходится более тщательно планировать предстоящие этапы работ, рассчитывать возможности инфраструктуры.
Для построения эффективного во всех смыслах ЦОД вполне достаточно технически совершенных решений и продуктов. В чем тогда, на ваш взгляд, залог успешной реализации проекта?
Илья Астахов
Как уже говорилось, эффективность заключается в создании продуманной бизнес-модели, в которой соблюден баланс между потребностями клиентов и возможностями оператора.
Владимир Валькович
Залогом успешной реализации проекта является четкая постановка задачи – что требуется от ЦОД, кто потребитель его ресурсов. Под эти задачи необходимо подбирать технологии и решения. Трендов много: повышение отказоустойчивости, увеличение удельной мощности оборудования, повышение энергоэффективности и связанная с этим утилизация тепла. Однако гнаться за определенными параметрами без оценки реальных потребностей рынка – верный путь к снижению экономической эффективности проекта. Уровень TierIV– абсолют с точки зрения надежности. Но открытым остается вопрос: сколько клиентов готовы платить двойную, тройную цену за такую надежность?
Александр Вахтин
Рынок телеком-услуг – это настолько закрытое сообщество, что даже суперсовременное оборудование и высокотехнологичные решения не заменят собой отлаженных в отрасли связей с клиентами, поставщиками, подрядчиками и самое главное – с конкурентами. Грамотное позиционирование – залог высокой отдачи от бизнеса, даже при ограниченных инвестициях.
Михаил Каменсков
Залог успешного проекта – в грамотном планировании: перед проектированием ЦОД необходимо взвесить все «за» и «против», оценить целесообразность проекта и просчитать возможные риски.
Дмитрий Милов
Для строительства эффективного ЦОД необходим не только набор современных технических решений, в первую очередь, конечно, модульных. Решающее значение имеет эффективное взаимодействие используемых решений. Кроме того, следует учитывать комплекс других факторов, таких как местоположение ЦОД, интернет-канал, уровень квалификации персонала и т. д.
Дмитрий ОНИЩЕНКО
Залог эффективной реализации проекта – доступные энергетические мощности от разных подстанций и обеспечение присутствия других операторов связи в вашем ЦОД. Актуальны вопросы кросс-коннекта операторов, приходящих в ЦОД, и доступности коммуникаций между ними. Во многих дата-центрах высока стоимость прокладки соединительных линий между операторами.
Алексей Соловьев
Для любого продукта и решения существуют оптимальные условия работы, при которых достигается наибольшая эффективность. В качестве примера можно привести ИБП: если уровень его загрузки будет низким, энергоэффективность растворится. Для построения эффективного ЦОД необходимо обеспечивать соответствие задачи и принятого решения. Инфраструктура дата-центра должна соответствовать ИТ-оборудованию как по размерам, так и по технологиям, а уровень надежности систем – требованиям бизнеса, проектные решения должны поддерживать планы развития.
Александр ТРИКОЗ
В эффективном сотрудничестве с поставщиком и интегратором, которые заинтересованы в поддержании долгосрочных партнерских отношений с заказчиком. Ценность долгосрочных отношений в том, что стороны стремятся работать на результат.
