На этапе проектирования дата-центров и, в частности, структурированных кабельных систем (СКС) для ЦОД специалистам приходится решать несколько задач одновременно, рассматривая все инженерное обеспечение в комплексе. Основные задачи – увязка и определение расположения трасс относительно комплекса инженерных систем, учет геометрии помещения и удобства будущей эксплуатации создаваемой системы. Кроме того, принимаются во внимание электромагнитная совместимость кабелей, возможность разнесения по уровням как электрических кабельных трасс и трасс СКС, так и других инженерных систем, например трубопроводов системы кондиционирования. На протяжении всего цикла проектирования инженеры проводят промежуточные согласования, преследуя главную цель – найти оптимальное решение.
Нормативные документы
Требования к общей организации инфраструктуры ЦОД сформулированы в американском стандарте TIA-942. На сегодня имеются обновленная версия стандарта от 2014 г. и последняя от 12 июля 2017 г. В TIA-942 также определены уровни отказоустойчивости ЦОД для различных систем. Например, согласно новой версии стандарта исключается построение горизонтальной части кабельной системы на компонентах категории ниже шестой.
В число актуальных документов входят стандарт ISO/IEC 11801-5:2017 («Кабельные системы для высокопроизводительных сетей в центрах обработки данных»), BICSI 002-2014, российский ГОСТ Р 53246-2008 по проектированию СКС и устаревшие строительные нормы СН 512-78.
Несомненно рынок находится в ожидании российского консолидированного и современного стандарта для ЦОД. Тем не менее, руководствуясь перечисленными документами, можно избежать большинства ошибок при проектировании и разработать оптимальные решения с учетом доступности кабельных трасс, обеспечив дальнейшее масштабирование системы, удобство эксплуатации и проведение регламентных работ.
Качество, цена и сбалансированность
Немаловажным является экономический аспект. Принято считать, что вложения на начальном этапе в кабельную инфраструктуру, в частности в СКС, не слишком заметны на фоне общих капитальных вложений. При этом инженеры-проектировщики, имея непроработанное техническое задание, пытаются заложить количество портов с запасом на перспективу, что приводит к колоссальному избытку кабельных линий, перегруженности кабеленесущей системы, усложнению администрирования СКС.
Как показывает практика, сегодня заказчик ЦОД стремится найти золотую середину между качеством, ценой и сбалансированностью кабельной системы. Каким образом обеспечить необходимое количество портов, возможность наращивания, но при этом не перегрузить систему? Этот вопрос возникает в процессе проектирования коммерческого ЦОД.
Для горизонтальной СКС на основе медного кабеля существует несколько подходов к распределению и коммутации кабеля. Классический и самый популярный способ коммутации основан на использовании в распределительных и аппаратных зонах стандартных патч-панелей. Существенно дороже с точки зрения стоимости материалов подход с использованием претерминированных решений. Его преимущества заключаются в быстроте выполнения строительно-монтажных работ, отсутствии необходимости тестирования кабельных линий и модульности системы.
Специалисты департамента инженерных систем КОМПЛИТ в нескольких реализованных проектах в решении для горизонтальной СКС применили наборные панели с вставными модулями RJ-45 категории 6А и кабелем Сommscope соответствующего качества. Примечательно, что на этапе проектирования и определения требований к СКС для коммерческого ЦОД техническое задание не отражает реальной потребности в соединениях между шкафами, а принимается как средне минимальное. Наборные панели позволяют легко наращивать кабельные линии, точно учитывая потребности конкретной задачи, а также избежать проектирования избыточной системы.
Автор поддерживает тенденцию внедрения претерминированных решений для СКС, но зачастую эти решения для коммерческого или корпоративного дата-центра оказываются весьма дорогостоящими и избыточными, несмотря на удобство модульного подхода. Для ЦОД с высокой плотностью портов такие решения – единственно правильный вариант.
Инженеры КОМПЛИТ провели сравнительный анализ стоимости горизонтальной СКС на наборных патч-панелях и аналогичного решения, спроектированного на базе претерминированной СКС. Как показали результаты исследования, наборные патч-панели в 2,5–3 раза более выигрышный вариант.
По словам представителей службы эксплуатации ЦОД КОМПЛИТ, наборные панели отлично зарекомендовали себя. Экономия пространства в шкафу распределительной зоны, отсутствие кабельных трасс, перегруженных неиспользуемым кабелем, и возможность быстрого дооснащения – все это по достоинству оценили как монтажники, так и технический директор ЦОД.
Кроссовый шкаф на основе наборных патч-панелей, ЦОД КОМПЛИТ
В каждую серверную стойку на начальном этапе включали по шесть кабелей, оставляя в патч-панелях 18 свободных слотов под модули. В результате, как видно на фотографии, значительно уменьшилось кроссовое поле в распределительных шкафах. Остались свободные места и под модули, и под патч-панели, которые заполняются постепенно по мере необходимости.
Что касается волоконно-оптических кабельных линий и соединений, то здесь вне конкуренции претерминированные решения. В дополнение к перечисленным ранее достоинствам следует добавить крайне важные для ЦОД увеличенную плотность портов и возможность быстрого перехода на более высокие скорости 40G, 100G и т. д.
Один из недостатков такой системы – использование всех волокон в кабеле и соединении. В данном случае выход из строя одного волокна потребует замены всего сегмента – кассеты или участка претерминированного кабеля. Однако если вспомнить, что в такой системе не надо ничего тестировать и иметь в запасе некоторое количество компонентов, то вполне можно компенсировать второй (после стоимости) существенный минус.
Особое внимание в проектах уделяется проработке кабельных трасс. На выбор их расположения оказывает наличие свободного пространства над шкафами, соответствующего пространства под фальшполом и пересечений с другими инженерными системами дата-центра.
На наш взгляд, лучшая практика – установка нескольких рядов кабельных лотков над шкафами. Необходимо корректно разнести волоконно-оптические и медные кабели по разным лоткам, так как в реальных условиях в ЦОД прокладываются не только защищенные соответствующей оболочкой волоконно-оптические кабели, но и хрупкие патч-корды.
При наличии фальшпола кабели электроснабжения и трубопроводы следует прокладывать в его пространстве, при этом к узлам, требующим регламентного обслуживания, должен быть обеспечен простой доступ. В процессе эксплуатации инженерии количество итераций снятия/установки плит фальшпола не может быть бесконечным, есть определенный лимит. При частом вскрытии края плит ломаются, что потребует ремонта или полной их замены.
Несколько рекомендаций
Любой проект уникален. И чтобы главный принцип инженера-проектировщика – «сколько бы ты ни сделал сегодня, завтра переделаешь в пять раз больше» – не стал правилом, необходимо на начальной стадии следовать нескольким рекомендациям. Первая – определить потребности заказчика. Вторая – отразить их в детально проработанном техническом задании. Третья – отвести достаточно времени на этап проектирования и дизайн инфраструктуры. Своевременные согласования в совокупности с детальным набором исходных данных позволят комплексно решить большинство задач, что впоследствии обеспечит монтаж, запуск систем и эксплуатацию без проблем.
