Многих потенциальных заказчиков строительства ЦОДа волнует вопрос: что лучше использовать при создании системы электрораспределения -- кабели или шинопроводы?
Свои выводы о целесообразности использования шинопроводов в ЦОДе, сделанные в ходе выполнения целого ряда проектов, мы решили предварить мнениями специалистов из разных по масштабу и назначению дата-центров, работающих на нашем рынке.
Небольшой коммерческий ЦОД
Свои дата-центры эта компания строила исключительно на основе кабельной продукции, и только на одном объекте для распределения электромощностей по машинному залу мощностью порядка 300 кВт применила шинопроводы.
В целях экономии и минимизации количества препятствий под фальшполом (для лучшего и более контролируемого распределения холодного воздуха) использовались только прямые участки шинопроводов, которые подключались к распределительным щитам бесперебойного питания кабельными линиями. Еще на этапе строительства были закуплены и установлены коробки отбора мощности, в которых можно разместить до трех автоматических выключателей. К каждой коробке предполагалось подключить несколько серверных стоек, но при подключении выяснилось, что выбранные коробки не рассчитаны на «горячую», без обесточивания всей коробки, замену автоматов. Поэтому приходилось обесточивать один из лучей, питающих соседние стойки.
Кроме того, шинопроводы были выбраны не те, что предназначаются для ЦОДов, и даже не традиционные, с расположенными чаще, чем обычно, гнездами коробок отбора мощности. В результате установка дополнительных коробок оказалось невозможной.
Высота машинного зала была небольшой, поэтому установка шинопроводов сделала невозможным размещение сетчатого лотка СКС выше стоек, и его непредусмотрительно расположили на 42U-стойках, что в дальнейшем помешало установить в ряд стойки 45U и 48U.
По итогам строительства и в ходе последующей эксплуатации ЦОДа компания приняла решение не использовать в дальнейшем шинопроводы на объектах подобной мощности.
На ее взгляд, прокладка кабельных линий к распределительным щитам -- более универсальное и менее дорогое решение, позволяющее наращивать мощность по мере необходимости и растягивать капитальные затраты во времени. Отчасти это связано с особенностями заполнения небольших дата-центров, где наращивание мощности производится в основном единицами стоек разной мощности и зачастую разных габаритов.
Сеть крупных коммерческих ЦОДов
Данная сеть дата-центров применяет оба типа решений электрораспределения на нескольких объектах. Размеры объектов варьируются от 200 до 1000 стоек, и использование шинопроводов обусловлено скорее технической необходимостью, чем результатами сравнения разных подходов.
В первую очередь шинопроводы используются в своей традиционной роли – соединительных линий между трансформаторами, ГРЩ, ДИБП и ДГУ. Это связано с тем, что данные линии являются наиболее нагруженными и при реализации их с использованием кабелей и кабельных лотков они займут существенно больше места, нежели при реализации на технологии шинопроводов. Это особенно заметно, когда системы ДГУ или ДИБП располагаются в помещении, а не в контейнере, что требует создания по соседству не менее громоздких систем газовыхлопа, вентиляции и охлаждения дизельных агрегатов. И для корректного разведения этих систем в пространстве шинопровод -- гораздо более практичное решение, чем кабель.
У компании был опыт применения шинопроводов для распределения электроэнергии по машинным залам, и, по ее мнению, они создают больше неудобств, чем преимуществ. Лоточную систему СКС для ее комфортного обслуживания расположили непосредственно над стойками в два уровня, поскольку оперативные переключения СКС и прокладка новых линий в коммерческом ЦОДе происходят гораздо чаще, чем коммутация силовых линий. При этом линии шинопровода пришлось поднимать на высоту до 3,8 м от уровня фальшпола. Такую конструкцию оказалось крайне неудобно обслуживать, так как при любой манипуляции с электричеством требовалась высокая стремянка, а между тем действия могли не ограничиваться включением автомата.
Также возникли проблемы, связанные с реализацией холодных коридоров в рядах стоек. На этапе проектирования коридоры не были предусмотрены, но неравномерность тепловыделения стоек потребовала их организации. После создания холодных коридоров все шинопроводы оказались в горячей зоне, что не было учтено при подборе сечения в ходе проектирования. Поскольку температура была ненамного выше номинальной, это не повлияло существенно на характеристики шинопровода, но при росте температуры характеристики могли измениться. Безусловно, то же самое могло произойти и с кабельными линиями, но поверх стоек их прокладывают реже, чем шинопроводы.
Также компания отмечает, что в зависимости от производителя срок поставки элементов шинопровода может достигать трех месяцев, что в случае ремонта или модернизации может сильно затянуть процесс.
Неверно полагать, что с шинопроводом не может произойти авария. Известны случаи, когда при установке дополнительных блоков раздачи мощности были допущены нарушения, что привело к оплавлению одной из шин и короткому замыканию в цепи.
Кроме того, шинопроводы довольно плохо справляются со своими задачами, когда в коммерческом дата-центре заказчикам требуется установка стоек в выделенные зоны. Проектная геометрия расстановки серверных стоек начинает меняться, и заранее проложенные шинопроводы уже не находятся над рядами стоек, что затрудняет подключение последних к сети энергоснабжения.
В итоге компания допускает использование шинопроводов для соединения источников и потребителей с большими номиналами токов, но сеть распределения мощности в машинном зале предпочитает создавать на традиционных кабельных решениях.
Крупный корпоративный ЦОД
Мнение корпоративного заказчика об использовании шинопроводов кардинально отличается от позиции предыдущих собеседников. Финансовые возможности для реализации системы шинопроводов были гораздо шире, а разнообразие применяемого серверного оборудования и стоек меньше, что позволило в дальнейшем существенно упростить эксплуатацию данного решения.
Владелец ЦОДа также отмечал неудобство обслуживания коробок отбора на большой высоте, но имея возможность строительства дата-центра с нуля, он предусмотрел в проекте высокий фальшпол и расположил шинопроводы в подфальшпольном пространстве.
На объекте был запроектирован и установлен шинопровод, который был разработан специально для ЦОДов и учитывал стандартные расстояния между серверными стойками. Коробки отбора мощности были выбраны с кратным запасом, с возможностью установки системы мониторинга состояния автоматов и параметров электроснабжения.
Безусловно, такая система обошлась намного дороже, нежели аналогичная, реализованная на кабельных линиях, но при этом заказчик получил все плюсы технологии шинопроводов, избежав потенциальных неудобств.
Наше заключение
Суммируем все соображения, высказанные нашими собеседниками, дополнив их собственными выводами.
Безусловно, на крупных объектах, особенно на таких, где система ДГУ или ДИБП располагается в тесном помещении, выбор в пользу шинопровода при прокладке трасс для передачи больших мощностей очевиден. То же касается трасс от ТП до ГРЩ, и, возможно, до распределительных щитов в машинных залах.
Использование шинопровода в системе распределения машинных залов уже не кажется столь очевидным, если помещение имеет небольшую высоту.
В случае шинопроводов ошибки в проектировании исправить гораздо труднее и дороже, так как покупка каждого элемента может затормозить процесс строительства до двух-трех месяцев.
При проектировании шинопровода особенно внимательно нужно производить обмер помещений, включая учет изъянов в их геометрии. Отклонение стены на пару градусов может сделать невозможным прокладку шинопровода согласно проекту, в то время как лоток и кабель можно повернуть в любом нужном направлении.
Обращаясь к самому интересному, к финансам, хочется поделиться следующими цифрами. Мы подсчитали стоимость создания распределительной сети в машинном зале на 100 стоек суммарной мощностью 500 кВт и оказалось, что реализация такой системы на шинопроводах обойдется на 25--60% (в зависимости от производителя) дороже, чем на основе кабельной системы. Расчеты были проведены для системы 2N, учитывающей установку электрощитового оборудования без использования штатных средств мониторинга.
Андрей Павлов, генеральный директор, «ДатаДом»
Максим Матвиенко, главный инженер проекта, «ДатаДом»