Пять минут до генератора: нюансы организации резервного питания ЦОД

Рост мощности ИТ-оборудования и плотности вычислений повышает требования к системам резервного электроснабжения ЦОДов. Ошибки в расчете или эксплуатации такой инфраструктуры напрямую влияют на непрерывность сервисов, поэтому надежность все чаще определяется не запасом отдельных компонентов, а работоспособностью всей схемы резервирования.

Несущая конструкция непрерывности

Непрерывное электроснабжение дата-центра всегда было определяющим фактором качества работы площадки: резервировать серверы и каналы связи бессмысленно, если при аварии инженерная инфраструктура не сможет обеспечить их электроэнергией. Поэтому система питания в ЦОДах всегда строится как последовательность уровней защиты: независимые внешние вводы, источники бесперебойного питания и собственная резервная генерация.

Сейчас требования в этой части инженерной инфраструктуры растут вместе с мощностью оборудования. По данным исследования CHINT и Аналитического центра ИКС, стойки мощностью свыше 10 кВт уже используют 56% опрошенных российских компаний. Распространение GPU-кластеров поднимает планку еще выше: ИИ-нагрузки могут требовать уже десятков киловатт на стойку. В результате 61% участников исследования планируют менять архитектуру распределения электроэнергии в ЦОДах и столько же — повышать уровень резервирования.

На этом фоне растет и цена ошибки в этой сфере. Недостаточно установить ИБП необходимой мощности и дизель-генераторы: нужно обеспечить переключение между источниками без остановки ИТ-нагрузок, сохранить работу критических инженерных систем и быть уверенным, что батареи действительно выдержат расчетное время.

Золотые минуты

Надежность резервного питания часто сводят к одному показателю — времени автономной работы ИБП. Кажется, что чем дольше батареи способны поддерживать оборудование после отключения внешнего питания, тем выше гарантии бесперебойной работы инфраструктуры. На практике все работает иначе.

ИБП в ЦОДе — не замена внешнему электроснабжению, а промежуточное звено между несколькими источниками энергии. При исчезновении питания они должны без разрыва принять нагрузку и удерживать ее, пока автоматика переключается на резервный ввод или запускаются дизель-генераторы. Обычно для этого проектируют запас автономности на 10–15 минут, хотя штатный переход занимает значительно меньше времени.

Запас нужен на случай, если переключение пройдет нештатно. Если напряжение не появляется, запускаются дизель-генераторы. Первый запуск может оказаться неудачным, поэтому батареи должны дать время на повторную попытку и выход генераторов на рабочий режим.

Увеличивать автономность без привязки к этому сценарию — дорого. Для дополнительных десятков минут потребуется кратно больший батарейный массив, хотя после успешного запуска генераторов он уже не участвует в покрытии нагрузки.

Поэтому емкость батарей имеет смысл рассчитывать не на максимально возможное время работы, а на достаточный запас для гарантированного перехода между источниками питания.

Считаем по худшему сценарию

Отсюда расчет резервного питания ведется не по средней загрузке оборудования, а по максимальной мощности, которую система может потребовать в пиковый момент при отказе одного из элементов системы. То есть резерв не может быть произвольной надбавкой к текущему потреблению. Исходной точкой должен быть худший предусмотренный проектом сценарий.

Сервер, потребляющий в обычном режиме условные 500 Вт, при запуске или высокой нагрузке может кратковременно потреблять значительно больше. Если ориентироваться только на штатные показатели, мощности ИБП может не хватить именно тогда, когда он потребуется.

В ЦОДах к этому добавляется принцип полного резервирования. Питание строится по двум независимым лучам, которые в нормальном режиме делят нагрузку между собой. Но каждый из них должен быть рассчитан на 100% мощности: при отказе одного второй принимает всю нагрузку. Дополнительно предусматривается запас — порядка 10% — на кратковременную перегрузку.

После отключения

При исправной системе резервирования отключение внешнего питания не допускает даже кратковременной остановки серверов. Нагрузку сразу принимают ИБП, а автоматика начинает последовательно подключать следующие уровни резерва.

Сначала система пытается перейти на второй внешний ввод. Если примерно за пять секунд питание не восстановилось, запускаются дизель-генераторы. Еще 15–30 секунд требуется им, чтобы выйти на рабочий режим и принять нагрузку. Таким образом, десятиминутный запас батарей многократно перекрывает штатное время переключения и оставляет резерв на повторный запуск ДГУ.

Сложнее ситуация с охлаждением. В ЦОДах уровня Tier III часть холодильных машин при потере внешнего питания может остановиться и затем перезапуститься уже от генераторов. На восстановление работы системы требуется около минуты, а еще некоторое время — на возвращение к заданным температурным параметрам. В Tier IV критические элементы охлаждения также резервируются через ИБП.

Поэтому аварийный сценарий нужно рассчитывать для ЦОДа целиком. Сохранить питание серверов недостаточно: одновременно должны восстановиться все инженерные системы, от которых зависит их непрерывная работа.

Автоматика не отменяет человека

Переход на резервное питание происходит автоматически, но на этом отработка аварийного сценария не заканчивается. После сложного переключения часть инженерного оборудования может не вернуться в штатный режим и потребовать вмешательства дежурной смены.

По нашей статистике, это касается примерно 1% оборудования дата-центров. Причиной может стать некорректный перезапуск, ошибка контроллера или другой локальный сбой. Для отдельного устройства такая вероятность невелика, но в крупном ЦОДе одновременно работают сотни элементов инженерной инфраструктуры.

Поэтому после перехода на генераторы персонал проверяет состояние систем и восстанавливает штатную конфигурацию там, где автоматика не справилась. При возвращении внешнего питания процедура повторяется в обратном направлении. Надежность ЦОДа зависит не только от автоматики, но и от того, насколько быстро эксплуатационная команда обнаружит и устранит отклонения.

Самое слабое звено ИБП — батареи

Силовая часть ИБП способна работать годами при регулярном обслуживании. Иначе обстоит дело с батареями: их характеристики постепенно ухудшаются, поэтому именно они требуют наиболее пристального контроля и периодической замены.

Для свинцово-кислотных батарей практический срок эксплуатации составляет примерно 5-9 лет. Литий-ионные решения служат дольше — ориентировочно 8-12 лет, — но сам возраст батареи еще не показывает, способна ли она обеспечить расчетную автономность. На ее ресурс влияют температура, количество и глубина циклов разряда, режим эксплуатации.

Поэтому ориентироваться только на паспортный срок службы недостаточно. Критический параметр — фактическая остаточная емкость батарейного массива и его способность отдать необходимую мощность в момент аварии. Узнать его текущее состояние можно только регулярными испытаниями под нагрузкой.

Почему самодиагностики недостаточно

Состояние батарей можно контролировать по напряжению, внутреннему сопротивлению и другим параметрам, и большинство современных ИБП умеет проводить автоматические тесты. Но такие проверки не всегда показывают, как батарейный массив поведет себя при реальной аварии.

Один из вариантов — сокращенный тест: батареи разряжают в течение нескольких минут, после чего по полученным данным рассчитывают их остаточную емкость. Такой подход позволяет регулярно контролировать состояние системы без длительного отключения батарейного массива, но результат остается расчетным.

Более надежную картину дает полный тест под нагрузкой. Батареи разряжают до установленного уровня и проверяют, способны ли они фактически обеспечить расчетное время автономной работы. Такая проверка позволяет обнаружить слабые элементы, которые могут не проявляться при обычном мониторинге.

Проблема может заключаться не только в самих батареях. Под нагрузкой выявляются дефекты контактных соединений: например, окислившийся контакт начинает нагреваться и создает дополнительное сопротивление. Поэтому полноценное испытание проверяет не отдельные аккумуляторы, а батарейную систему целиком.

Надежность по совокупности

Надежность системы резервного питания в конкретном ЦОДе нельзя оценить только по отдельным характеристикам ИБП, батарей или генераторов. Все эти элементы работают как единая цепочка, и отказоустойчивость определяется тем, пройдет ли она аварийный сценарий целиком.

Для этого недостаточно проверить лишь запуск ДГУ или состояние аккумуляторов. Нужно понимать, примет ли второй луч полную нагрузку, хватит ли батарей до выхода генераторов на рабочий режим, восстановится ли охлаждение и вернется ли инженерное оборудование в штатное состояние после переключения.

Главный критерий надежности — не наличие резерва само по себе, а способность ЦОДа сохранить работу, когда этот резерв действительно потребуется.

Автор: Николай Шеметов, технический директор DataSpace