Эксперты «ИТ-ГРАД» для HWP: Как работают системы бесперебойного энергоснабжения в ЦОДах

Тенденции
06.09.2019
118
10 min

Эксперты «ИТ-ГРАД» для HWP: Как работают системы бесперебойного энергоснабжения в ЦОДах

#цод

[caption id="attachment_5983" align="aligncenter" width="2250"]

Как работают системы бесперебойного энергоснабжения в ЦОДах

Brett Sayles, Pexels[/caption] Вопрос обеспечения бесперебойной подачи питания в ЦОД стоит не менее остро, чем вопросы пожаротушения или физической безопасности оборудования. В этой статье мы хотим рассказать нашим читателям, как в ЦОД обеспечивается бесперебойная работа оборудования с точки зрения резервирования источников питания. В качестве практического кейса в завершение статьи мы рассмотрим недавний инцидент казахстанских партнеров «ИТ-ГРАД» — ЦОДа Ahost — во время массового отключения электричества в Алматы.


Стандартизация ЦОД

На территории СНГ и Российской Федерации в частности пока что не существует единого стандарта, который позволял бы объективно оценить способность дата-центра обеспечивать определенные уровни сервиса. Большинство российских дата-центров ориентируются на американский стандарт TIA-942, содержащий основную массу рекомендаций по организации ЦОДов. Существующие стандарты TIA (к слову, не всегда подходящие под российские реалии) дополняются более современным BICSI 002 2010. Дата-центры, к которым применяются эти стандарты, имеют дополнительную классификацию по совокупности параметров, таких как их размер, уровень надежности (Tier I-Tier IV) и предназначение. В части стандартизации ЦОД по энергоснабжению на территории РФ также нет единого ГОСТа, поэтому здесь целесообразно применять мировой опыт. Как уже было сказано выше, выделяют четыре уровня надежности ЦОДов. На первом уровне допускается до 28,8 часов суммарного простоя в год, на четвертом, самом высоком, где обеспечивается полное резервирование всех систем энергоснабжения, — уже не более 26 минут. Основные требования, предъявляемые к энергоснабжению, — это надежность, качество и непрерывность. В частности, дата-центр должен быть оснащен как минимум двумя полностью изолированными электросистемами. Основные положения TIA-942 в части энергоснабжения:


Если суммировать всё сказанное выше, выходит, что результатом, которого необходимо достичь при реализации системы гарантированного электропитания, является обеспечение возможности функционирования ответственного оборудования в случае отказа основного ввода электропитания в течение времени, достаточного для переключения на резервные источники.

Как обеспечивается непрерывность энергоснабжения ЦОД

Теперь, когда ясны требования, предъявляемые к организации энергоснабжения, стоит перейти к непосредственному рассмотрению систем, обеспечивающих непрерывную подачу питания в ЦОД.

Источники бесперебойного питания

Начнем разговор с системы «первого фронта», которая активируется сразу же при потере основного источника питания, а именно с ИБП. Говорить о них в качестве полноценной замены основному питанию было бы неправильно: главная задача ИБП состоит в экстренной «подпитке» ЦОДа в течение короткого периода (в среднем — до 20 минут). До истечения этого времени должны подключиться более «долгоиграющие» источники или восстановлено основное питание. Помимо этого, в компетенции ИБП находится защита от помех и всплесков в электросети и поддержание основных параметров питания в рамках нормы. [caption id="attachment_5979" align="aligncenter" width="1056"]

подключение PDU с двумя источниками питания

подключение PDU с двумя источниками питания[/caption] Подробный разбор каждого варианта организации СГЭ занял бы всё пространство этой статьи и был бы интересен лишь узкому кругу читателей, поэтому мы сознательно сократим объем «номенклатурной» информации. Перед вами лишь краткий список требований, предъявляемых к ИБП в дата-центрах:


По принципу работы ИБП можно разделить на два типа - статические и динамические.

Статические ИБП

В силовом модуле статического ИБП отсутствуют движущиеся детали, если не считать вспомогательных, например, вентиляторов. Как правило, они работают «в дуэте» с ДГУ, которые обеспечивают резервирование подачи электроэнергии в случае аварии. Статические ИБП состоят из самого источника и батареи, работа которой базируется на взаимодействии химических элементов. Именно принципом работы обусловлен ограниченный срок службы батареи статического ИБП. Замена АКБ, от которой не спасет даже своевременное проведение регламентных работ, оборачивается для владельцев ЦОДов внушительными инвестициями — стоимость батареи составляет почти 50% от стоимости статического ИБП. Описанная выше «связка» является полноправным отраслевым стандартом для крупных ЦОДов. В частности, подобная система организована на нашей партнерской площадке в московском ЦОДе DataSpace. Остановимся на нем немного подробнее и изучим организацию СГЭ на живом примере.


Отдельно стоит сказать пару слов об использовании литий-ионных аккумуляторов в источниках бесперебойного питания. Важно понимать, что это решение сопряжено с парой нюансов, и избежать стереотипа «Li-Ion равно пожар». Если говорить о стоимости Li-Ion аккумуляторов, начальные расходы на них могут оказаться в 1,5 раза выше по сравнению с «традиционными» вариантами, но конечная стоимость владения окажется во столько же раз ниже. Пожарная безопасность литий-ионных аккумуляторов также вызывает вопросы. В частности, для них все еще актуальны следующие риски:


Тем не менее, эти риски успешно «закрываются» путем организации многоуровневой защиты от внештатных ситуаций.

Динамические ИБП

На рынке существует еще одно, пока что достаточно экзотическое для России решение, снимающее с владельцев дата-центров вопросы замены батарей в статических ИБП и связанных с этой необходимостью инвестиций, — динамические (дизель-роторные) ИБП. Современная архитектура динамических ИБП предполагает три основных элемента:


Как вы могли бы заметить, аккумуляторные батареи отсутствуют как класс. В нормальном режиме работы электрическая машина работает в качестве электродвигателя, поддерживая вращение маховика и накапливая энергию на случай перебоев в питании. Когда внешнее энергоснабжение пропадает, маховик вращается и передает накопленную энергию электрической машине, а система управления подает сигнал на запуск дизельного двигателя, который начинает работать уже через 50 мс, а через несколько секунд выходит на штатный режим. Стоит отметить, что принцип работы ДИБП относительно не нов и основывается на конструкции супермаховика, который еще в 1964 году изобрел советский инженер Н.В. Гулиа. Он представляет из себя барабан на оси, помещенный в вакуумный кожух. Вспомните обыкновенный гончарный круг: с помощью ручного усилия или ножной педали гончар сообщает кругу вращение, которое затем в течение достаточного времени позволяет работать с глиной, не отвлекаясь на «подкачку». Фактически круг аккумулирует энергию внешнего источника и затем отдает её по мере надобности. Вакуумный кожух в современных маховиках служит для снижения затрат энергии на трение. Принцип работы супермаховика довольно прост и эксплуатируется людьми достаточно давно, однако решения для дата-центров вендоры предложили совсем недавно. Несмотря на то, что ДИБП все еще не получили широкого распространения в российских ЦОДах, они обладают уверенными преимуществами перед традиционными решениями:


Дизель-генераторные установки

После того, как отключился основной ввод электропитания и в дело вступили ИБП, наступает время готовить к запуску (и запускать) дизель-генераторные установки, которые смогут сколь угодно долго поддерживать ЦОД в автономном режиме и обеспечивать бесперебойную работу клиентского оборудования. [caption id="attachment_5980" align="aligncenter" width="1053"]

дизель-генераторная установка

дизель-генераторная установка[/caption]

Общие технические требования к дизельным генераторам для ЦОД:


В первую очередь внимание стоит уделять мощности и типу резервируемой нагрузки. ДГУ должны облегчить работу сервисного персонала и свести человеческий фактор к минимуму. Важны доступность технической документации, наличие разрешительных документов, возможность удаленного мониторинга, реализация синхронизированных резервируемых систем, большая мощность одного агрегата (от 500 до 2000 кВа).

Кейс Ahost: как выдержать 2 часа blackout без перебоев

Если вам приходилось вплотную сталкиваться с организацией СГЭ на территории ЦОДа, вы наверняка не раз ловили себя на мысли: неужели всё это на самом деле пригодится и оправдает инвестиции? Отвечаем: однозначно оправдает. Расхлебывать последствия аварии всегда сложнее и дороже, чем просто не допустить её. Никто не даст гарантии, что даже в городе-миллионере не произойдет глобальное отключение электричества. Примерно это и произошло 15 июля 2019 года во время блэкаута в Алматы: в городе перестали работать светофоры, наступили перебои с мобильной связью. Если бы дело происходило ночью, астронавты с МКС наблюдали бы на месте города с двумя миллионами жителей большое черное пятно. [caption id="attachment_5981" align="aligncenter" width="1057"]

коммутация вводов с разных подстанций

коммутация вводов с разных подстанций[/caption] В дата-центре Ahost, согласно всем стандартам, было организовано два ввода электропитания от разных подстанций. Отключение одного из вводов не является чрезвычайной ситуацией, в этом случае дата-центр продолжает работу от функционирующего. Отключение обеих подстанций – исключительная редкость. Если бы дело происходило в бизнес-центре или ТЦ, можно было бы какое-то время посидеть без света, а затем «перевести стрелки» на руководство города. Но в дата-центре такая ситуация невозможна. Отключение обоих вводов – это авария, последствия которой не должны отразиться на качестве предоставляемых услуг. Ahost спасли следующие меры:


Перебои с питанием от «города» продлились более 2-х часов. Все системы (от ИБП до запуска ДГУ) отработали штатно. В кратчайшие сроки, задолго до истечения хранившихся запасов была организована закупка топлива для ДГУ, питание серверной не прерывалось ни на секунду. Система бесперебойного энергоснабжения — одна из систем, проектировать которые необходимо еще до того, как будет выбрано подходящее “примененное” здание или заложен фундамент нового ЦОДа. Стихийный подход может губительно сказаться как на отказоустойчивости, так и на репутации дата-центра среди потенциальных клиентов. Множество негативных blackout-кейсов, которые можно встретить в сети и СМИ, — тому пример. Если вы только-только выбираете ЦОД, в котором будет размещено ваше оборудование, потратьте еще немного времени, чтобы убедиться в его надежности. Эти два-три дня, упущенные на старте, в будущем выиграют для вас годы спокойствия и уверенности. Источник:

HWP



Екатерина Юдина
Профильный эксперт