В сегодняшней статье мы расскажем об уникальном кейсе — как впервые на рынке российского IaaS в условиях объединения трех облачных провайдеров происходила трансформация системы мониторинга. Отдельно поговорим о сложностях и точках роста в создании услуги мониторинга для заказчиков. Технические детали и нюансы — намеренно опустим, сосредоточим внимание на административных сложностях процесса.
Что побудило нас к построению новой системы мониторинга
Как вы, возможно, знаете, в конце 2018 года состоялась сделка, в рамках которой облачный бизнес «ИТ-ГРАД» перешел в облачное направление к ПАО МТС. Слияние стало первым шагом в реализации концепции «Объединенного облачного провайдера», который на текущий момент представлен тремя брендами:
Сегодня все три бренда работают совместно и взаимно дополняют друг друга. Однако в ходе слияния был запущен процесс по выделению облачной IT-инфраструктуры «ИТ-ГРАД» в отдельный сегмент. Это был сложный переходный момент — именно тогда началось отключение большого количества оборудования и ЦОДов, которые не вошли в контур сделки. К тому же поменялась маршрутизация внутренней и внешней сети. Сроки, как всегда, поджимали, триггеры в системе мониторинга не всегда удавалось актуализировать вовремя. Это привело к генерации множества ложных инцидентов от уже несуществующего оборудования.
В результате сотрудники первой линии поддержки столкнулись с таким огромным потоком ложных оповещений, что физически обработать все события корректно и своевременно было довольно сложно. Требовалось полностью перенастроить систему мониторинга, актуализировать ее под текущие задачи. В итоге было принято решение создать выделенное подразделение управления событиями, которое наладит работу системы мониторинга в «ИТ-ГРАД» и впоследствии станет единым центром по наблюдению за состоянием инфраструктуры объединенного облачного провайдера. Требовалось решить следующие важные задачи:
От определения требований до запуска услуги
Чтобы добиться поставленных целей, требовалось собрать и проанализировать все данные, разбив реализацию проекта на несколько шагов: определить требования к системе мониторинга, подготовить модели «здоровья» компонентов услуги, проанализировать требования к надежности и отказоустойчивости системы мониторинга, протестировать и последовательно внедрить систему, а после — представить услугу мониторинга для клиентов. Рисунок ниже более наглядно демонстрирует описанный процесс:
Внедрение новой системы не обошлось без сложностей, перечислим основные:
- Формирование нового отдела — оказалось, что непросто найти узкоспециализированных сотрудников, которые знают и имеют практический опыт работы с различными системами мониторинга.
- Сжатые сроки для решения задачи.
- Географически разрозненная IT-инфраструктура, которую требовалось привести к единому стандарту.
- Большое количество разрозненных систем мониторинга, которые было необходимо объединить в единую систему.
Учет и контроль
Любая IT-инфраструктура требует не только учета и контроля, но и ведения отчетности. Ни одно событие, даже самое незначительное, не должно оставаться без внимания. На текущий момент в «ИТ-ГРАД» удалось выстроить процесс, который включает в себя:
Созданная единая CMDB теперь позволяет отслеживать состояние и историю событий как по всей инфраструктуре, так и по конкретным компонентам. Дополнительно отслеживается состояние отдельных услуг, например, резервное копирование с точки зрения корректности его выполнения.
Если по какой-то причине задача отрабатывает с ошибкой, регистрируется инцидент, где указывается сервер резервного копирования, задача и виртуальная машина — наличие этой информации помогает все быстро починить. Благодаря мониторингу услуг, «ИТ-ГРАД» может предоставлять отчёты своим клиентам.
Полученные результаты
Новая система мониторинга уже активно функционирует, и мы готовы поделиться с вами результатами её работы.
Полностью восстановлен мониторинг.
На текущий момент нам удалось восстановить мониторинг инфраструктуры «ИТ-ГРАД» и избавиться от генерации ложных инцидентов. Услуга для клиентов проходит тестирование и скоро станет доступна. В дальнейшем мы планируем завершить объединение инфраструктур, подключив 1cloud и #CloudMTS к единой системе мониторинга «ИТ-ГРАД».
Серьезные изменения в работе техподдержки.
Ранее при срабатывании триггера на alert генерировался инцидент на 1-линию поддержки. Дежурный сотрудник обрабатывал его и оповещал заказчика либо звонком, либо по электронной почте. Сейчас всё работает автономно — при срабатывании триггера в течение 2-х минут, если это необходимо, происходит автоматическое оповещение клиента.
Контроль за «состоянием здоровья».
В рамках процесса мониторинга и контроля услуг мы в режиме реального времени следим за «состоянием здоровья» рабочей IT-среды, автоматизировано оповещая как внешних, так и внутренних пользователей. Мониторинг состояния IT-инфраструктуры и услуг, а также собираемые данные позволяют предпринимать проактивные действия до того, как что-то выйдет из строя. Как видите, процесс построения системы мониторинга полон подводных камней. Но мы уверены, что в результате совместной работы нашей команды инженеров и аналитиков получился отличный продукт, который решает сразу две бизнес-задачи: обеспечивает качественным мониторингом «ИТ-ГРАД» и позволяет реализовать мониторинг как услугу для клиентов.
