Разбор случившейся аварии

27 июля 2024 года большое количество абонентов интернет-провайдера “Таймера” оказались без доступа в интернет и телевидения, а контакт-центр не отвечал на звонки. Мы написали этот текст, чтобы объяснить причины произошедшего и рассказать, что мы будем делать, чтобы избежать повторения такой ситуации.

Наш основной дата-центр (место, где работают мощные серверные кластеры, обеспечивающие работу всех внутренних служб, где размещены сервера клиентов, партнёров и так далее - десятки стоек, в которых 24/7/365 должны работать несколько сотен юнитов / компьютерных блоков) расположен в Ростове-на-Дону.

Его энергопитание, естественно, продублировано - несколько разных независимых линий электропередач идут к разным подстанциям общей энергосети. Если же по каким-то причинам всё внешнее питание пропадёт (забегая вперёд - именно так и произошло в субботу), то включается собственный резервный дизель-генератор, который обеспечит работу дата-центра до момента восстановления штатных условий.

Важный момент - топология энергосети в этом районе города такова, что все линии, проходя разными путями, все равно сходятся в одну ключевую точку - трансформаторную подстанцию 6 kV.

Других способов альтернативно запитать дата-центр в обход этой подстанции - нет, разве что кабель из другого района тянуть, что нереально как экономически, так и организационно.

27.07.24 в 15:43 по московскому времени дежурный инженер в центре мониторинга получил сообщение, что внешнего питания нет - ни на основной линии, ни на резервных. За время работы “Таймера” такой ситуации, кроме как на тестах, не было ни разу - событие крайне редкое. Это означало, что проблема либо во всём городе, либо на той самой узловой подстанции - и да, постоянное высокое потребление электричества из-за жары в городе привело к тому, что подстанция не выдержала аномальных нагрузок - и легла.

Отключились все вводы - основной, резервный и второй резервный. В таких случаях включение генератора и выход в рабочий режим, с переключением нагрузки, происходят за 50 с небольшим секунд в автоматическом режиме. В течение этой минуты всё оборудование работает от ИБП - стойки мощных аккумуляторных батарей.

Переключение на генератор перешло в штатном режиме. Аварийная бригада поднятых по тревоге сетевых инженеров мониторила происходящее и, в принципе, всё укладывалось в ожидаемые параметры.

А вот дальше произошло то, что и привело к лихорадке субботнего вечера.

По внутренним регламентам компании работа дизель-генераторной установки (кстати говоря, не одинокий дизелёк, а полноценная мобильная платформа на базе военного тягача - всё-таки мощность для дата-центра требуется немаленькая) - так вот, по внутренним регламентам работоспособность ДГУ проверяется еженедельно, а несколько раз в году проходит “тяжёлый” тест.

Это - запуск установки и подача электричества от неё в дата-центр в течение, скажем, суток, или хотя бы рабочего дня - чтобы быть уверенным, что система продержится в автономном режиме достаточное время для восстановления внешнего питания.

И эти учения всегда проходили штатно. Но по понятным причинам мы не проверяли эту систему в сорокаградусную жару - таких условий раньше просто не было - и запуски отрабатывались в минус 20, в минус 10, в ноль, ну в плюс 25-30, но не в плюс 37.

Когда внешнее питание пропало, ДГУ взяла на себя основной удар и работала штатно где-то до шести вечера, обеспечивая работу и охлаждение серверных стоек. После чего от её электроники пошли сообщения о собственном нагреве комплекса и ожидающемся отключении - а также о росте температуры внутри дата-центра.

В 17:45 питание от внешних вводов было восстановлено (ура!), нагрузка в автоматическом режиме была переключена на основные источники питания.

В 17:50 произошло повторное отключение всех вводов (ох!!!) … и вот тут ДГУ, уже отработавшая под большой нагрузкой, повторно не запустилась. Дата-центр начинает работает от батарей (ИБП) и без охлаждения, что вызывает быстрый нагрев оборудования, с учетом высокой температуры на улице.

Инженеры оперативно реагировали на происходящее, пытаясь минимизировать нагрузку - отключали низкоприоритетные системы, например, не требующие реалтайма клиентские хостинги, собственные медиасерверы, дублирующие магистральные системы… даже свой сайт отключили - все усилия были брошены на сохранение работоспособности интернета для абонентов.

Были выставлены мощные вентиляторы для аварийной перекачки воздуха с улицы для охлаждения. Но в связи с высокой температурой на улице должного эффекта это не давало. Одновременно с этим пытались запустить двигатель генератора - увы, безрезультатно.

Чуда не произошло, ближе к семи вечера температура достигла критической, питание дата-центра оказалось отключенным, и большое количество абонентов от Ростова до Ставрополя оказались в оффлайне. Не все - но очень многие. Что ещё хуже - в оффлайне оказались внутренние сервисы компании, которые наравне с вами обслуживались серверами дата-центра - в частности, телефонная серия 318-00-00. Вот почему звонящие не могли услышать нужную информацию.

Параллельно со всем этим, мы, конечно, взаимодействовали с энергетиками - авария на подстанции такого уровня это очень серьезная поломка и её восстановление имеет очень высокий приоритет. Была надежда, что ремонт будет быстрым, но, к сожалению, подача внешнего электропитания началась только в 19:00 и то частично.

К этому моменту количество сообщений в соцсетях уже превысило несколько сотен, еле работающая телефония фиксировала массу попыток абонентов соединиться - в общем, вал недовольства, конечно, совершенно оправданного.

Основная масса абонентов получили доступ в интернет уже к 19:30, а к 21:00 ситуация полностью восстановилась, все службы заработали в обычном режиме, но общее впечатление у вас от нашей работы наверняка сильно ухудшилось.

Мы это понимаем и приносим свои извинения. Поверьте, мы не сидели сложа руки, а работали, пытаясь сохранить активность сетевого оборудования и борясь за каждую минуту вашего онлайна.

Вы спросите - вот вы так красиво всё рассказали, а почему было просто не сделать резервный дата-центр в другом месте и не геройствовать? Да, вы правы, и у нас были такие планы - второй крупный ДЦ “Таймера” должен был быть запущен ещё в прошлом году, но в связи с санкционными ограничениями и ростом инфляции эти планы были перенесены “на попозже”. Сейчас мы перезапускаем этот процесс, пересматриваем регламенты аварийных ситуаций, проводим разбор полётов с выводами - в общем, делаем всё, чтобы наши абоненты всегда имели доступ к быстрому и надёжному интернету.

С уважением, ваш “Таймер”.