Делимся информацией о сетевом инциденте: Что случилось и что мы будем с этим делать. — Официальная группа Beget

Делимся информацией о сетевом инциденте: Что случилось и что мы будем с этим делать. Что случилось?
В 21:47 по МСК на площадке М9 произошел крупный сбой в системе электропитания, который привел к отключению оборудования, включая наш главный узел фильтрации трафика. В результате около 75% трафика перестало проходить через этот узел. Через 10 минут трафик был перераспределен на резервные каналы, и связность в основном восстановилась. Однако затем начали поступать сообщения о проблемах с резолвом DNS. Мы провели диагностику и обнаружили, что на стыке между нашей и внешней сетью теряется DNS (UDP)-трафик, а также наблюдается деградация входящего трафика. Около 23:00 большая часть трафика вернулась в систему фильтрации, но проблемы с DNS-резолвом усилились. Совместно с партнерами мы выяснили, что узлы фильтрации отбросили исходящий UDP-трафик. Тогда мы временно переключили трафик обратно на резервные каналы. К 00:30 все проблемы были устранены, и мы полностью вернули трафик под защиту. Как это выглядело для пользователей?
21:49 – 22:05 — значительная деградация связи, затем восстановление для 75% пользователей
22:05 – 22:45 — проблемы с исходящими DNS-запросами (например, резолвинг доменов из виртуальных машин)
23:20 – 23:50 — двусторонние проблемы с DNS-резолвом для 60–70% пользователей
23:50 – 00:05 — полное восстановление работы DNS и сети Что мы сделаем, чтобы это не повторилось?
Организуем дополнительный канал до узла фильтрации в другой локации (вероятно, совместно с запуском новой площадки в Москве).
Пересмотрим регламент работы с подобными инцидентами, чтобы в будущем избежать автоматического возврата на проблемные маршруты. Мы приносим извинения за эту ситуацию и благодарим вас за терпение и поддержку. Мы понимаем, насколько важно для вас стабильное соединение, и работаем над тем, чтобы подобное больше не повторялось.

Источник: