Хуже хакеров. Как обновления и резервирование парализуют бизнес

12 ноября произошел глобальный сбой Microsoft 365. На следующий день Федеральное управление гражданской авиации США (FAA) почти на пять часов приостановило вылеты по всей стране. 16 ноября возникли проблемы с банковскими операциями JPMorgan Chase и информационными системами United Airlines. Еще через день отказала внутренняя коммуникационная сеть Агентства национальной безопасности США.
События заставили американские власти публично комментировать версию скоординированной кибератаки. 18 ноября госсекретарь США Марко Рубио заявил, что доказательств связи между инцидентами или причастности к ним злоумышленников нет.
Министр внутренней безопасности США Маркуэйн Маллин указал на проблемы взаимодействия новых технологий с устаревшими информационными системами. По его мнению, по мере модернизации инфраструктуры подобные инциденты могут повторяться.
Резервирование с эффектом домино
История глобального сбоя Microsoft 365 началась еще в июле, когда компания обновила Windows на серверах сетевых шлюзов. Почти четыре месяца программная ошибка оставалась незамеченной. А когда она проявилась, механизмы обеспечения отказоустойчивости лишь ускорили распространение аварии.
12 ноября система автоматически перенаправила трафик Microsoft Teams на шлюзы, обслуживающие также Exchange Online. Обычная операция, предусмотренная для обеспечения отказоустойчивости. При этом около 14% серверных мощностей шлюза уже было недоступно по другой причине. Запас производительности позволял компенсировать их отсутствие, но дополнительная нагрузка активировала скрытый программный дефект.
Когда первые серверы перестали отвечать, система перенаправила запросы на исправные машины. Те получили дополнительную нагрузку и тоже начали отказывать. Менее чем за два часа цепная реакция охватила глобальную инфраструктуру сетевых шлюзов Microsoft 365. В худший момент более 80% серверов этой подсистемы не отвечали.
Как следует из предварительного отчета Microsoft от 15 ноября, программная ошибка сильнее проявлялась на современном оборудовании с большим количеством процессорных ядер. Нагрузочные испытания проводились преимущественно на менее мощных машинах и не позволили обнаружить дефект.
Не помогло и автоматическое восстановление. После перезапуска серверы получали накопившиеся запросы и снова переставали отвечать. Штатные механизмы восстановления оказались не рассчитаны на столь масштабный отказ. Инженерам пришлось выводить из эксплуатации целые группы серверов, устанавливать исправление и постепенно возвращать их под нагрузку.
Почти сутки пользователи испытывали проблемы с корпоративной почтой. Задерживалась публикация финансовой отчетности компаний, нарушилась работа государственных служб, а отдельным финансовым организациям пришлось использовать факсы для подтверждения сделок. Предварительная оценка застрахованных убытков составила $300–500 млн.
Похожий по масштабу последствий инцидент произошел в американской авиации. При проведении работ на отдельных объектах телекоммуникационной инфраструктуры FAA возник аномальный поток сетевых запросов. Старое оборудование не справилось с нагрузкой. Нарушения затронули 17 из 22 центров управления воздушным движением. Среди возможных источников проблем оказался объект, на котором подрядчик устанавливал новый маршрутизатор.
Окончательное расследование еще продолжается. Но уже понятно, что модернизация небольшого участка инфраструктуры может иметь последствия для всей системы, даже если остальные компоненты никто не трогал.
Защита с разрушительным эффектом
17 ноября масштабный сбой произошел у российского хостинг-провайдера Timeweb. Как сообщал IT-World, компания обновляла сетевое программное обеспечение гипервизоров для повышения безопасности облачной инфраструктуры. После обновления служба динамической маршрутизации перезапустилась не полностью. Виртуальные серверы продолжали работать, но часть клиентов потеряла к ним доступ. Сбой затронул все локации Timeweb Cloud, кроме Новосибирска.
Чтобы избежать повторения инцидента, компания намерена увеличить интервалы между этапами обновления. Одно из главных преимуществ автоматизации заключается в возможности быстро вносить изменения на тысячах серверов. Но с той же скоростью можно распространить ошибку. Ради надежности эту скорость приходится сознательно ограничивать.
Ровно год назад, 18 ноября 2025 года, инженеры Cloudflare пытались справиться с масштабным сбоем собственной инфраструктуры. Первоначально они заподозрили DDoS-атаку. Однако, как показало расследование, причиной отказа оказалась собственная система защиты от ботов. После изменения прав доступа к базе данных автоматически формируемый файл конфигурации превысил допустимый размер. Его распространение по сети вызвало массовые отказы.
В феврале 2026 года Cloudflare вновь пострадала от собственной автоматизации. Как сообщал IT-World, компания автоматизировала удаление неиспользуемых сетевых префиксов, но из-за программной ошибки система начала отзывать действующие маршруты клиентов. Устранение последствий заняло более шести часов. Компания, защищающая интернет от атак, сама нарушила доступность интернет-ресурсов.
Недавно IT-World рассказывал, как хакеры используют системы управления ИТ-инфраструктурой против бизнеса. Взломав одну такую систему, злоумышленники могут одновременно атаковать сотни компьютеров и серверов.
Но для массового отказа необязателен взлом. Достаточно ошибки в самой системе управления или распространяемом ею обновлении. И чем выше степень централизации и автоматизации управления инфраструктурой, тем масштабнее могут быть последствия такой ошибки.
Надежность, которую нельзя купить
Означает ли это, что ИТ-инфраструктура становится менее надежной? Исследование Annual Outage Analysis 2026 показывает обратное. Частота отказов в расчете на один объект снижается пятый год подряд. Однако темпы улучшения надежности замедляются, а растущая взаимозависимость информационных систем усложняет предотвращение аварий.
Бизнес привык бороться с рисками, создавая дополнительные резервы. Но можно продублировать серверы, системы хранения и даже целые дата-центры, а вместе с ними продублировать и причину будущего отказа. Если на резервном оборудовании установлено то же ПО, используются общие системы управления и механизмы обновления, физическое разделение инфраструктуры не гарантирует ее независимости.
Как отмечает IT-World, авария одного крупного провайдера способна создать дополнительную нагрузку на другого. После разрушительной кибератаки на Beget массовый приток клиентов заставил Timeweb срочно вводить дополнительные серверы. Получается, что даже резервирование на уровне разных поставщиков не всегда позволяет избежать последствий крупного инцидента.
В России дорожают мощности ЦОДов, а государство требует от операторов резервировать 10% ресурсов. Но резервирование оборудования не защищает от ошибок в ПО, которое управляет этим оборудованием.
Случаи Microsoft, Timeweb и Cloudflare показывают, что ограничивать необходимо не только вероятность сбоя, но и масштаб его распространения. Отсюда необходимость независимых контуров управления, поэтапного обновления ПО и возможности отключения автоматических механизмов восстановления.
При оценке надежности ИТ-инфраструктуры бизнесу стоит задавать поставщикам еще один вопрос. Сколько серверов, приложений и дата-центров может вывести из строя одна программная ошибка?
