Перейти к содержанию

Без рубрики

Сбой Microsoft вывел из строя 80% серверов — вот что произошло

Сбой Microsoft вывел из строя 80% серверов — вот что произошло
Microsoft outage saw 80% of servers fail – here's what happened | Photo shows an authentication failed message

На прошлой неделе произошёл поистине эпический сбой Microsoft 365: огромное число пользователей не могли отправлять и получать электронную почту. Теперь компания признала, что в худший момент более 80% её серверов перестали отвечать.

Microsoft объяснила, что пошло не так, заявив, что ошибка, приведшая к сбою, на самом деле была допущена ещё в июле и всё это время оставалась незамеченной…

Тогда компания заявила, что речь идёт о технической проблеме, а не о кибератаке, и что она прилагает все усилия для её устранения, признав, что это занимает больше времени, чем ожидалось. Microsoft также отрицала связь сбоя с тысячами увольнений, объявленных месяцем ранее.

Пользователи были вполне ожидаемо недовольны масштабом сбоя и временем, потребовавшимся на его устранение, зато авторы мемов от души повеселились.

Объяснение Microsoft — совпадение двух факторов

Глава платформы Чарльз Ламанна признал серьёзность проблемы.

Менее чем за два часа ранее неизвестный дефект проявился на всём нашем парке серверов и вывел их из строя. В худший момент более 80% серверов не отвечали.

По его словам, сбой стал результатом сочетания двух проблем. Компания поддерживает две независимые системы сетевых шлюзов, одна из которых отказала, и вся нагрузка легла на оставшийся шлюз. Само по себе это не стало бы проблемой: Microsoft утверждает, что мощности каждого из них достаточно для обработки всего трафика. Однако ошибка, допущенная ещё в июле, привела к каскадному отказу.

Скрытый дефект приводил к перегрузке серверов и потере ими отклика при определённых условиях нагрузки. Причиной стала конкуренция за блокировки внутри одного из внутренних процессов, из-за которой машина становилась недоступной. Этот дефект появился в результате исправления, подготовленного специально для серверов сетевых шлюзов Microsoft 365 […]

Развёртывание первоначального изменения поведения началось в июле этого года. Обновление прошло процедуру безопасного развёртывания и в течение нескольких недель распространилось по всему миру, и за это время никаких проблем замечено не было. Более трёх месяцев изменение работало по всему миру без каких-либо последствий. Наше стандартное нагрузочное тестирование не выявило скрытую проблему из-за иного характера трафика и состава SKU в наших тестовых лабораториях. Проблема конкуренции усугубляется на машинах с большим числом ядер и более новым оборудованием, тогда как наше нагрузочное тестирование в основном было сосредоточено на менее мощных SKU оборудования с меньшим числом ядер.

Иными словами, обновление не тестировали в тех условиях, в которых его отказ был наиболее вероятен.

Мнение 9to5Mac

Хотя компания утверждает, что инцидент не связан с увольнением сотрудников и их заменой системами ИИ, я отношусь к этому крайне скептически. Кажется немыслимым, чтобы компания масштаба Microsoft допустила, судя по всему, столь грубую ученическую ошибку такого масштаба, если бы над обновлением работало достаточно инженеров. Делитесь своим мнением в комментариях.