Microsoft назвала причину майже добового збою Microsoft 365

Минулого тижня Microsoft 365 і Exchange майже на добу випали з роботи в багатьох компаніях і держустановах. Тепер корпорація оприлюднила попередній звіт, і з нього видно, що винен не зовнішній удар, а прихована вада в самому шлюзі.
Як шлюзи завмерли
Коли в США настав піковий час, шлюзові сервери почали зависати. Резервні системи перенаправляли запити, але на запасних шлюзах траплялося те саме блокування. Вийшов ефект снігової лавини: понад 80 відсотків уражених шлюзових серверів завмерли.
Механізми, що мали ізолювати проблему за регіонами, схоже, не спрацювали. Чому, у звіті не пояснено.
Три причини, що зійшлися
Microsoft називає три чинники. Один із них — потужності. Через наявну несправність парк шлюзових серверів працював на 14 відсотків нижче оптимального рівня. За звичайних умов такий запас прийняв би зростання попиту, але тут він накладався на інші проблеми.
Другий чинник — вада, схована в самому шлюзі. Зміна, яку розгорнули з липня, породила помилку: за певних умов процесор і пам'ять вичерпувалися, і система переставала відповідати. У тестах перед випуском помилку не знайшли. Microsoft пояснює це тим, що тестове обладнання було слабшим, ніж частина машин у продакшені. Вища кількість ядер процесора на новіших машинах, судячи з усього, посилила блокування.
Третій чинник — зсув трафіку. Для надійності в корпорації є дві незалежні шлюзові системи доступу до Microsoft 365: якщо одна не пускає користувачів, відкривають другу. Приблизно за 15 годин до збою трафік Teams перенесли з резервного шлюзу на основний, де працює доступ до Exchange Online. Це штатний запобіжний захід. Але основний шлюз отримав більше запитів, до того ж іншого складу, і на тлі нестачі потужностей із вадою запити накопичувалися. Сервери вичерпали ресурси й почали відмовляти в нових з'єднаннях.
Чому відновлення затяглося
Відкат до попереднього стану не допоміг: помилка сиділа в системі з липня, і повертатися було нікуди.
Перезапуск серверів теж нічого не дав. Вони піднімалися, а черги запитів уже чекали і знову виснажували ресурси. Виправлення потребувало цільового оновлення від інженерів.
Teams, OneDrive та інші застосунки Office вдалося спрямувати повз уражену інфраструктуру. Для Exchange Online це зробити не вийшло через обмеження масштабування.
Хронологія й документи
За попереднім звітом, збій тривав з 16:20 UTC 12 листопада до 16:10 UTC 13 листопада, трохи менше доби. Додатковий моніторинг уражених систем тривав до 14 листопада. Інциденти пройшли під номерами EX1550543 і MO1550821.
Повний звіт на сторінках статусу бачать лише ті, хто має облікові дані адміністратора Microsoft 365. У підсумковому статусі корпорація вказала: це технічна проблема, не пов'язана з кібератакою чи ШІ-агентами.
Латки, запас потужностей і остаточний звіт
Сервери латали поступово й повертали в роботу. Microsoft додала потужностей і запобіжників для розподілу трафіку. Вона також подовжила тайм-аути доставки пошти, щоб затримані листи не поверталися відправникам як недоставлені. Станом на ранок понеділка всі хмарні сервіси працювали.
Остаточний звіт Microsoft обіцяє 20 листопада. Він може пояснити, чому не спрацювала регіональна ізоляція, і які заходи ухвалять, щоб не повторити збій.
Джерело: Ars Technica