cat case/PM-2024-0035.md

Microsoft / AT&T 2024-09-12 第三方 ISP 托管环境变更,经 AT&T 访问 Microsoft 365/Azure 受阻

P1 · 通过 AT&T 网络访问 Microsoft 365/Azure 的客户无法连接,Teams/Exchange/SharePoint 等受影响,数万份报告

summary

2024-09-12 约 08:00 ET 起,AT&T 对其托管网络环境做了一项变更,导致通过其网络访问 Microsoft 365 与 Azure 的客户无法连接,Teams/Exchange Online/SharePoint Online 等受影响;AT&T 回滚变更后恢复。

timeline

约 08:00 ET 用户开始无法通过 AT&T 网络访问 Microsoft 服务;Microsoft 状态页提示第三方 ISP 托管环境变化所致;AT&T 于 09:14 ET 回滚变更,恢复迹象出现;官方事件窗口 UTC 11:46–13:14(约 90 分钟)。

root_cause

第三方 ISP(AT&T)在其托管环境做了一项配置/路由变更,影响了经其网络到 Microsoft 服务的连接;变更被回滚后连接恢复。本质是依赖外部网络供应商的连接,其变更不在 Microsoft 控制之内。

amplifiers

① 外部 ISP 变更直接切断客户到云服务的通路。② 影响跨多产品(Teams/Exchange/SharePoint/Azure)。③ 依赖方(Microsoft)只能等 ISP 回滚,缺乏直接干预手段。④ 波及数万份用户报告。

mitigation

AT&T 回滚变更,Microsoft 服务逐步恢复;后续 Microsoft 建议客户对关键连接准备备用网络路径。

lessons

云服务的可达性依赖外部网络供应商,关键连接应有备用 ISP/多路径;对「经特定运营商不可达」要有快速识别与用户侧缓解指引。

checklist

① 监控按运营商维度的连接成功率。② 关键客户引导配置备用网络路径。③ 与 ISP 建立变更通报与快速回滚机制。④ 状态页区分「服务商侧」与「自身侧」故障。