summary
2025-10-29,Azure Front Door(AFD)/CDN 因一段跨两个控制面版本的客户配置变更生成了不兼容元数据;该元数据通过分阶段健康检查后在全球边缘部署,并覆盖了「上次已知良好(LKG)」快照,随后在数据面异步崩溃,造成连接超时与 DNS 解析问题。
timeline
15:35 UTC 不兼容配置产生;15:41 边缘数据面开始崩溃;15:43 配置保护系统已阻断新变更传播但为时已晚;17:40 起手工编辑 LKG 并全球重新部署;18:30 AFD DNS 恢复;次日 00:05 UTC 客户影响缓解。波及 Azure 门户、Entra ID、M365、SQL 等大量服务。
root_cause
直接触发是客户合法但跨版本序列的配置变更,暴露了数据面潜在缺陷;深层原因是分阶段健康检查在异步崩溃出现前就给出健康信号,且坏配置污染了 LKG 快照,使简单回滚不再安全。
amplifiers
全球 CDN 需把每笔配置快速部署到密集共享的边缘舰队,不兼容配置一旦越过金丝雀即被放大到全球;LKG 在坏配置尚未暴露前被更新,rollback 变成必须手工改快照。
mitigation
Microsoft 临时冻结配置变更以抢先加固,10-29 至 11-05 优先部署防护;承诺配置更长驻留观察、保护 LKG 不被过早提升、隔离配置处理与流量服务。
lessons
分阶段发布必须比最慢的失败模式更久地观察(含异步/延迟作业);LKG 在全局传播烤制完成前不可标记为可回滚;配置处理与实时请求处理须隔离。
checklist
配置变更观察窗口覆盖异步失败;LKG 需等数据面与延迟作业通过再提升;配置处理放入隔离 worker;保留干净旧快照以便回滚。