cat case/PM-2024-0064.md

Verizon 2024-09-30 全美中断进入 SOS 模式,Downdetector 超 170 万份报告

P1 · Verizon 全美 SOS 模式,从纽约到洛杉矶无服务/受限,Downdetector 超 170 万份报告

summary

2024-09-30,Verizon 美国网络出现大范围中断,用户从纽约到洛杉矶均无服务或仅限 SOS 模式(可打紧急电话),Downdetector 记录超 170 万份报告,约 10 小时后恢复。

timeline

美东时间约 09:30 起用户报告无服务;11:15–11:30 间提交超 10 万份事件报告;Verizon 于 11:48 在 X 发帖确认;约 19:18 ET 问题解决;Cloudflare 观测到中断期间 HTTP 流量较预期降约 9%(部分地区如奥马哈降约 30%)。

root_cause

Verizon 官方称系软件相关问题/网络问题;外部分析指向 BGP 路径抖动(AS6167 路径翻摆、私有 ASN 泄漏)导致路由不稳定。本质是核心路由/控制面在变更或异常下未能稳定。

amplifiers

① 全国级运营商中断,影响数千万用户。② SOS 模式限制仅紧急呼叫,日常通信全断。③ 报告量巨大(170 万+),为 2024 全球最大故障之一。④ 恢复约 10 小时。

mitigation

Verizon 修复软件/网络问题并恢复;后续加强核心路由稳定性与变更防护。

lessons

全国级运营商须对核心路由变更做严格防护与快速回退;对「仅 SOS 模式」类大面积异常要有快速定位;关键通信基础设施需更高可用。

checklist

① 核心路由变更做影响评估与快速回退。② 监控全国级连通性与 SOS 模式异常。③ BGP 路径抖动/私有 ASN 泄漏防护。④ 状态通报及时性改进。