summary
2024-02-22 02:42 CST，一名 AT&T 员工在例行夜间维护窗口为扩展网络功能与容量，向生产网络加入了一个新的网络单元，但该单元配置错误（不符合既定设计与安装流程，且按规定应有的同行复核未执行）。错误的配置被下游网络单元进一步传播，触发自动化保护响应：网络进入 protect mode 以阻断错误扩散，结果断开所有设备与网络（含语音与 5G 数据）的连接。02:45 CST 全美无线中断开始，撤回变更后多数用户数小时内重连，但因海量设备集中重新注册造成拥塞，完全恢复耗时 12 小时以上；FirstNet 公共安全工作负载被优先恢复。
timeline
02:42 误配单元上线；02:45 保护模式触发，全美语音/5G 数据中断。网络运营执行回滚移除误配单元，凌晨多数用户重连，但注册拥塞使部分设备反复掉回 SOS。FirstNet 基础设施 05:00 前恢复；商业用户恢复更晚。14:10 官方宣布全部恢复。FCC 后续发布调查报告并将案件移交执法局。
root_cause
夜间维护中加入的单元配置错误，且未按流程做同行复核与安装后充分测试；错误被自动保护机制放大为全网断开，而恢复时缺乏应对海量重注册拥塞的准备。
amplifiers
① 流程缺失：无同行复核、安装后测试不足，错误直接进入生产。② 保护机制过度：为阻断错误反而断开全网。③ 恢复无预案：海量设备重注册造成二次拥塞。④ 通报滞后：FirstNet 用户在恢复后仍晚于规定时间才获通知。⑤ 影响公共安全：911 与 FirstNet 受阻。
mitigation
回滚误配单元并优先恢复 FirstNet；事后 AT&T 增加同行复核步骤与强制确认机制、加强变更审批与实验室测试、为大规模重注册增加容量与流程。FCC 提出多项建议并移交执法局。
lessons
核心网络变更强制同行复核与充分测试；保护机制应精准隔离而非全网断开；大规模故障需有重注册拥塞预案；公共安全通信要有独立保障与及时通报。
checklist
① 核心变更强制同行复核+审批闸门。② 保护模式精准隔离错误单元而非全网。③ 大规模恢复增加注册容量与排队。④ 公共安全通信独立保障+及时通报。