summary
2003-08-14，北美历史上最大的停电：美国东北部 8 个州与加拿大安大略省约 5500 万人失去电力，部分地区黑暗长达两天，至少 11 人死亡，经济损失约 60 亿美元。直接导火索是俄亥俄州北部一条 345kV 线路因发热下垂触碰树枝跳闸；正常情况下应触发 FirstEnergy 控制室告警，但当天的告警系统（GE XA/21 能量管理系统的告警与事件处理组件）因 race condition 静默锁死，未发出任何失败指示，操作员在「正常」画面下盲调，使局部故障级联为全网崩溃。
timeline
14:14 EDT 后 FirstEnergy 告警功能失效但无人察觉。16:05:57 EDT 一条线路触树跳闸。随后 1.5 小时内另有三条线路因过热触树跳闸，负荷转移到剩余线路。约 16:10 EDT 多个电站自动停机。16:10-16:13 EDT 纽约/克利夫兰/多伦多等相继与相邻电网解列。16:13 EDT 265 座电站 508 个发电单元离线。部分区域数小时至两天恢复。
root_cause
告警系统存在 race condition：在异常事件与告警条件组合下，两个进程争用同一数据且缺乏协调，软件进入停滞状态而非干净处理冲突，告警功能静默锁死。操作员看到的屏幕看似正常，实际电网正在恶化却毫无警报，错过了在线路损失初期干预的窗口。
amplifiers
① 失败静默：告警冻结却不报错，是最危险的失效模式——直接剥夺了操作员的态势感知。② 树线隐患：输电线路下方树木未修剪，多条线路相继触树。③ 互联传播：电网互联性把局部负荷失衡放大为跨区域级联。④ 邻区信息缺失：俄亥俄控制室未及时告知邻州，延误整体响应。
mitigation
事后美加联合调查组提出 46 项建议，推动可靠性标准从自愿转为强制可执法（Energy Policy Act 2005 / FERC）；要求树线清理（FAC-003）、人员培训（PER-003）、单故障生存能力（TOP-002-1）等。
lessons
监控/告警系统必须 fail-loud（明确报错），绝不能 fail-silent；关键基础设施的软件缺陷本身即可成为灾难触发器；互联系统的单点失效需跨区协同可见。
checklist
① 告警/监控系统做失效模式审查，确保任何异常都显式报警。② 关键控制软件消除 race condition 并加混沌测试。③ 树线清理与单故障生存能力强制标准。④ 跨区实时态势共享机制。