cat case/PM-2012-0073.md

Amazon AWS 2012-06-29 美东 EC2/EBS/RDS 中断:雷暴致单 AZ 断电、发电机失效

P1 · 北弗吉尼亚强雷暴致单可用区断电,备用发电机未能启动,EBS 卷恢复风暴影响大量客户

summary

2012-06-29,一场强雷暴横扫北弗吉尼亚,导致 AWS 某单可用区断电;该可用区的备用发电机未能正常启动,EBS 卷进入大规模恢复(重镜像),造成 EC2/EBS/RDS 长时间中断。

timeline

雷暴引发断电后,受影响的 EBS 节点离线;电力恢复后,大量 EBS 卷需要重镜像与重建,恢复请求在存储层堆积;AWS 逐步恢复实例与卷,部分客户历时一天以上。

root_cause

极端天气导致单 AZ 电力失效,而备用电源(发电机)启动失败使断电时间拉长;EBS 在节点离线后进入重镜像风暴,恢复容量成为瓶颈。

amplifiers

单 AZ 的电力与发电机同时失效放大了故障窗口;EBS 重镜像的自我修复在大规模失效下变成容量瓶颈并外溢。

mitigation

AWS 复盘后增强电力冗余、改进 EBS 恢复节流与并行恢复能力,并推动控制面组件跨 AZ 隔离。

lessons

数据中心的电力与备用电源需独立冗余与定期演练;存储恢复路径在大规模失效下必须有容量上限与优先级。

checklist

备用发电机定期带载演练;EBS 恢复设并发上限与优先级;控制面组件跨 AZ 隔离,避免单 AZ 失效拖垮全局 API。