summary
2012-06-29,一场强雷暴横扫北弗吉尼亚,导致 AWS 某单可用区断电;该可用区的备用发电机未能正常启动,EBS 卷进入大规模恢复(重镜像),造成 EC2/EBS/RDS 长时间中断。
timeline
雷暴引发断电后,受影响的 EBS 节点离线;电力恢复后,大量 EBS 卷需要重镜像与重建,恢复请求在存储层堆积;AWS 逐步恢复实例与卷,部分客户历时一天以上。
root_cause
极端天气导致单 AZ 电力失效,而备用电源(发电机)启动失败使断电时间拉长;EBS 在节点离线后进入重镜像风暴,恢复容量成为瓶颈。
amplifiers
单 AZ 的电力与发电机同时失效放大了故障窗口;EBS 重镜像的自我修复在大规模失效下变成容量瓶颈并外溢。
mitigation
AWS 复盘后增强电力冗余、改进 EBS 恢复节流与并行恢复能力,并推动控制面组件跨 AZ 隔离。
lessons
数据中心的电力与备用电源需独立冗余与定期演练;存储恢复路径在大规模失效下必须有容量上限与优先级。
checklist
备用发电机定期带载演练;EBS 恢复设并发上限与优先级;控制面组件跨 AZ 隔离,避免单 AZ 失效拖垮全局 API。