cat case/PM-2011-0074.md

Amazon AWS 2011-04-21 美东 EC2/EBS 服务事件:网络升级流量误切引发重镜像风暴

P1 · us-east-1 大量 EBS 卷与 EC2 实例不可用/严重降级,Reddit、Foursquare 等众多站点受影响

summary

2011-04-21,AWS us-east-1 在一次例行网络升级前执行了一次错误的流量切换,使 EBS 节点彼此失去连接,触发大规模重镜像(re-mirroring),导致大量 EBS 卷与 EC2 实例长时间不可用。

timeline

约 00:47 PDT 流量误切使 EBS 在单可用区失去互联;错误被局限到单 AZ 后,EBS 恢复逻辑(重镜像)在跨 AZ 放大,影响扩散;AWS 逐步恢复,至 04-24 15:00 PDT 全面恢复。

root_cause

网络升级前的流量切换配置错误使 EBS 节点间连接中断;EBS 为保障持久性会自动重镜像,海量重镜像请求在恢复路径上形成自我放大,超出系统吞吐。

amplifiers

EBS 的强一致性重镜像机制在正常故障下是优点,但在大规模并发失效时变成容量放大器;单 AZ 错误经控制面扩散到多 AZ。

mitigation

AWS 改进 EBS 恢复逻辑与容量预留、增加重镜像节流,并强化网络变更的分阶段校验与回滚。

lessons

存储层的自愈/重镜像必须有并发上限与节流,否则故障恢复本身会成为二次容量风暴;网络变更需灰度与快速回退。

checklist

重镜像/重建流量设全局并发上限与排队;网络变更走金丝雀 + 自动回滚;多 AZ 影响要能隔离,避免控制面放大。