cat case/PM-2020-0111.md

Discord 2020 GCP Redis 故障转移

P1 · GCP Redis 主节点迁移触发缺陷,级联影响实时系统

summary

2020 年,Discord 依赖的 Google Cloud Platform 自动迁移 Redis 主节点触发已知问题,导致 failover 异常并级联影响实时系统。

timeline

GCP 对 Redis 实例做计划内维护迁移;主节点切换触发缺陷,部分键与连接丢失;Discord 通过重连与降级恢复服务。

root_cause

云厂商托管的 Redis 在主节点自动故障转移时暴露缺陷,连接与部分状态丢失,依赖该缓存的实时通道与服务受损。

amplifiers

Discord 实时架构强依赖 Redis,单点缓存故障沿调用链放大;维护窗口与流量高峰叠加。

mitigation

与 GCP 协同恢复、增加本地缓存与降级、优化 Redis 容错。

lessons

托管服务维护窗口需评估业务影响;关键缓存应有多层与降级。

checklist

缓存多副本加本地降级;依赖维护窗口评审;故障转移演练。