summary
2020 年,Discord 依赖的 Google Cloud Platform 自动迁移 Redis 主节点触发已知问题,导致 failover 异常并级联影响实时系统。
timeline
GCP 对 Redis 实例做计划内维护迁移;主节点切换触发缺陷,部分键与连接丢失;Discord 通过重连与降级恢复服务。
root_cause
云厂商托管的 Redis 在主节点自动故障转移时暴露缺陷,连接与部分状态丢失,依赖该缓存的实时通道与服务受损。
amplifiers
Discord 实时架构强依赖 Redis,单点缓存故障沿调用链放大;维护窗口与流量高峰叠加。
mitigation
与 GCP 协同恢复、增加本地缓存与降级、优化 Redis 容错。
lessons
托管服务维护窗口需评估业务影响;关键缓存应有多层与降级。
checklist
缓存多副本加本地降级;依赖维护窗口评审;故障转移演练。