summary
2013 年,Google 的配额服务(quota service)出现故障,导致 Gmail 等多项 Google 服务登录/功能失败,大量用户受影响。
timeline
配额服务异常触发;依赖配额判定的 Gmail 等服务出现登录/功能错误;Google 定位并修复配额服务,服务逐步恢复,过程约数小时。
root_cause
配额服务负责判定各服务的使用额度,其故障使依赖它的服务在鉴权/配额判定环节失败。本质是共享配额服务的单点故障与缺乏降级。
amplifiers
① 配额服务是多个面向用户服务的共享依赖。② 单点故障使 Gmail 等连锁失败。③ 缺乏配额判定失败时的安全降级(fail-open/缓存)。④ 恢复依赖修复共享服务。
mitigation
修复配额服务并恢复;后续增强配额服务的冗余与降级策略。
lessons
共享的鉴权/配额类服务必须高可用且有安全降级;单点依赖半径要用拓扑评估;关键判定失败应 fail-open 而非全拒。
checklist
① 配额/鉴权服务做多副本与降级。② 判定失败采用安全默认(fail-open/短缓存)。③ 评估共享依赖爆炸半径。④ 监控配额服务错误率。