summary
Duo 的 DUO1 部署在 2015-10-20 与 10-21 出现认证延迟与间歇性失败:用户上线(onboarding)流程与后台清理流程相互争用资源,导致认证服务器过载并级联超时。
timeline
10-20 20:45–21:31 UTC 与 10-21 14:08–15:03 UTC 两段时间内,大量认证请求因服务器过载而失败;运维手动清理积压队列后恢复,并定位到上线与清理两类后台任务的资源争用。
root_cause
用户上线流程与后端清理流程在同一时段争用计算/队列资源,使处理认证的应用服务器被积压请求拖垮,形成级联过载——属于容量规划与任务调度冲突。
amplifiers
两类后台任务缺乏隔离与限速,在峰值叠加时把可用容量耗尽;队列积压进一步拉长时延、放大失败。
mitigation
Duo 手动清空积压以中断级联,并承诺做架构改造(任务隔离、队列限速)以防止未来级联。
lessons
后台维护任务(清理、上线)必须与在线请求路径隔离并限速;容量要按最坏叠加场景评估,而非平均值。
checklist
后台任务与在线请求分资源池;队列设上限与背压;关键认证路径做独立容量与故障域;级联发生时优先丢弃/限速维护任务。