summary
2014 年一次例行的网络配置更新中,自动化系统生成并推送了包含错误的 BGP 配置,错误地将其管理的绝大部分 Google 服务 IP 地址块从 BGP 通告中撤回。结果大量 Google 面向用户的服务(搜索、Gmail、YouTube 等)在短时间内对全球用户不可达,随后配置被纠正、路由重新通告后服务恢复。
timeline
配置错误被推送至生产网络,BGP 路由在数分钟内被撤回,用户侧出现大面积连接失败。工程团队发现后回滚错误配置并重新通告路由,服务在约 5-10 分钟内逐步恢复。
root_cause
自动化配置生成环节产出错误结果,将本应保留的 IP 前缀误判为需撤回,且缺乏在推送前对前缀集合做合理性校验的机制,导致大规模路由撤销。
amplifiers
① 自动化配置生成无充分的输出校验(如前缀数量骤降应触发拦截)。② BGP 撤销影响面极广:一旦撤回即全球不可达。③ 恢复依赖人工发现与回滚,窗口虽短但影响巨大。
mitigation
回滚错误配置并重新向互联网通告 Google IP 前缀;后续加强配置生成器的输出校验与发布前的差异审计。
lessons
自动化网络配置必须做发布前差异校验与异常阈值拦截;BGP 前缀集合变更需渐进通告;关键公共服务保留多区域独立可达路径。
checklist
① 配置生成器增加前缀集合合理性校验(骤减/骤增拦截)。② BGP 变更前做 dry-run 与差异审计。③ 关键服务保障多区域独立可达。④ 配置发布支持快速回滚。