cat case/PM-2018-0006.md

Google Cloud 2018-11-22 自动生成的错误 BGP 配置将 GCE 全部 IP 块移出通告,首尔区域网络中断

P1 · 错误 BGP 配置把 asia-northeast1(首尔)GCE 全部 IP 块从通告移除,区域网络大面积中断

summary

2018-11-22,Google Cloud 一次自动生成的网络配置错误地将该区域(asia-northeast1,首尔)GCE 的全部 IP 地址块从 BGP 通告中移除,导致该区域网络大面积不可达。

timeline

配置变更后,首尔区域的 GCE IP 不再向互联网通告;用户流量无法路由到该区域实例,服务中断;Google 定位并回滚错误配置,逐步恢复路由与连接。

root_cause

自动化配置生成流程产出了一份错误的 BGP 配置(把整区域 IP 块移出通告),属于配置管理/变更校验缺陷,而非设备本身故障。

amplifiers

BGP 通告是区域可达性的单点开关,一份错误配置即可在分钟级把整区域从互联网摘除;自动化生成缺少对该后果的预检。

mitigation

Google 回滚配置并复盘,强化网络配置变更的生成校验、预检与分级发布。

lessons

对外通告类配置(BGP/DNS)必须有影响面预检与金丝雀;自动化生成不等于安全,需有对立假设校验。

checklist

BGP/DNS 变更做影响面预检与分级发布;配置生成加对立校验(会否摘除整区域);保留一键回滚与离线通告通道。