summary
2018-11-22,Google Cloud 一次自动生成的网络配置错误地将该区域(asia-northeast1,首尔)GCE 的全部 IP 地址块从 BGP 通告中移除,导致该区域网络大面积不可达。
timeline
配置变更后,首尔区域的 GCE IP 不再向互联网通告;用户流量无法路由到该区域实例,服务中断;Google 定位并回滚错误配置,逐步恢复路由与连接。
root_cause
自动化配置生成流程产出了一份错误的 BGP 配置(把整区域 IP 块移出通告),属于配置管理/变更校验缺陷,而非设备本身故障。
amplifiers
BGP 通告是区域可达性的单点开关,一份错误配置即可在分钟级把整区域从互联网摘除;自动化生成缺少对该后果的预检。
mitigation
Google 回滚配置并复盘,强化网络配置变更的生成校验、预检与分级发布。
lessons
对外通告类配置(BGP/DNS)必须有影响面预检与金丝雀;自动化生成不等于安全,需有对立假设校验。
checklist
BGP/DNS 变更做影响面预检与分级发布;配置生成加对立校验(会否摘除整区域);保留一键回滚与离线通告通道。