summary
2024 年，Datadog 一次自动升级错误地移除了全部网络规则，导致所有由 Cilium 保护的 Kubernetes 集群在全球各区域中断约 24 小时。
timeline
自动升级作业清除了网络策略；集群间通信被阻断，服务大面积不可用；Datadog 恢复规则并暂停自动升级后逐步恢复。
root_cause
自动升级流程对网络规则的处理存在缺陷，将既有 CiliumNetworkPolicy 全部误删，使 Pod 间网络被默认拒绝策略切断。
amplifiers
该变更经自动化在全球各区域同步执行，缺乏分批与校验；网络策略缺失使依赖服务调用全断。
mitigation
重建网络规则、暂停自动升级、增加变更校验与分批。
lessons
网络策略类变更禁止自动化批量清除；关键控制面升级需分批并带校验回滚。
checklist
网络策略变更分批；升级前 dry-run；保留策略快照；自动升级熔断。