summary
2020 年,Cloudflare 在一次常规代码部署中触发 CPU 耗尽 bug,全球边缘节点 CPU 飙至 100%,流量在约 30 分钟内暴跌近 50%。
timeline
新代码路径存在热点;部署后边缘 CPU 打满,请求处理停滞;Cloudflare 回滚版本并限流后恢复。
root_cause
部署的代码引入了一处 CPU 密集型路径(如低效序列化 / 正则 / 锁竞争),在正常流量下即占满单核,边缘节点整体吞吐崩溃。
amplifiers
边缘节点无差异化灰度,变更一次性全量生效;CPU 饱和使健康检查失败触发更多抖动。
mitigation
回滚问题版本、限流、修复热点;加强灰度与资源监控。
lessons
边缘变更必须灰度且监控资源饱和;对 CPU 热点做压测。
checklist
边缘灰度发布;CPU 饱和告警;回滚预案;上线前性能测试。