cat case/PM-2019-0033.md

Cloudflare 2019-06-24 Verizon 缺乏 BGP 过滤致路由泄露全球传播

P1 · DQE 经 Allegheny 向 Verizon 泄露更具体前缀,Verizon 缺乏过滤全球传播,Cloudflare 损失约 15% 全球流量,Amazon/FB 等受影响

summary

2019-06-24 10:30 UTC,一场 BGP 路由泄露使 Cloudflare 大量网站客户流量中断,Facebook、Amazon 等也受影响。宾夕法尼亚小型 ISP DQE Communications 在其网络中使用 Noction BGP 优化器,将收到的 IP 前缀拆分为更具体的前缀(本应仅内部引导流量,不应向全球公告)。DQE 把这些更具体路由通告给客户 Allegheny Technologies,Allegheny 又通告给其 transit 提供商 Verizon;Verizon 本应过滤掉这些「更优」路由,却缺乏过滤而将其传播给整个互联网,导致大量流量被错误导经 DQE/Allegheny,后者不堪重负,流量消失于黑洞。

timeline

10:30 UTC 路由泄露开始,Cloudflare 损失最高约 15% 全球流量。Cloudflare 识别为可能的路由泄露并持续与网络提供商协作移除。约 12:42 UTC(08:42 ET)泄露网络修复,流量回升并持续监控至确认解决。期间 Cloudflare 自身系统一直正常运行,只是部分域名流量到不了 Cloudflare。

root_cause

根因是 DQE 的 BGP 优化器产生了更具体前缀并外泄,而关键的放行点 Verizon 未对接收的前缀数量与合理性做过滤(如最大前缀限制),把本应止于自身的泄露传播到全球。具体路由优先于一般路由,使全球系统将流量导向本不具备容量的 DQE/Allegheny。

amplifiers

① 优化器副作用:BGP 优化器拆更具体前缀本为内部流量工程,却外泄到全球。② 上游无过滤:Verizon 作为大型 transit 未设前缀数量/合理性过滤,使泄露升级为全球事件。③ 容量错配:被错误选为「最佳路径」的网络根本没有承接对应流量的容量。

mitigation

泄露网络修复其路由公告;Cloudflare 推动行业采用 RPKI 等路由源认证与更严格的过滤。后续倡导主要提供商校验路由(如 Amazon、AT&T 已采用)。

lessons

BGP 会话必须配置最大前缀限制与入口过滤(入向校验);路由源认证(RPKI)应普及;更具体前缀的外泄是常见根因,优化器类工具需严格边界。

checklist

① 所有 BGP 会话设最大前缀数上限。② 启用 RPKI/ROA 路由源验证。③ 入口过滤拒绝无合理性的更具体前缀。④ 对 transit 提供商做路由安全审计。