PagerDuty 2025-02-26 依赖 Slack 集成，Slack 故障导致通知链路中断

summary

2025-02-26，Slack 发生主故障（数据库维护叠加缓存缺陷致过载），导致依赖 Slack 集成的 PagerDuty 客户的通知链路中断——部分通过 Slack 触达的通知延迟或失败，与 Slack 主故障并行约 25 小时。

timeline

Slack 主故障自 2-26 早间开始；依赖 Slack 的 PagerDuty 通知链路随之异常；随着 Slack 主故障缓解与 PagerDuty 侧降级处理，受影响通知逐步恢复，整体与 Slack 事件窗口重叠约 25h。

root_cause

PagerDuty 的部分通知路径依赖 Slack 集成，当 Slack 自身不可用时，该路径的通知无法送达。本质是对外部 SaaS（Slack）的强依赖缺乏降级/备用通道。

amplifiers

① 关键通知依赖外部 SaaS，其故障即传导。② 缺乏与 Slack 故障对应的通知降级/备用通道。③ 影响面与 Slack 主故障重叠，排障复杂。④ 恢复依赖 Slack 侧恢复。

mitigation

在 Slack 主故障期间对受影响通知做降级与重试处理；后续为关键通知提供多通道（如邮件/短信/APP）冗余，降低对单一 SaaS 的依赖。

lessons

关键链路不应强依赖单一外部 SaaS；重要通知须多通道冗余与降级；对第三方依赖要有健康探测与熔断。

checklist

① 关键通知提供多通道冗余。② 对 Slack 等依赖做健康探测与熔断。③ 依赖故障时自动降级而非静默失败。④ 演练外部 SaaS 中断的通知兜底。