cat case/PM-2024-0012.md

ServiceNow 2024-09-23 过期 MID Server Root G2 证书致 600+ 客户 MID/实例间连接中断

P1 · 616 家客户 MID Server 及实例间连接中断,Orchestration/Discovery/AI Search/Virtual Agent/实例升级等不可用

summary

2024-09-23 约 02:16 UTC,ServiceNow 的 MID Server Root G2 SSL 证书过期,导致 MID Server 与实例间(instance-to-instance)连接失败,依赖 MID Server 的集成、编排、发现及 AI 功能大面积中断。官方确认 616 家客户受影响。

timeline

02:16 UTC 证书过期触发连接失败;ServiceNow 发出通告确认过期根证书影响 MID Server 与实例间连通;工程团队制备并滚动下发新的证书链、移除过期证书;多数客户当日恢复,部分客户延至 9-24 才完全恢复。

root_cause

MID Server Root G2 SSL 证书到期未在被广而告之的时间窗内完成替换(据称过期前约两周已发现但替换 job 执行出错),证书链断裂使 TLS 连接失败。本质是企业级平台的证书生命周期管理(续期/轮换自动化)缺失。

amplifiers

① 证书过期影响面极广:MID Server 是企业集成的核心通道,断链即瘫痪 Orchestration/Discovery/AI Search/Virtual Agent/实例升级等。② 单点信任锚失效:一个根证书过期拖垮整个集成层。③ 替换 job 出错未被及时发现,暴露证书轮换自动化缺口。④ 沟通滞后加剧客户不满。

mitigation

滚动下发正确的 SSL 根证书链并移除过期证书;后续加强证书生命周期监控与自动续期,关键证书到期前主动轮换并验证。

lessons

企业平台必须把 TLS 证书视为关键基础设施,建立自动续期+到期前主动轮换+链完整性校验;核心集成通道的证书失效必须有快速替换与回滚机制。

checklist

① 建立证书到期监控与自动续期。② 关键根/中间证书到期前主动轮换并验证链完整。③ MID Server 连接失败纳入高优先级告警。④ 证书替换流程增加预发验证,避免 job 静默失败。