摘要
2026-05-18 08:17–11:16（巴西时间），Unico 身份门户因消息队列集群单节点磁盘饱和，发布被自动阻塞，导致登录 502、新用户注册与密码重置全受阻，约 3 小时。
时间线
- 上周五 10:16 :: 磁盘饱和告警发出，仅发往一个未监控邮箱
- 08:17 :: 门户登录不可达，profile 端点错误率 80–97%
- 11:05 :: 定位为消息队列磁盘饱和
- 11:15 :: 重启集群并扩容磁盘后恢复
根因
消息队列集群单节点磁盘空间触达配置上限，系统自动触发发布阻塞以保护数据；认证路由中间层转而排队而非处理，登录鉴权延迟升至 23 秒。告警早在周五发出，但只通知了一个无人监控的邮箱，问题在整个周末未被发现，直至磁盘饱和引发大面积中断。
放大因素
队列被认证、门户、Webhook 通知等多个服务共享且无隔离，单节点饱和同时冲击所有依赖服务；无自动磁盘扩容/日志轮转机制，依赖人工干预。
缓解措施
将关键基础设施告警扩展到活跃监控渠道与值班 escalation；按域隔离消息队列；增加磁盘自动扩容与日志轮转；补全关联面板与 runbook。
经验教训
基础设施告警必须发往被监控的渠道，单点邮箱是最大的「看见了却没人看」陷阱；共享中间件需做租户/域隔离以收敛故障半径。
检查清单
- 关键告警发往活跃监控渠道与值班升级
- 按域隔离共享消息队列
- 配置磁盘自动扩容与日志轮转
- 补全依赖关联面板与 runbook