cat case/PM-2019-0078.md

Monzo 2019-07-29 数据库迁移引发银行服务中断,支付/账户操作受影响

P1 · Monzo 银行数据库迁移引发银行服务中断,支付/账户操作受影响

summary

2019-07-29,Monzo 银行在一次数据库迁移过程中引发服务中断,支付、账户查询等银行核心功能受影响,部分客户无法完成交易。

timeline

Monzo 执行数据库迁移;迁移过程出现性能/一致性问题,触发服务降级;工程团队回滚/修复迁移并恢复,过程约数小时。

root_cause

数据库迁移(数据搬迁/ schema 变更)在高并发银行场景下触发性能瓶颈或一致性问题,使依赖该数据库的核心服务降级。本质是迁移方案在真实负载下的验证不足与回滚不够快。

amplifiers

① 银行核心依赖单库,迁移风险半径大。② 高并发下迁移引发性能/一致性问题。③ 恢复依赖回滚,窗口内支付受影响。④ 金融场景对可用性要求极高。

mitigation

回滚问题迁移并恢复服务;后续将迁移拆分为更小批次、加强真实负载压测与一键回滚。

lessons

金融核心库的迁移必须小步、可观测、可一键回滚;迁移前做生产等价负载压测;关键路径有降级与对账。

checklist

① 数据库迁移小步拆分并分批。② 迁移前生产等价负载压测。③ 一键回滚预案。④ 金融交易对账与降级。