线上问题复盘

lucialee 2019-10-30

1.事件回顾:

   2019.10.29日上线反欺诈优化功能,10月30日上午收到异常监控报警,随后业务反馈属地案调和总部案调无法正常提交。经核实,是因为属地案调和总部案调提交时,由于没有验证案调是否为总部、是否为补充调查。导致调用了发往属地代码,引发系统异常。BUG于10月30日中午一点半处理完毕。

2. 导致BUG的主要原因:

    1).新功能的开发,影响了老功能的流程。开发和测试对之前功能缺少回归测试,未及时发现问题。

    2).上线日前进行了主要代码的改动,未能及时评估风险。

    3).10月30日下午2点15合并master代码,合并master代码后,开发和测试参与了新需求评审,时间紧张,缺少完整回归测试。

    4).项目上线后,缺少线上验证,导致未及时发现问题。

3. 如何避免类似问题发生?

    1).开发增加对老功能的单元测试,每次新功能开发完毕后,通过单元测对老功能进行回归。

    2).测试增加自动化测试,对主流程每次上线前进行回归测试。

    3).产品经理在新功能稳定后,在测试环境对新功能验证,避免遗漏、BUG等。

   4).由产品经理牵头,联系业务人员,协助进行线上验证,及时发现问题,及时修正。

   5).新功能开发完毕后,开发和测试一起确认回归测试范围。重点测试可能影响的功能。

4. 如何快速解决线上问题?

    1).加强日志监控,及时发现问题,在业务反馈前处理掉问题。

    2).以不影响业务功能为主,发现问题后,快速解决,快速上线。

相关推荐