测试往何处去 -- 新时期测试如何面对挑战

linzai 2019-03-21

本人一向务实,很少务虚,最近参与的讨论比较多,也有一些些感悟,分享给大家。

勉强算原创吧,标题起的比较大,恬不知耻,主要为了吸引更多从业人员参与讨论,请见谅。

软件测试从前些年的懵懂发展,大家摸着石头过河, 到大多高校设立软件测试专业, 再到近几年各种测试培训盛行,可谓学术与工程齐备,理论和实践并发展。

软件测试的进入门槛,也从真正零基础,各行各业拼命涌入,到现在的要求具备专业的计算机专业能力(包括不限于编程能力),软件测试在企业的受重视程度,特别是互联网行业,也从可有可无,到不可或缺。

随着近年来各行各业对软件的强需求,及大数据,云计算,AI的形成,发展, 各种开发模式被不断引进来解决开发中的问题,传统的瀑布模式几乎被淘汰殆尽,敏捷开发已成强弩之末,DevOps思想又从星星点火,到燎原之势。软件开发人员俨然超越了四个现代化,正寄语我们的征途是星辰大海。 但测试人员,还有很多处在石器时代,过着茹毛饮血,敲敲打打(点点点)的日子。

1. 软件测试的过去

远古时代的软件测试人员,严格遵守开发,测试,发布的瀑布流程,他们不知道,也不关心开发如何实现,严格按照需求说明书,来编写测试用例。等到开发把编译完成的版本送到他面前,他才慢条斯理的对着测试用例,一条条执行,看到跟期望结果不一致的地方,一股脑的当bug提上去, 根本不去想bug的出现原因,了不起把重现步骤,测试环境标记清楚。至于一个root cause提多个bug,按bug量论英雄,不在话下。

2. 软件测试的现在

大浪淘沙,现阶段的软件测试人员,大多认识到了测试及早介入的重要性,也有很多接受了敏捷思想,成了敏捷的脑残粉,特别在敏捷开发的项目中,他们大多主动的从需求分析中介入,努力提升软件的可测性,在Grooming大会,Planning大会上,发出测试的声音,让开发一开始就避免掉某些坑。在测试的形式上,不再拘泥于黑盒测试,把白盒测试,接口测试,性能测试,甚至静态代码分析,代码覆盖率测试也纳入测试的版图,测试在组织的话语权也越来越大。

对于有追求的测试来说,不再仅着眼于辅助开发保证软件的质量,他们把目光放到如何提升团队生产率,加快成功发布上,一系列的测试框架,代码build触发自动化测试,为其它测试提供测试工具,眼花缭乱,不胜枚举。

对于测试的先行者来说,他们关注测试人员这个职位存在的必要性,为测试行业摇旗呐喊,在各种开发模式中,布道测试的作用。

3. 软件测试的挑战

直到现在,大部分的测试还具有如下鲜明特点:

  • “提前测试”。 即测试人员在软件发布前测试,软件发布后很少再去测试,Live环境上的测试和监控属于Ops的范畴。
  • 期望结果明确。 即测试人员在一个操作之前,已经提前知道这个操作的结果应该是什么。对于同样的输入,一定会有同样的期望结果。

随着云计算,大数据,人工智能的发展,越来越多的公司把自身业务部署在云上,产品也越来越依赖大数据和人工智能。 加上智能设备的发展,可穿戴设备,甚至裸眼屏幕,将会越来越多,在这个大环境下, 提前测试就不那么适用了。

测试遇到的挑战也会越来越大,软件的复杂度进一步增加,”提前测试” 开始力不从心。 Test in Production 势在必行。

对于复杂的提供service的产品来说,例如搜索引擎, 仅仅依靠测试人员设计的测试用例,肯定只能覆盖真实用户的少部分使用情况, 大部分用户如何使用,测试人员无法设计出来。这个时候就需要Test in Production。

即便是某一个特定的功能点,同样的输入,在不同的时间段,也不能期望实际输出不发生变化。举例来说,你今天输入 “百度 股票价格” 和明天输入 “百度 股票价格”, 得到的结果可能也不同,这个时候,明确的期望结果,也变得不适用。 测试人员就要把检查的重点,从一个固定的结果转化为观察一个 ”模式/趋势“, 就是说,如果你的输出是 百度今天的股票价格, 或者百度股票的趋势,都是可以接受的,但是出来的结果,如果只有百度,没有股票,就是不对的。

还有,如果你们的服务部署在阿里云,腾讯云上,你的测试方法能跟传统的一样吗?如果你的产品基于大数据智能调整哪些功能展现给哪些用户,你的常规测试方法还有用吗?如果你在测试一个人工智能产品,

你还能设计出用户常用的case吗?

4. 软件测试的未来

新形势下,测试应该怎么做呢?

  • 某个功能的输入数据,将从测试人员准备变成直接导入真实用户数据,采取例如A/B Test, 金丝雀发布的方式来进行。
  • 测试的结果, 将不在关注具体的确定值,转为记录观察输出的趋势,或者行为模式,即Pattern。

这客观要求测试紧跟新的开发模式/思想, 以DevOps为例, DevOps天然强调持续集成,自动化部署,急速部署,多次部署,那么测试,就要在这个上面发力,部署自触发的自动化测试就必不可少,这样对测试的要求将会越来越高,测试对系统的介入程度,将会越来越深,最终测试即开发,开发即测试。

未来, 测试应该会

  • Test in Production(紧随DevOps,自动化比重会加大)。
  • 测试的检查重点,也会从期望的Test Results 转变为Observed Data/pattern。这个已发生,随着技术的发展,比重将会越来越大。
  • 生产环境的监控比重将越来越大,甚至变成新常态。

5. 软件测试的机遇

近几年发生在软件开发业内的新思想,新方法,主要以开发人员为主导。那么是不是就意味着其它角色生存空间被压缩呢?我认为也是也不是,被压缩的是精益思想本来就要去掉的,所谓的”减少浪费“的浪费部分,

如那些 “测试人员自主设计的模拟用户行为的测试” 功能测试部分, 还有手工配置测试环境,及”快速交付给客户“过程中因为运维的原因被常常被堵塞的部分。

对于测试人员来说, 困难和机遇并存,新的技术/思想固然层出不穷,但不必戚戚然,一个产品要顺利交付给客户,必不可少要把住质量关,测试人员(我们现在常叫QA,质量保证人员)只需牢记任何思想的演进都是为了快速成功的交付这个原则,测试人员应该通过各种手段,为这个目标增加测试的价值。

测试人员应该牢记,你不仅仅是测试,你是整个产品团队的一部分,你对团队的整体效率负责,你存在的价值是帮助组织快速交付。

测试这个职位有可能会消失,但是每一个组织,每一个客户对软件质量的要求不仅不会消失,还会不断增强,这将会是测试人员最好的时代,是属于我们测试的改革开放,每一个测试人员都应该趁着行业东风,努力做这个伟大时代的弄潮儿!

相关推荐