qianbingbing 2016-11-22
App留存问题严重,自测模式存缺陷
演讲开场,TestBirdCTO邓飞便向在座嘉宾分享了App市场的现状与当前App自动化测试存在的缺陷:随着智能手机在中国新兴市场的快速普及,移动App的发展也异常迅猛。2016年中国的应用下载量将达490亿,到2020年,这一数字将达到902亿。从2016年到2020年,第三方Android商店的下载量预计还将增加84%,App应用增长势头强劲。
App的数量虽越来越多,可普通APP的用户留存率却一再下降。通过权威数据调查,不到1个月,超过95%的用户都会因为体验下降而降低应用使用频率或者将之“打入冷宫”,3个月内,65%的用户就可能会直接将这些之前被“冷落”的应用直接删除,最终普通APP的用户留存率大幅下降。
一般来说,直接导致App死亡的因素,也是App下架的重要原因:APP质量不好造成用户使用体验差,占比高达46.3%,其中主要出现的质量问题在于UI异常、卡顿、黑屏以及启动失败。
面对这样的问题,大部分企业当然不会“坐以待毙”,它们给出的答案几乎都是通过测试来保证产品的质量,但由于如今产品的迭代周期更短,测试需要的终端更多,存量用例更加壮大,让测试难以脱离自动化的辅助。但目前业界自动化常用“完全黑盒”、“基于录制回放”以及“基于脚本”的3种使用模式都有无法忽视的缺陷存在。
提升自动化测试ROI,TestBird推出Quail系统
针对现有自动化使用模式的缺陷,邓飞在演讲中表示:“自动化测试的核心在于ROI,那么通过Google经典的测试逻辑图分析,个人认为AppUI自动化测试的关键在于解决门槛高,回报率低的命题,同时我们需要搭建一个易用简单的测试平台,并尽可能地降低用例维护代价。那么依据这样的思路,TestBird提出了完全online的自动化测试云服务Quail,Quail是一套基于录制&回放模式的完全online的云端服务系统,环境的搭建更加简单,同时它采用的是手工+自动化结合的测试解决方案,将手工测试资源重新利用了起来,且拥有一机录制,多机回放的能力。”
随后,TestBirdCTO邓飞通过现场的真机操作展示,就Quail用例概念、测试执行过程、其逻辑架构以及信息流进行了详细的分解阐述,并针对Quail系统的关键技术问题分享了TestBird的解决方案。
演讲最后,TestBirdCTO邓飞总结道:“要最大化自动化测试ROI,我们相应的需要做到以下三点:让懂业务的人去执行自动化;手工测试资产重用是一个可行的高效途径;SaaS而非PaaS,而我们采取的方法就是Quail。Quail系统采用云端服务简化了测试环境的搭建,同时其最大的亮点在于:
❶手机资源集中管理,Web访问,轻松接入,无SDK。
❷测试用例方面的革新,通过用例图片化,巧妙地绕过了传统自测脚本用例编写的高门槛,让学习成本近乎于零。
❸同时,图片化录制过程与手工测试完全一致,并且Quail支持1次录制多个用例,这让手工测试资产的重用成为可能。拥有多种自动化对比方式(图片对比、参数结果比对、四则运算逻辑),更便捷地发现问题。
❹在用例维护方面,通过基线对比与功能全面的替换、编辑功能,让维护代价大幅度降低。
❺在回放方面,Quail支持一机录制,多机回放,测试结果也能够一键生成,对测试效率也是极大的提升。
TestBird收获一致好评,Quail系统前景广阔
最后,邓飞补充道,对于Quail系统来说,其还有更广阔的发展空间:
❶多App交互自动化测试;
❷用例维护效率:支持TestStep模块化,解决公共操作路径复用问题;
❸用户体验:页面响应时间;
❹外露自动化Restful接口:支持与Jenkins和各种测试管理平台对接。
演讲结束后,邓飞收获了在场嘉宾的一致好评。同时,大量参会嘉宾对TestBird全新推出的Quail系统表示出了极大的兴趣,纷纷示意与TestBirdCTO邓飞现场进行相关问题的探讨并相互留下了联系方式表示愿意进行后续更加深入的沟通。其中,很多资深的测试专家和一众测试从业者纷纷针对Quail系统提出了自己的见解与可能的发展方向,让这套系统有了更多的可能性;同时,也有一部分来宾对Quail系统主要带来的优势表示极大的好奇与关注,向邓飞就Quail系统提出了一系列技术方面的问题,邓飞也就其给出了明确的答案,在解惑的同时也让在场嘉宾更加深入全面地了解了Quail系统为测试行业带来的改变。