1 背景介绍
1.1 接口
web ui接口是服务器与客户端交互的方式,即浏览器或者其他客户端工具与web服务UI层交互的协议.常见的有两大类,一是浏览器与服务器交互的 HTTP,HTTPS协议的接口,另一类web service接口如soap,rmi,rpc等协议。这些接口的共通特征都是作为Server对外的UI提供通信服务。
1.2 接口测试
web ui接口测试即站在web服务程序UI层之上自动化测试的一种手段,是站在用户的角度上测试web服务程序业务逻辑的正确性。测试的重点是围绕web服务 暴露的接口检查接口数据的正确性,这个过程是将web服务程序当做黑盒,通过自动化测试技术提高测试执行效率降低人工回归的成本。
1.3 可测性分析
1.3.1 为什么做接口测试
在业务模块的分层测试中,各种测试方式的比重如下图所示,实践中我们从系统级测试发现的bug数目最多,所以系统级测试占比比较大;除此之外,由于现在敏 捷的尝试以及普遍开展的项目迭代,面向模块提前介入测试的方式也越来越频繁,而此时并不具备系统级可测性,因此模块的接口就成为测试自动化的最好入口。
在业务系统常用测试方案中,有以下说明:
(1. 单测在不同的团队和模块有不同的作法,如果QA太多的介入,则对QA coding能力要求较高,case的传承性也受到挑战
(2. 业务模块接口测试主要关注接口请求参数与返回数据的正确性,以参数覆盖为测试等价类
(3. 系统级case对web业务模块来说都是基于浏览器用户行为的,目前有selenium自动化,大部分是手工测试。
从分层测试的特征,业务系统的结构出发,我们认为,接口测试的必要性包括:
(1. 迭代开发模式中,接口测试可先于系统级测试提前进行,属于测试前置
(2. 相比于基于浏览器客户端的系统级测试,接口测试更专注接口数据正确性,稳定性与可靠性的性价比高
1.3.2 接口可测性
接口在业务模块中的类型为典型的HTTP接口(Ajax,Dwr,Action…),也有Java类型的一些接口(RPC,RMI,SOAP),在可测性上具有一些共通特征:
(1. 可自动化率高:接口总能通过相应的client来发送请求
(2. 脱离RD代码依赖,只针对接口:属于黑盒测试范畴,难度较白盒低
(3. 执行速度介于系统级与单测之间:对于业务模块来讲,脱离浏览器后的接口测试稳定性与效率都是大幅提升
(4. 容易实现数据分离与数据驱动,容易抽取公共的框架性内容,降低case编写维护人员对coding的依赖
2 轻量级测试框架itest
itest是interface test接口测试框架的简称:支持基于网络通信的WEB UI接口自动化测试,支持HTTP,SOAP,RPC等几种常见协议,支持多种验证结果的模式,支持数据分离,最主要的特征还是通过数据文件驱动测试执行,不需要编码实现测试用例。
2.1 架构设计
itest功能组成与基本处理流程如下图,以主要协议HTTP为例:
基本设计思想:
1. itest框架支持case文件与执行的分离,case并非coding模式,而是通过各类文件描述case信息(请求文件,数据准备清理文件,验证结果文件…),itest解析case信息后转化为接口请求
2. 登录是针对uc,uuap等测试环境下,模拟请求并获得sessionid,HTTP请求的case需要带着sessionid
3. 参数化:itest作为执行框架,执行接口的部分逻辑比较薄,是基于数据驱动的方式,把case数据转为Junit4的参数化数组,循环执行
4. setup与teardown:以不同文件后缀代表不同的行为,itest内部可扩展实现对不同后缀名文件的操作逻辑,如后缀为.sql,则当做sql语句直接执行
5. 验证:也是以文件后缀名做有区别的验证,如后缀.response是直接判断expected.equals(actual)? 而后缀是.csv的则拼装为sql后查询db是否结果匹配
基础结构:
Junit4+HTTPunit+Ant
2.2 数据驱动
为降低自动化过程中case编写人员的编程成本,采用的模式是itest作为核心的执行与验证框架,傻瓜式的执行外部case目录内的各类文件,每一个 case都不需要coding。如下图所示:case的存在形式为文件目录,1个case是1个目录,itest顺序读取case,以相同流程执行每一个 case。
2.3 结果验证
结果验证按照业务系统的特征,现在支持以下几种:对接口返回的内容直接做对比验证;对数据库update后的内容做验证;将接口返回的json做处理后做验证。
2.4 测试数据
对业务系统自动化测试来说,业务测试数据非常关键,因为它需要符合一定的业务规则;如何构造数据有几个争议的地方:
1. 数据(包括DB,server文件,桩文件)一次性构造好放那不动,无法保证数据不被污染,且移植性受限;
2. 如果能做整个环境的备份还原则不怕污染,但是case与case之间可能会互相干扰数据
3. 自动化case是否严格要求数据的隔离,如果要求,则每个case都自己负责生命周期内的数据准备和清理;如果不要求,则需要case设计时刻意避免数据的使用混乱
不同业务系统在设计上各有千秋,哪一种数据准备的方案都是有不同的代价,结合笔者所处产品线的特征,认为自动化case自己负责生命周期内的数据准备与清理,是综合效果比较好的模式:1个独立的case,能有自己生命周期内的数据准备和清理,则最大程度上保证了case运行的稳定性和可靠性,避免case之间互相因为数据发生干扰!
2.5 扩展性
itest在扩展性方面,通过“以文件后缀作为识别标签,新的功能需求,约定一种新的文件后缀”,itest维护人员在框架内开发相应的分支逻辑,而case编写人员则只需按照文件约定格式设计文件即可。如下为目前支持的不同文件,以及相应的不同逻辑功能: