1、简介
1.1 目的
本文档的目的是为网站单元测试、集成测试、确认测试、系统测试、安装测试、验收测试提供停止标准。
1.2 范围
本文档适用于中国加盟网产品中心批准立项的项目《中国加盟网网站三期改版》的测试活动。
1.3 文档结构
第一部分:
简介,介绍测试停止标准的目的,本标准的适用范围,以及在本文档中使用的词汇的解释。
第二部分:
描述软件单元测试、集成测试、确认测试、系统测试、安装测试、验收测试停止标准。
第三部分:
使用的参考文献(略)。
第四部分:
附录
1.4 词汇表
1)缺陷(Defect)
缺陷是对软件产品预期属性的偏离现象。
2)覆盖率(Coverage rate)
测试执行覆盖率,测试需求覆盖率等的总称。
2、 软件测试停止标准
2.1测试暂停、停止标准
1) 网站在进行单元、集成、确认、系统、安装、验收测试时,发现一级错误(大于等于1)、二级错误(大于等于2)暂停测试返回开发部。
2)网站在进行单元、集成、确认、系统、安装、验收测试时,发现严重的样式问题,需暂停测试返回设计部。
3) 网站经过单元、集成、确认、系统、安装、验收测试,分别达到单元、集成、确认、系统、安装、验收测试停止标准。
4) 网站通过验收测试,并已得出验收测试结论。
5) 网站测试项目需暂停以进行调整时,测试应随之暂停,并备份暂停点数据。
6) 网站测试项目在其开发生命周期内出现重大估算,进度偏差,需暂停或终止时,测试应随之暂停或终止,并备份暂停或终止点数据。
2.2 单元测试停止标准(主要是白盒测试)
1) 单元测试用例设计已经通过评审。
2) 按照单元测试计划完成了所有规定单元的测试。
3) 达到了测试计划中关于单元测试所规定的覆盖率的要求。
4) 被测试的单元每千行代码必须发现至少3个错误(不含五级错误)。
5) 系统单元功能与设计一致。
6) 在单元测试中发现的错误已经得到修改,各级缺陷修复率达到标准。
2.3 集成测试停止标准(白盒和黑盒测试)
1) 集成测试用例设计已经通过评审。
2) 按照集成构件计划及增量集成策略完成了整个系统的集成测试。
3) 达到了测试计划中关于集成测试所规定的覆盖率的要求。
4) 被测试的集成工作版本每千行代码必须发现至少2个错误(不含五级错误)。
5) 集成工作版本满足设计定义的各项功能、性能要求。
6) 在集成测试中发现的错误已经得到修改,各级缺陷修复率达到标准。
2.4 确认测试停止标准
1) 确认测试用例设计已经通过评审。
2) 按照确认测试计划完成了确认测试。
3) 达到了确认测试计划中关于确认测试所规定的覆盖率的要求。
4) 系统达到详细设计定义的各项功能,性能。
5) 在系统测试中发现的错误已经得到修改,各级缺陷修复率达到标准。
2.5 系统测试停止标准
1) 系统测试用例设计已经通过评审。
2) 按照系统测试计划完成了系统测试。
3) 达到了测试计划中关于系统测试所规定的覆盖率的要求。
4) 被测试的系统每千行代码必须发现至少1个错误(不含五级错误)。
5) 系统满足需求规格说明书的要求。
6) 在系统测试中发现的错误已经得到修改,各级缺陷修复率达到标准。
2.6 安装测试停止标准
1)网站上线后,系统可以正确启动、运行。
2) 在上线测试中发现的错误已经得到修改,各级缺陷修复率达到标准。
2.7 验收测试停止标准
1)网站需求分析说明书中定义的所有功能已全部实现,性能指标全部达到要求。
2) 在验收测试中发现的错误已经得到修改,各级缺陷修复率达到标准。
3) 所有测试项没有残余一级、二级、三级和四级错误。
4) 需求分析文档、设计文档和编码实现一致。
5) 验收测试工件齐全(测试计划、测试用例、测试日志、测试通知单、测试分析报告)。
2.8 缺陷修复率标准
1) 一、二级错误修复率应达到100%
2) 三、四级错误修复率应达到95%以上
2.9 覆盖率标准
测试执行覆盖率应达到100%
测试需求执行覆盖率应达到100%
2.10 错误级别标准
一级:不能完全满足系统要求,基本功能未完全实现。系统崩溃或挂起等导致系统不能继续运行。
包括以下各种错误:
1)由于程序所引起的死机,非法退出。
2) 数据库发生死锁。
3) 因错误操作导致的程序中断。
4) 功能错误。
5) 与数据库连接错误。
二级:严重地影响系统要求或基本功能的实现,且没有更正办法。使系统不稳定、或破坏数据、或产生错误结果,或部分功能无法执行,而且是常规操作中经常发生或非常规操作中不可避免的主要问题。
包括以下各种错误:
1) 程序接口错误。
2) 因错误操作迫使程序中断。
3) 系统可被执行,但操作功能无法执行(含指令)。
4) 单项操作功能可被执行,但在此功能中某些小功能无法被执行(对系统非致命的)。
5) 在小功能项的某些项目(选项)使用无效(对系统非致命的)。
6) 功能实现不完整,如删除时没有考虑数据关联。
7) 功能的实现不正确,如在系统实现的界面上,一些可接受输入的控件点击后无作用;对数据库的操作不能正确实现。
三级:严重地影响系统要求或基本功能的实现,但存在合理的更正办法。系统性能或响应时间变慢、产生错误的中间结果但不影响最终结果等影响有限的问题。
包括以下各种错误:
1) 操作界面错误(包括数据窗口内列名定义、含义是否一致)。
2) 简单的输入限制未放在前台进行控制。
3) 删除操作未给出提示。
4) 虽然正确性不受影响,但系统性能和响应时间受到影响。
5) 不能定位焦点或定位有误,影响功能实现(如光标的定位等)。
6) 显示不正确但输出正确。
四级:使操作者不方便或遇到麻烦,但它不影响执行工作功能或重要功能。界面拼写错误或用户使用不方便等小问题或需要完善的问题。
包括以下各种错误:
1) 界面不规范。
2) 辅助说明描述不清楚。
3) 输入输出不规范。
4) 长时间操作未给用户提示。
5) 提示窗口文字未采用行业术语。
6) 可输入区域和只读区域没有明显的区分标志。
7) 必填项与非必填项应加以区别。
8) 滚动条无效。
9) 键盘支持不好,如在可输入多行的字段中,不支持回车换行;或对相同字段,在不同界面支持不同的快捷方式。
10) 界面不能及时刷新,影响功能实现。
3、 参考文献
(略)
4、附录