今天在梳理测试流程,同时检讨测试部门所做的工作,如何才能提高交付的质量,我认为测试做起来复杂,但说起来很简单,只四个字:严进严出。系统存在质量时就是因为这四个字没做好:
一、 :“严进严出”不到位或未提出明确的要求
1. 先说“严进”,目前造成测试问题很多,bug怎么也提不完的首要问题是“严进”没有做到位,需求不清晰、缺少设计文档,版本冒烟不通过,大量连续的补丁都会对测试造成很大的影响,继而影响到版本质量。
1) 做到“严进”我们有哪些要求?由于哪些因素的影响,我们可以不进行测试或有条件的进行测试任务?
A. 没有需求及设计文档或相关说明:功能已经开发完,但没有需求、设计文档或相关邮件进行确认,拒绝启动测试。
B. 需求及设计文档提交给测试部:功能已经开放完,但需求、设计文档没有传递到测试部,且没有预留足够的时间供测试人员理解和反馈需求问题,拒绝启动测试。
C. 功能未按计划完全实现,且没有明确的计划变更。(例如计划完成10个功能点,提交测试时仅完成8个),拒绝本次测试。
D. 进行计划评估时,发现测试资源、时间无法满足质量要求,拒绝启动测试。
E. 测试计划、方案未通过评审,拒绝启动测试。
F. 测试用例未编写完成,不能启动测试。
G. 版本冒烟测试不通过(标准的冒烟测试用例及规范)拒绝进行本次测试。连续(三次?)不通过后,要求进行计划变更,否则拒绝启动测试。
H. Bug 未按Bug review中要求的进行修改,或bug通过率低于80%时,拒绝本次测试。
2) 做到“严进”我们需要做到哪些?
A. 合理的评估测试计划(包括测试资源、测试时间、测试工具使用、相关组配合机制等)。合理指的是切实可行,且相关单位共同认可。
B. 完备的测试方案(主要是测试策略、测试点),测试方案紧扣需求及设计,测试场景符合客户场景。
C. 测试用例清晰覆盖面广,且不冗余。
D. 版本接收严格,不妥协,基本功能、重点功能、计划要求功能未完成时不进行测试或要求进行计划变更。
E. 测试评审。
F. 内部测试不通过补丁解决问题。
2. 再说“严出”,现场不断的反馈bug,不论我们解释的原因如何,首先被想到的就是为什么测试没有发现现场的问题,这个和我们的“严出”有很大的关系:
1) 功能不符合需求、设计文档,则测试不能通过。
2) 功能存在P1、P2级别bug,P3级别在10以内,则测试不通过。
3) 补丁超过3个时,需汇总到一起进行验证。
4) 每次版本、节点测试完成时,都配备测试报告或测试结论说明。