敏捷测试现状调查初步报告 (一) 已经向大家报告了七项内容:
-
从哪一年开始实施敏捷开发的?
-
能熟记和理解敏捷宣言嘛?
-
主要采用/参照哪一种敏捷开发的模式/框架?
-
哪几个敏捷价值观在敏捷测试实施中更为重要?
-
哪几项是敏捷测试获得成功的要素?
-
开发与测试融合的程度如何?
-
专职测试人员在敏捷团队中主要工作是什么?
下面继续报告 敏捷测试现状调查 的其它各项内容。
8. 在编程中全面采用(单元)测试驱动开发(UTDD)吗?
点评:测试驱动开发(TDD)在编程这个层次上实现相对困难一些,多数程序员虽然能够接受TDD的是思想,了解TDD的作用,但还是很不习惯TDD具体的操作方式,所以“几乎没有”和“少量”合计 占到80.6%,全面实施UTDD的只有1.61%,但UTDD还有20%公司在搞,在我们面前露出一束曙光。
9. 在敏捷开发中全面采用验收测试驱动开发(ATDD)吗?
点评:验收测试驱动开发(ATDD)在需求层相对容易操作,情况就比UTDD好多了,“几乎没有”和“少量”两项合计降到58.0%,但还是非常不理想,理想情况应该低于20%。相比UTDD,ATDD的“几乎全部”和“大量”两项提高了一倍,但还有较大的提升空间。
10. 单元测试的代码行覆盖率达到多少
点评:大约35%的公司,其单元测试的代码行覆盖率达到61~80%,而代码行覆盖率超过80%的,寥寥无几,只有1.7%。还有近30%的公司,其单元测试的代码行覆盖率低于20%。所有调查公司的平均代码行覆盖率是只有45.2%,不乐观。参与调查的公司基本属于比较优秀的公司就是这样状态,全国平均水平会更糟糕。
11. 系统功能的自动化脚本占所有有效的Tests的比重
点评:功能测试的自动化相对好些,有8.2%的公司,其自动化测试的比重超过80%,自动化比重高于60%的公司超过三分之一(34.4%)。但接近42.6%的公司自动化比重还低于40%,在这些公司中自动化测试发挥的效益还很有限。平均的比重也只有47.5%,也低于50%。
12. 在一个迭代中,系统功能的自动化脚本占回归测试的比重
点评:虽然有19%的公司,回归测试自动化的比重超过80%,但总体看,系统功能的回归测试自动化没有明显改善,平均比重也只有47%,还不到50%。虽然大家应该都知道,自动化测试主要应用于回归测试中,而且在敏捷测试中回归测试是必须的,如敏捷测试现状调查初步报告 (一) 第5项 敏捷测试获得成功的要素,“自动化测试”排在第一的位置。
13. 测试人员理解真正意义上的探索式测试吗?
点评:探索式测试的理解整体还好,接近55%的人基本能够理解,但有10%几乎不能理解。我在 软件测试的一个新公式引起的思考 中提到测试包含两项主要工作:已知的检验和未知的实验,前者依赖于自动化测试,后者依赖于探索式测试,这在敏捷测试中更是这样。希望大家有更多的探索式测试实践,这也需要智慧和勇气。
14. 系统功能的探索式测试占整个手工测试的比重
点评:探索式测试的“应用”比“理解”要困难的多,探索式测试占整个手工平均测试的比重只有25.6%。绝大多数公司(61.3%)没怎么实践探索式测试(低于20%),而所幸之事:有20%的公司,其探索式测试的比重超过40%。
15. 在所有发现的Bug(缺陷)中,通过探索式测试所发现的Bug占的比重
点评:探索式测试所发现的Bug占的比重只有23.4%,略低于上面那项,但非常靠近,一是说明探索式测试应用水平还很低(从我个人看,在敏捷测试中只有自动化测试和探索式测试,自动化测试守护回归缺陷,而探索式测试发现新修改的缺陷,所以绝大部分的缺陷,如80+%的bug被探索式测试发现),二是说明此次调查的数据还比较可靠(14、15项数据靠近)。
16. 在探索式测试中全面实施Session Based Test Management吗?
点评:既然探索式测试应用水平很低,SBTM应用不会多,一大半公司(56.45%) 还没有开始,但可喜可贺,27.4%开始应用SBTM,估计这里面有我贡献。只有5%的公司一直在用,超过1年以上的公司也只有13%,还非常低。
17. 评估自己团队的敏捷测试,给出最后评估分数
点评:最后大家给自己打分还是偏高些,即使这样平均得分52.1。有10%的人打出80分以上,只有40%左右的公司合格(得分61分以上)。不及格的公司将近61%,其中18%的公司得分很低(低于20分)。
(待续)