从 2020 年启动首次国内软件质量的调查,已经进入第 4 年,持续获得广大合作社区的支持。2023年参加调查的社区与去年基本相同,有 CSDN 社 区、QECon、测试窝、异步社区、腾讯 WeTest 社区、Testin 云测试社区、MeterSphere 开源社区、掌动智能国产化社区、龙测社区、Eolink API 社区、禅道项目管理软件社区、RunnerGo开源社区等。
为了保持统计数据的连续性,有利于进行比较分析,调查题目尽量不做改动,只是做了局部的调整和优化,例如:
- 公司的质量文化
- 利用大模型提高质量
希望本次调查数据更全面、更有价值。通过调查,我们得到下列19项结论:
敏捷(Agile,软件工程2.0)仍然是主流的开发范式,团队更倾向于敏捷化团队,团队规模更小,交付节奏更快,但航空航天、制造业等软件的研发团队更多地选择了传统的开发范式(软件工程1.0)。
大部分的企业和团队在对待“质量”这个主题,把用户体验和长期价值放在首位,但没有和经济效益联系在一起。
整体质量不容乐观,和去年基本持平,严重崩溃事件和安全问题还有所恶化。不过,相比2022年,65.4%的受访者认为“2023年产品质量有所提升”,但距离我们的目标值80%还有一定的差距。
认为质量是企业的生命的团队占比最高,为27.5%,不到三分之一。但还有18.9%的受访者认为在团队中比起质量更重视进度和交付时间;更糟糕的是——感受到业界对人不够重视,只有2.8%的受访者认为“重视质量更应体现在招人、人的培养等方面”。
2023 年质量文化没有大的变化,但也有可喜的一面,相对 2022 年,更多的团队在绩效考核中有明确的质量指标、有质量指标的可视化看板。可见基于数据驱动的质量文化在越来越多的团队中被认可。
质量管理组织不到位的情况有所好转,有39.8%的受访者所在企业有至上而下的SQA部门,增长比较明显。
2023年需求质量有明显改善,一半的受访者对需求质量是认可的。但需求质量还存在比较多的问题,主要有“需求文档描述模糊、细化不够”、“需求文档缺少典型的应用场景、用例”、“需求变更频繁”、“需求文档缺少验收标准”等。
从变化趋势来看,2023年受访者对各项设计不满意的数据总体并未变化,但设计质量有所提升的有三项:系统整体设计、系统架构设计和UI设计。设计质量有所下降的有:接口设计和功能设计。但质量满意度排在前3名的依旧是:功能设计、系统架构设计和接口设计。
之前我们不断提醒的“设计评审”下降比较快,已引起了国内团队的关注,今年设计评审活动有提升,但“邀请运维人员参加设计评审”退步明显,和“我们提倡 DevOps 实践”背道而驰。
在我们软件质量调查的不断推动下,代码质量在逐步提升,而且从 2021 年的“对单元测试没有要求的团队”占到 49.2%,降到今年的 35.1%,下降了 14.1%,每年下降超4%,降幅明显。
代码质量所依赖的三大法宝:“人工的代码评审、工具的代码分析和良好的代码规范”的每一项占比都超过了 55%,即使在普遍采用代码静态分析工具的今天,人们也没忽视人工代码评审,排在第一的位置。
越来越的团队开始重视测试阶段的代码覆盖率,测试计划、测试用例评审也做得比较好,但是,“强调质量是构建的”占比还是最低的,只有 21.7%,让我们忧伤。
2023年的数据情况显示:软件开发和测试的融合没有进步,停滞不前。虽然我们依旧相信:开发和测试会进一步融合,独立的测试团队会减少。
2023年自动化测试水平没有进步,我们寄希望于2023年自动化率超过50%的占比超过一半,但是希望落空,与去年持平(47%)。
在我们持续宣传质量工程的理论和实践之下,“构建系统的软件质量工程框架”和“业务驱动的需求工程”均有显著的提高。
2024年投入,“功能 UI/API 测试”提升很明显,这符合DevOps和敏捷测试发展的需求。
质量管理工作,“提升测试能力、规范测试水平”、“流程改进”有明显提升,但面向开发质量的管理工作占比并未体现出进展。
明年计划的重点工作,分别是“团队人员能力建设”、“提升测试能力、规范测试水平”、“流程改进上”,大家终于认识到“人是决定的因素”,可喜可贺。
针对应用大模型技术,超过一半的团队认为是有帮助的,而且主要应用在需求、代码和测试的质量提升上。
欲知详情,请下载《2023年国内软件质量调查报告》
下载方法:关注“测试窝”公众号,在“消息”中输入“2023质量调查”。