大约一周前,我与一位DeepEval用户进行了一次通话,她告诉我,她认为测试和评估大型语言模型(LLMs)是两个不同的概念。当我问她对LLM测试的定义时,她这样回答:“对我们来说,评估LLM更多的是通过基准测试选择合适的模型,而LLM测试则更多是探索在不同场景中可能出现的意外问题。”既然我已经写了一篇关于LLM评估指标的完整文章,这篇文章我们将深入探讨如何使用这些指标进行LLM测试。我们将探讨什么
2024-10-20/1733 人阅读/247 人点赞
引言我成为技术主管已经超过一年半的时间,在日常工作中,我会持续召开回顾会议来总结学到了什么,以及如何在将来有所提高。我一直都觉得这些事情对我个人和职业生涯都非常有价值。因此我决定大概每周做一次这些相关内容的分享,同时也便于某些读者发现其中可能的价值。另外我也经常致力于自己的专业发展,这是巩固以艰难方式获得的所有知识的一个方法。经验教训应对风险作为团队里的技术负责人,我的主要任务是客户维持(或者用最
2024-10-20/1525 人阅读/244 人点赞
引言我成为技术主管已经超过一年半的时间,在日常工作中,我会持续召开回顾会议来总结学到了什么,以及如何在将来有所提高。我一直都觉得这些事情对我个人和职业生涯都非常有价值。因此我决定大概每周做一次这些相关内容的分享,同时也便于某些读者发现其中可能的价值。另外我也经常致力于自己的专业发展,这是巩固以艰难方式获得的所有知识的一个方法。经验教训耐心是领导所需的最大技能之一我挣扎了很久的事情是,有时我对团队的
2024-10-20/1559 人阅读/248 人点赞
引言我成为技术主管已经超过一年半的时间,在日常工作中,我会持续召开回顾会议来总结学到了什么,以及如何在将来有所提高。我一直都觉得这些事情对我个人和职业生涯都非常有价值。因此我决定大概每周做一次这些相关内容的分享,同时也便于某些读者发现其中可能的价值。另外我也经常致力于自己的专业发展,这是巩固以艰难方式获得的所有知识的一个方法。经验教训客户不应该支付您的学费我想这是一个大多数(如果不是所有)高层和管
2024-10-20/1525 人阅读/133 人点赞
这是来自Reddit上的一个提问。背景如下:一名QA在整个组织的各层都进行了相关测试,包括用户验收测试(UAT)在内。同时也在prod环境中进行了可用性测试,但非完全测试。在prod环境部署完成后,QA报告了一个prod环境中的bug。开发经理将责任归咎于QA,因为他认为这应该在可用性测试期间发现。我的问题是,为什么要在prod中进行可用性测试?可用性测试并不能确保彻底测试以发现细微的bug。
2024-10-20/1584 人阅读/244 人点赞
软件测试是软件开发生命周期(SDLC)不可或缺的一部分,它识别软件应用中的漏洞或问题,并确保这些问题能够及时被修复和解决。这个过程涉及各种活动,如测试计划制定、测试用例编写和测试场景开发。为了确保软件开发不会失败,测试活动必须得到有效管理。然而,软件失败的一些原因可能是文档不完善、过早发布、资源不足、测试时间有限等,这些都源于测试管理不善。测试管理是指组织和控制所有与测试相关的活动,以确保开发
2024-10-20/1793 人阅读/138 人点赞
一个软件测试领域的新人经常会问的一个问题是……测试人员需要编写代码吗??在回答这个问题之前,我们需要对软件测试的各种角色有一个全面的了解。软件质量保证(QA)通常分为两类:质量分析师(QualityAnalyst):QA负责测试验证系统的功能和完整性。QA仅在开发阶段之后验证软件。QA的角色不如开发人员那样技术性强,可能不需要编码。测试中的软件设计工程师(SDET,SoftwareDesign
2024-10-20/1550 人阅读/138 人点赞
质量保证和质量控制流程是商业成功的关键,在所有商业职能(如职能部门、运营和项目管理)中都至关重要。质量保证(QA)负责管理开发产品所需流程的质量和稳健性,而质量控制(QC)则确保产品符合其规格要求。由于这两个流程是相互依存的并且相互沟通,因此许多专业人士并不理解这些术语之间的区别。有一次,我在一个会议上遇到一个人,他告诉我他在组织中担任QA/QC工程师。我问他关于他的职责。他回答说,他负责检查
2024-10-20/1687 人阅读/138 人点赞
测试人员需要学会在没有职位头衔的情况下领导测试活动,并在你的团队中增强你的影响力和发挥作用。“领导一项任务活动而不是亲自去做,这需要改变心态。我们要成为让事情发生的粘合剂,去促进合作,并为执行测试的人之间建立信任。专注于退居幕后,成就他人的成功。”不是管理者?也要站出来领导测试活动在我领导测试团队的二十多年里,我从未正式管理过任何人。即便如此,我也领导过许多大大小小的测试活动,通常整个团队都在
2024-10-20/1554 人阅读/135 人点赞
在2022年的一份报告中,信息和软件质量联盟(CISQ)报告称,劣质软件的成本已增至2.41万亿美元。的确,在软件驱动的世界中,测试代码库是不可或缺的。扩大测试范围和测试覆盖率现已成为软件研发人员的首要任务。但什么是测试覆盖率,实现100%测试覆盖率真的很重要吗?100%测试覆盖率到底意味着什么?测试覆盖率衡量的是代码库中经过测试的部分有多少。它的目的是通过使用测试用例来覆盖尽可能多的应用程序
2024-10-20/1633 人阅读/245 人点赞