群体测试之未揭之秘

Nivedita Nimmagadda是Next Education的QA经理，她有10多年的经验。她主要对新技术，工具，流程和方法的研究和开发有兴趣。她一直在跟进软件测试的最新趋势以将QA工作减到最少并提高生产力。她热衷于智能工作，而不是埋头苦干。她管理项目时最强调过程，并对不同项目管理和测试管理工具的集成做出了重大贡献。她曾评估过功能自动化工具，移动自动化工具和性能工具，并培训和指导团队建立过强大的自动化框架。

　　听到“群体测试”一词时，首先窜入你或大家脑海的是什么呢？——一大帮人在测试你的产品。没错，wiki就是这么定义它的，不同于传统测试方法，群体测试是由许多不同地方的不同测试员执行的，而不是雇佣的顾问和专家。如果你是管理一员或在决策团队里又或者是一名项目经理，接下来你又会疑惑：

　　群体测试如何保证质量？
　　群体是独立的且作为一个用户来进行测试：IT业务飞速变化，设计的产品也一样。需要的服务越多，要交付的客户就越多，你的产品要被经常测试的几率越多，而QA周转期就越少。一旦我们遇上QA团队并试着理解失败的原因，或多或少是开发员和同行影响了QA测试的方法。群体测试的一个好处是，因为它的QA不团队合作且它也不受开发员影响，所以它或许可以发现QA团队之前没有发现的bugs，并从用户的角度帮助我们提升产品。在业内我们可以做到最好地去评估你的产品并建议改变，如果需要的话。不同的人和环境的群体测试：一个QA团队有可能测试所有的设备和环境。如果是移动，这就很对，因为移动市场一直飞速发展，也意味着引进了新设备且软件版本也要变化以适应业务需求。要战胜这些挑战并确保你的APP或网页在所有环境或配置中正常运行，就让群体去测试。群体在被广泛使用的配置和环境中测试产品，由此减少了在一些特殊配置中失败的风险。此外，我们甚至可以选择不同年龄段的人，以确保APP或网页对大多数高使用提供商，移动设备，全球信号强度有效。它有助于我们测试最实际的使用方法。快速的周转时间：群体很适应如周转时间很短时公司想雇佣大量测试员并验证一个产品，而不是就为了这个目的去雇佣QA一类的需求。可以是一大群人同时在不同的设备，操作系统和环境上测试你的应用程序。另外，如果应用程序太大无法测试的话，就可以把它分成子模块（微任务）并指定给一个群体用户。

　　我如何知道我得到了什么？我是否得到了正确的群体吗？
　　正确的测试员：这是另一件管理必须要关注的事。谁要一个应用程序一个应用程序地去测试它。对于B2C应用程序，我们或许对覆盖一系列有广泛代表性的目标用户会有兴趣。我们或许想根据如年龄，受教育程度，文化，语言等选择测试员。对于B2B应用程序，一些领域知识，专业技能和条件或许是有利的或必要的。大多数情况下，强烈建议选择专业软件测试工程师。QA质量：众包测试雇佣的QA是不同领域的认证测试工程师。对单个测试员的提问，背景检查及“beta测试”都在用户通过其平台使用他们前就做好了。指定QA的方法根据公司而变化，且在给这些公司指派任务前就要把这些都检查好。根据测试员的良好表现，测试员才能为那家公司工作。

　　提供的定价模式是怎样的，它是如何帮我省钱的？
　　和其他演变一样，众包演变的主要原因之一是为减少所需QA成本。不同的众包公司采用不同的定价模式。一些公司基于以下付款模式或以下模型的组合来支付测试员，允许企业按每个错误每个应用程序的支付模式去付费：根据测试人员发现的bug数量及这些bug的影响来支付测试员。这是分配给选定的测试组的任务，反过来，根据所提出的可以增加产品质量的真正的bug数量支付测试员。公司有一个B2C应用程序时，该方法更有用，因为新手和专业测试人员都只需要以最终用户的身份去进行测试。在B2B应用程序中，测试人员将需要大量的培训和专业化，且发现的BUG在被交给开发人员前需要进行验证。这有助于以较低的成本找到大量缺陷。每个任务都要为bug支付不同的价格，测试员可以在任务悬赏说明里看到：项目都在（每个用户在上面都有资格给测试价格投标报价的）云公司网站上。出价最低的人获胜并被指派去测试应用程序。测试人员之间的比赛：不是立马给测试员提供金钱，而是要求测试员在多个部分上工作，且每个项目都有不同的规定。一旦测试员赢得了比赛，并取得了相应的信誉点数，然后一直积累兑换钱，同时也增加了他们被下一个项目选择的机会。资源池：一些群体解决方案只有用个人才能有所超越，他们甚至还可以用移动设备来测试，且个人通过贡献他们的设备收获金钱。这能让公司避免承受购买多台设备的高成本压力。自动化工具很贵，基本小公司买不起;通过云和群体可以共享这些。测试人员也可以因为完成测试脚本，提供有价值的反馈，以及完成其他各项任务而获得报酬。对于软件测试自动化或任何其他特定领域，受雇测试员很受欢迎，所需薪水也更高。这一类服务可以轻易从云获得。定价模式可以变的，无论是小时支付还是按完成的任务支付。

　　我该如何保护我公司的IP和/或用户数据？
　　使用群体的公司应具备能够根据测试性质提供最多安全并按需复制与系统和基于内联网的测试环境一样的基础设施，包括：为客户提供专门服务。但是考虑到群体测试的性质，比起IP和APPs的本质（这个测试员看不出来），公司更关心的是隐私问题及客户数据。例如，如果公司关注隐私问题，那么该公司就可以隐去测试时使用过的数据。安全，尤其是移动安全，是一个大问题，无论公司用的是内部资源还是外部的。

　　什么时候用群体？
　　群体测试的环境和条件继续演变，但真正的关键在于“灵活创新”。想想几十万应用程序，不断变化的平台和设备，以及不计其数次的发布，实际上公司是一直在利用客户在实时测试他们的软件。那是一个美好新世界，与过去完全不一样。比如，你的公司或许：
　　 ?吸引一家提供商提供完全的外包群体测试
　　 ?让众包测试专家指导你员工的日常任务及难题
　　 ?用群体测试平台找出并雇佣专业人才
　　 ?同意群体测试平台建立并管理你自己的群体
　　 ?用群体评估你的内部测试工具和能力
　　 ?吸引第三方加入以帮助提供众包策略，供应商管理，及对基于群体的解决方案的管理。
　　这些是基于你公司的独特环境和目标的所有可能。灵活是创新（相比迅速开发巨大资源的传统方式，公司如何确认、建立并管理群体；如何建立运行项目并意识到：群体不仅仅是 ‘工作’还是要为了如何更好地工作而思考）最重要的一方面。

　　什么时候适合用群体测试（什么时候不适合）？
　　群体测试是如何融入整个公司采购测试策略，什么时候适合用群体测试？在考虑在哪、何时能最好地对他们的软件应用程序使用群体测试，公司应该要考虑几个重要的可变因素。通常，群体测试最适合用在以下情况中：
　　 ? 互联网是‘操作环境’和连接机制时
　　 ? 应用程序服务公开进行，且能够接受全球请求时
　　 ?有处理大规模的同时在线用户的需要和能力时
　　 ?客户端计算机装置是公开的，只有很少的需求——PC和 mobile时
　　 ?应用程序稳定性有一些等级
　　有些东西公司只能用群体测试——比如反映真实用户IT设置的多语言或“脏配置”。群体测试业也适于多种测试方法——如瀑布，敏捷——也很适合黑盒测试，显然是对应防火墙外的应用程序。然而，群体不是全能的。公司不能指望群体去测试所有的特例及web或应用服务器端驱动的不利条件，尤其是条件在测试前或后改变的话。尽管如此，公司还是让他们的专属群体去做白盒测试。事实上，在众包和应用程序测试内传统外包提供商正在努力建立专门专属的群体来提高他们自己测试员的效率。简而言之，根据以上因素，总有时间和地方让公司把群体测试用作他们整个测试策略的一个重要部分。

　　使用群体时的挑战
　　有了各种形式的采购，就会出现关于多种可供买家选择的工作方式的问题。各种应用程序测试方法都有障碍和困难。对于传统外包，公司内外都有困难，包括：
　　 ?缺少内部测试使得外部提供商难以介入
　　 ?购买其他选项时内部资金不够
　　 ?对于供应商来说，缺少测试自动化工具和专业知识
　　 ?供应商关于业务和相关应用程序的行业知识
　　评估群体测试的公司或许也有相似问题，但其他的就无关了（例如：专业或功能测试或许与B2C应用程序不太相关）。也有些问题只针对群体测试，比如市面上的新事物，进程和工人的质量问题，以及数据隐私、IP保护和安全问题。

原创作品，转载时请务必以超链接形式标明本文原始出处、作者信息和本声明，否则将追究法律责任。