上篇 讨论了 两款工具 Applitools、Appvance IQ,这篇来介绍三款工具 EggPlant、mabl和retest。
3. Eggplant
在过去三年,Eggplant已启动了一个新的、基于AI的软件测试云平台——Eggplant Digital Automation Intelligence(DAI)——数字自动化智能,整套工具使用AI和深度学习来从界面上寻找缺陷,能够自动生成测试用例,大幅度提高测试效率和覆盖率,具有以下特点:
1.基于Cloud的端到端自动化:可扩展的融合引擎可在云中为任何应用程序或网站提供流畅、高效的、并行的和持续的端到端测试。
2.UX洞察力:高级用户体验(UX)数据点和指标的添加,能让用户帮助完成其应用程序的UX测试,并将测试结果(对UX的见解)添加到UX行为中,有助于改善SEO。
3.来自真实用户的交互式洞察:提供对数据洞察的访问,包括反弹、转换、访问者统计、持续时间、加载时间、页面图像、输入和会话分析。新的报告包括增强的可视化和过滤功能。
4.全自动的自我修复测试资产:随着被测底层应用程序的运行下去,使用AI自动添加新的图像变量并进一步识别所需的测试,并在完全用户控制下自动构建和运行这些测试。这些测试是自我修复的,并随着被测系统的发展而自动适应。很酷的特性,对吧?

EggPlant构成(Manager server、agent和Functional客户端)

(agent设置)


● Model:模型类似于一个流程图,但在功能上更像一个路线图。用户旅程可在任意方向上往返于所定义的状态和操作之间。
● Suites:查看通过代理窗口的“Manage Suites”上传的测试集。
● Snippets::编辑与活动模型相关联的脚本,而不需要打开EggPlant Studio。
● Capture:之前没有在Modeler中创建模型的经验,通过录制从头开始创建模型。
● RCI:使用Eggplant Real Customer Insights导入真实用户旅程。从而可以了解网站在转化率、跳出率、用户参与度和收入方面的表现。在收集用户度量之后,RCI平台会自动生成包含7天用户旅程数据的数据文件,这些数据文件可以用来生成用Eggplant DAI表示用户旅程的测试用例。

(原理示意图)

(更详细内容,请参考:http://docs.eggplantsoftware.com/en-us/DAI/eggplant-dai-home.htm)
Eggplant的AI驱动的测试方法创建了系统和用户旅程的模型,并自动生成测试用例,提供对用户体验以及系统性能、功能的强大覆盖。通过自动反馈循环,可以快速识别和解决问题。AI驱动测试的其他功能包括:
● 回归测试:定义在产品发布之前必须通过的关键任务——端到端测试。借助AI和机器学习(ML)可以从这些固定测试中收集到的信息,以识别其他测试用例,构建特定的回归测试集。
● 缺陷搜索:先进的ML可以关联共同因素和历史缺陷的属性,以确定新的属性,从而进最大可能发现新缺陷。
● 覆盖率分析:分析在模型中的历史位置,并提供一个平衡的视图,以达到尽可能高的测试覆盖率。

更多内容,请参考:https://docs.eggplantsoftware.com/
4. mabl
从mabl官方网站看,过去三年有了很大进展,产品逐渐成熟,覆盖了接口测试、移动app测试等,特别突出的特性是低代码测试能力和自愈测试自动化,和上面介绍的EggPlant有些类似。

低代码自动化测试,我们之前介绍过,慢慢成为AI测试工具的标配,包括前面介绍的几个工具都有类似的功能,即能够录制用户操作或测试人员的操作过程,形成业务流图或形成DSL这样的自动化测试脚本。

(直观的用户界面,当你浏览页面时,mabl同时就在创建测试)

(录制的脚本,类似自然语言)
自愈测试自动化能够自动解决测试脚本演化过程中出现的问题,当应用程序的用户界面更改之后,原来用户设置的测试参数、对象定位方式等细节出错时,工具可以依赖AI 和ML 来检测这些更改,并自动更新测试。

(人机交互智能)


(智能元素定位器可以自动调整识别方法、识别应用程序的变化,并支持React、Angular和VueJs等框架)
另一个进步,Mabl帮助测试如何更好融入DevOps,并和CI/CD的流水线集成起来,使整个研发效率提升一倍。
5. ReTest
retest 在2019那年(为何说“2019那年”、不说“三年来”,因为看了网站消息,2020年之后就没什么动静),形成一个云服务的框架,重点打造的产品是recheck-web工具,它不仅检测功能差异,还能检测视觉差异,特别适合回归测试,它也是Chrome浏览器的一个插件,基于cloud平台可以进一步改进recheck-web,毕竟机器学习需要数据,而cloud平台可以帮忙收集此类数据。

(ReTest的测试框架示意图)

(recheck-web目前只有Java/Selenium 或Chrome扩展,能针对输入进行比较分析,也可以定义自己的过滤器,还能和rehub集成)

(自动进行全面细致的比较,让测试人员了解哪些元素的内容或CSS属性做了哪些改动)

(专利技术:一键机制快速高效地维护测试)
但是针对AI-based testgeneration (基于AI测试的生成功能)做了尝试,结果返回 “default backend - 404” ,失败。

准备研究Sauce Lab的AI测试平台,去访问官网:https://saucelabs.com/ 结果返回404,无法继续下去。
(未完待续,下期将研究另外3个工具:Sealights、Test.AI和Testim,敬请关注)