1)定制终端评测趋势
● 定制终端评测
→ 硬件:射频一致性、协议一致性、无线资源管理、硬件元器件、WLAN是当前硬件测试主要内容
→ 软件:操作系统测试、浏览器测试、移动应用测试、Widget测试当软件测试重点,内容逐渐由功能向非功能演进
● 预装在定制终端的移动应用评测
→ 功能、性能、稳定性、兼容性
→ 用户体验、隐私安全
● 终端和移动应用评测自动化工具越来越成熟
● 终端及其应用的性能、稳定性评测将成为入库重要依据
● 用户体验评测将成为不可或缺的组成部分
2)三大智能终端平台差异
以智能终端操作系统为基础,结合多种基础中间件、业务中间件、通信中间件来实现对应用的支撑。其中应用又可分为本地应用和Web应用两类。本地应用体系以iOS+App Store+NativeApp为代表,Web应用以HTML5/Widget+Web Store+Web App为代表
以iOS/WP7为代表的系统闭源/封闭文件管理系统/接口开放模式
以oPhone OS/WM为代表,系统闭源/开放文件管理系统和接口模式
以Android/Meego/WebOS/WinCE为代表系统开源/开放文件管理系统和接口模式
3)互联网应用测试的复杂因素
传统的测试方法是暴力的、疯狂的、相当麻烦的。
● 全球多达十亿两千万mobile web用户
● 74%的人将无法容忍超过5s的页面加载时间
● Gartner预测,至2014年超过90%企业级应用将支持智能终端版本
● 据统计,智能机上移动应用软件所引发的无线流量是非智能机10倍以上,美、英、德、日运营商都曾出现信令风暴导致的通信网瘫痪
● 截至2011年Q3的统计,Android操作系统出现7个版本,覆盖130个机型,每个机型超过2家硬件参考设计。光从终端适配角度看,若实现完整的测试覆盖,需完成1820次回归测试。倘若无法借鉴自动化测试工具,几乎是无法完成的任务
终端
● 操作系统平台、机型、屏幕分辨率、驱动差异等
网络
● 地域、制式、通信业务、网络优化程度、漫游等差别
自动化测试脚本
● 因平台、菜单风格不同,模拟客户端或自动化脚无法复用
移动应用客户端性能测试面临的困难
● 支持除支持http(s)协议外,普遍存在定制协议
● 整个应用链关联的对象复杂,如web service第三方内容、CDN内容分发
● 缺乏测试过程中数据收集、监控和诊断工具
● 缺乏客户端模拟并发工具,压力/负载测试工具需重新选择
4)测试
从互联网应用软件质量角度看,其主要的质量要求列举如下:
● 功能性:终端上移动应用功能越来越复杂,测试难度、周期和工作量逐步加大,测试成本快速上升
● 稳定性:用户使用移动应用时,与终端的电话、短信、浏览器等背景业务经常产生功能交互,增加了移动应用的不稳定性
● 可维护性:用户越来越关注应用业务的用户体验,在应用上线后需要持续对业务运营质量进行测试和监控
● 性能:终端上移动应用与终端、网络和服务的性能都有关系,性能遭遇瓶颈时,定位需围绕应用关联的整个链路来开展,导致应用业务优化的成本在不断提高
从用户角度看,测试重点列举如下:
-----------------------------------------------------------------------------------------------------------------------------