最近在测试时遭遇到一个问题:

当用户在执行我们的产品, 同时也在执行其他软件, 像是ftp, 听音乐, 上网, 烧片子, 用MS Office, MSN, facebook...等等, 可能会造成系统缓慢或是不正常.

我们的QA大部分时间都在执行funcational testing, 也就是确认我们系统的功能是否正确, 因此在他们执行过程中不会去执行其他软件, 因此也就没有遇到这种状况.

或许有些QA会想说要做兼容性测试(compatibility testing), 但是大多只是把一些常用的软件装上去, 简单看一下我们的受测程序是否大致正常, 这样就结束了. 所以可想而知应该是抓不到什么问题.

在wiki中有提到兼容性测试要做哪些事情:
Wiki - Compatibility testing
http://en.wikipedia.org/wiki/Compatibility_testing

Compatibility testing, part of software non-functional tests, is testing conducted on the application to evaluate the application's compatibility with the computing environment. Computing environment may contain some or all of the below mentioned elements:

Computing capacity of Hardware Platform (IBM 360, HP 9000, etc.).. 
Bandwidth handling capacity of networking hardware 
Compatibility of peripherals (Printer, DVD drive, etc.) 
Operating systems (MVS, UNIX, Windows, etc.) 
Database (Oracle, Sybase, DB2, etc.) 
Other System Software (Web server, networking/ messaging tool, etc.) 
Browser compatibility (Firefox, Netscape, Internet Explorer, Safari, etc.)

看起来要做的事情很多, 如果再加上他们的coombination, 我想要测试的状况应该也是天文数字. 虽说测试是一种sampling的工作, 可是在使用者的行为真的是大不相同的状况下, 我实在很难决定哪些事情是我们一定要处理的......不知大家有什么好建议没有?