一套全新的手机系统测试基准

作者：Jim McGregor；          本文作者与共同作者Kevin Krewell皆为Tirias Research的资深分析师


最需要产业界同心协力的议题，却往往最具争议性，这实在是个很讽刺的状况；在那些议题中，争议性最大的又莫过于性能基准测试(performance benchmarking)。幸好，我们正缓慢地朝正确的方向前进，但还需要更多的努力。

测试基准被广泛应用在评估各种电子装置，为了取得高评价，芯片与系统供货商都非常积极于目标测试基准的“优化”；但有的时候那些优化行动却更像是人为操纵。科技新闻充斥着不公平的基准检验案例，那些只是冰山一角。

测试基准还面临其他的局限；技术创新的高速度使得透过能反映各种平台上实际使用者体验的方式，精准体验测试一套系统所有功能的任务成为挑战。举例来说，影像撷取以及编辑功能也许涉及众多芯片以及应用程序编程接口(API)，要在Android、iOS与Windows手机平台之间做有意义的比较，是白费力气的。

138249

一套优良的测试基准应该包含五项要素

首先，最基本的是透明度(transparency)。测试基准有时候只比黑盒子好一点，只提供测试结果数字，但对测试的过程或计分方法透露甚少；甚至有时候连被测试的功能或是所依循的标准都不明确。

测试基准的拥有者往往以机密为理由，表示测试本身拥有知识产权或是利用了专属信息；但我们认为，测试基准应该是经由一个跨产业的组织批准，且(或)所有的计分方式应是受公开审查的。此外，测试基准应该要包含受测功能与标准的列表。

优良测试基准的第二个要素，应该是能受独立验证的。通常基准检验执行机构会在公布结果之前先为其背书，有些使用者或供货商也会自己上传或进行某些基准检验；虽然系统调节如超频(overclocking)能对测试结果产生影响，与众多用户的平均测试成绩差距太大的系统，通常会被怀疑。

第三个要素是，测试基准需要某种形式的监督，以确保测试程序的一致性；优化在基准检验程序中是不应该被容忍的，所有的平台所接受的测试程序应该都是相同的。

第四，一个真正的测试基准，特别是移动装置的测试基准，应该要以某种形式的系统及测试来呈现。

特定零组件如CPU、GPU与内存，很容易被挑出来测试，但其他如无线网络链接性、传感器性能、电池寿命、显示器功能等却很难量化；而任何一种移动终端的终极测试应该是使用者体验，优良的测试基准至少必须要能呈现这一点。最后一个测试基准要素是会定期更新，最好是每年一次；产业界应该停止使用不合时宜的测试基准。

有鉴于众多棘手的问题，采用一系列基准来评估各种技术或平台，似乎被视为最佳实践方式；这通常导致有一长串的测试基准，而且测试结果各不相同。当使用者看到那些让人眼花撩乱的不同测试结果，恐怕感到非常沮丧。

138250

一个新兴的移动终端测试基准

有个好消息是，一个最近推出的移动终端测试基准AndEBench，可望能为以上种种问题带来解决方案；该基准是由嵌入式微处理器测试基准联盟(Embedded Microprocessor Benchmark Consortium，EEMBC)所开发，联盟成员包括ARM、Imagination Technologies、Intel、Marvell、Nvidia、Qualcomm与Samsung等大厂。

EEMBC还有管理委员会，能针对测试基准的变更，以及可公布那些性能数据做最终裁决；该测试基准的最新版本为AndEBench-Pro，是一个针对CPU、内存、储存、3D绘图以及整体平台性能的Java架构测试，测试结果能以各自独立、也能以汇总的形式来呈现。

138251AndEBench-Pro测试基准的各功能计分比重（来源：EEMBC）
目前AndEBench测试基准只锁定Android平台，而且并不支持最新的标准如OpenGL ES 3.0、OpenCL等，此外也缺乏测试全系统功能，或者是可能与特定使用模式相关的特定应用。不过该测试基准符合所有上述的优良测试基准要素，包括测试程序、计分方法的透明度，提供经管理单位验证的测试结果，测试程序的一致性，以及定期更新。

不过AndEBench还不够完善，EEMBC还在为采用该测试基准的模式订定标准；而EEMBC也坦承，还需要更多的努力，来自产业界其他更多关键技术供货商、行动装置制造商的参与是必要的，才能改善基准检验的程序并确保该基准能支持不同的平台。

长久以来，测试基准一直是产业界的争议焦点；不该再抱怨，现在正是整个产业界采取行动、为行动装置系统测试基准开发更完善标准的时候！