启发式评估(heuristic evaluation)（3）

测定评估人员的数量

理论上讲，单个评估人员可以针对一个用户界面进行启发式评估，但是多个项目的经验表明当只有单个评估人员的时候，评估的结果非常地差。6个我做过的项目平均下来，发现单个评估人员只找到了界面上35％的可用性问题。然而，由于不同的评估人员可以发现不同的问题，所以通过将多个评估人员做的评估结果整合起来可以大大提高评估的成果。图2显示了随着越来越多的评估人员的加入发现的可用性问题所占的比例。图中清楚地显示了在使用多于一个评估人员的时候有一个非常好的盈利点（Payoff）。看起来，推荐使用大概5个左右的评估人员是很合理的，当然必须至少3个。使用的评估人员的明确数量要看开销-利益分析的结果。明显地，在那些可用性已经是很差的案例中或者当由于系统的大量的广泛的使用可以预见巨大的赢利的时候，更多的评估人员可以投入使用。

图2：曲线显示了不同数量的评估人员通过启发式评估法找到的一个界面上的可用性问题的比例。曲线代表了6个启发式评估中的平均结果。

Nielsen和Landauer（1993）在下面的关于可用测试中可能发现的可用性问题的数量的预测方程的基础上引进了这样一个模型：

ProblemsFound (i) = N (1 - (1-l) i)

ProblemsFound (i)代表通过合计i个独立的评估人员的评估报告后发现的不同可用性问题的数量。N表示界面上的可用性问题的总数，I表示单个评估人员发现的可用性问题在全部问题中所占的比例。在6个案例分析中（Nielsen和Landauer 1993），I的值的范围在19％和 51％之间，平均值为34％。N的值的范围是在16和 50之间，平均值为33。使用这个方程得到的曲线与图2中的非常相似，虽然曲线的确切形状随着变量N和I的改变而改变，其中N和I根据不同项目的特点而改变。

为了确定评估人员的最理想数量，我们需要一个启发式评估的开销－利益的模型。这个模型中的第一个要素是通过考虑固定的和不定的开销来计算使用这个评估方法的开销。固定开销是指那些不管有多少个评估人员都需要支付的开销，包括设计评估方案需要的时间，准备材料，以及写评估报告或者交流评估的结果。不定开销是指每次一个新的评估人员加入时需要的额外的费用，包括那个评估人员的工资，分析评估人员报告的费用，以及在评估过程中所用到的电脑等其他资源。根据多个项目的公布的数据，一个启发式评估的固定开销在3，700美元和4800美元之间；每个评估人员的不定开销在410美元和900美元之间。

实际的固定和不定开销在不同的项目中明显不同，并依赖每个公司的开销结构以及被评估的界面的复杂程度。举个例子，如果一个项目中启发式评估的固定开销时4000美元，每个评估人员的不定开销时600美元，那么，在这个项目中使用i个评估人员进行启发式评估的总费用就是（4000＋600i）美元。

启发式评估法的益处主要是可用性问题的发现，虽然在某种程度上可以获得一些持续的教育的益处，比如，评估人员可以通过比较他们自己的报告和其他评估人员的报告来提高自己对可用性的理解。对于上面的范例项目中，通过使用Nielsen和Landauer（1993）在多个公布的研究中的得出的一个数据，设想发现一个可用性问题值15,000美元。在真正的项目中，我们明显需要在预期的用户数量的基础上估计发现可用性问题的价值。对于在内部使用的软件，这个价值可以在用户生产力预期的提高的基础上进行估计；对于那些在开放市场上出售的软件，这个价值可以在由于更高的用户满意率或更好的Review Ratings而引起的销售的预期增长的前提下被评估。注意：真实的价值只来源于那些在软件出货之前真正解决的可用性问题。由于不可能解决所有的可用性问题，每个发现的问题的价值只是一个最后解决的问题的价值中一部分。

图3：曲线显示了在一个使用了上面讨论到的设想的范例项目中使用启发式评估所获得的利益是花费的多少部。这个例子中，评估人员的理想数量是4，并且获得的利益是花费的62倍。

图3显示了在这个范例项目中，不同数量的评估人员对应的利益和花费之间的不同比例。曲线表明当前项目中评估人员的最理想数量是4，这点证实了文章开头提到的启发式评估中最好使用3－5个评估人员的说法。在这个例子中，有4个评估人员的启发式评估花费6,400美元，并找到价值395,000美元的可用性问题。

参考书目
? Dykstra, D. J. 1993. A Comparison of Heuristic Evaluation and Usability Testing: The Efficacy of a Domain-Specific Heuristic Checklist. Ph.D. diss., Department of Industrial Engineering, Texas A&M University, College Station, TX.
? Jeffries, R., Miller, J. R., Wharton, C., and Uyeda, K. M. 1991. User interface evaluation in the real world: A comparison of four techniques. Proceedings ACM CHI’91 Conference (New Orleans, LA, April 28-May 2), 119-124.
? Molich, R., and Nielsen, J. (1990). Improving a human-computer dialogue, Communications of the ACM 33, 3 (March), 338-348.
? Nielsen, J. 1990. Paper versus computer implementations as mockup scenarios for heuristic evaluation. Proc. IFIP INTERACT90 Third Intl. Conf. Human-Computer Interaction (Cambridge, U.K., August 27-31), 315-320.
? Nielsen, J., and Landauer, T. K. 1993. A mathematical model of the finding of usability problems. Proceedings ACM/IFIP INTERCHI’93 Conference (Amsterdam, The Netherlands, April 24-29), 206-213.
? Nielsen, J., and Molich, R. (1990). Heuristic evaluation of user interfaces, Proc. ACM CHI’90 Conf. (Seattle, WA, 1-5 April), 249-256.
? Nielsen, J. 1992. Finding usability problems through heuristic evaluation. Proceedings ACM CHI’92 Conference (Monterey, CA, May 3-7), 373-380.
? Nielsen, J. (1994). Heuristic evaluation. In Nielsen, J., and Mack, R.L. (Eds.), Usability Inspection Methods. John Wiley & Sons, New York, NY.