经验性评估中评估者个体差异的影响研究

摘要

国外针对经验性评估中评估者个体差异影响的研究已经进行了很多,结果表明,经验性评估中评估者的个体差异很大,用四分比率法对评估结果进行分析时其值在1.4～2.2之间,结果还表明经验性评估中评估者发现可用性问题的能力不是随机的。目前,国内在这方面的研究比较少,为了查看国内可用性专家在进行经验性评估时个体差异的影响规律是否与国外专家一致,本文进行了一项实验。本实验共选取了8名评估人员(具有基本相同的背景和资历)分别对两个不同的用户界面(金山词霸2006和IBM智能词典2000)进行经验性评估,记录每个评估者对两个界面进行评估时分别发现的可用性问题名称及数量,用四分比率法对评估结果进行分析,计算得到对金山词霸2006,Q3/Q1=1.675;对IBM智能词典2000,Q3/Q1=1.75。说明选取的8名评估人员分别对这两个用户界面进行评估时,得到Q3/Q1的比值符合经验值(Q3/Q1应处于1.4~2.2之间);用相关分析法分析单个评估者对不同界面进行评估时,发现可用性问题数的相关性r=0.817>0.5,且p=0.013<0.05,这表明评估者发现可用性问题的能力不是随机的。由此可见,国内专家进行经验性评估时个体差异的影响规律与国外专家一致。