跳转到内容

评分者信度

来自VeritasWiki 真理百科
评分者信度
英文名 Interrater Reliability / Interobserver Agreement
学科归属 心理测量
核心含义 不同评分者对同一对象评分的一致程度
主要指标 Cohen 的 Kappa、组内相关系数、Krippendorff 的 α
适用数据 分类数据(Kappa)与连续数据(ICC)
相关条目 信度、概化理论、内部一致性信度|}

评分者信度指不同评分者对同一批对象评分的一致程度:两位阅卷人给同一篇作文的分数是否接近,两个观察者对同一段行为的编码是否相同,多名面试官对同一候选人的评分是否收敛。

凡是需要人做判断的测量——作文与口语评分、行为观察编码、临床诊断、面试评估——都存在评分者信度问题。评分者信度不足,意味着测量结果部分取决于"碰巧谁在评分",测量对象被评分者的主观性部分置换。

主要指标

评分者信度的指标依数据类型而定。

一致率:完全一致的比例。直观但受随机一致的影响——二分类数据中两人即使随意勾选,一致率也常在 50% 以上。

Cohen 的 Kappa:从一致率中扣除随机一致后的一致程度。取值一为完全一致,零为不优于随机。Kappa 修正了一致率的虚高,是分类数据的标准指标;其局限是对类别分布的偏斜敏感——类别极不均衡时(如绝大多数观察无某一行为),Kappa 会偏低,即所谓 Kappa 悖论。

组内相关系数(ICC):连续评分的标准指标。ICC 有多种形式,取决于评分者设计与分析意图:单评分者信度(一个评分者能否代表评分者总体)与平均评分者信度(多人平均分是否稳定);一致性型(绝对分值一致)与一致型(相对排序一致)。报告必须注明用的是哪一种——不同形式的 ICC 数值差异可能很大。

Krippendorff 的 α:对缺失数据、多评分者、多种测量层级都适用的通用一致性指标,内容分析与观察研究的大型编码项目中使用渐多。

加权 Kappa:有序类别(如四级严重度)中,差别一档与差别三档不应同罚,加权后反映接近程度。

指标的选择必须匹配数据类型与决策含义:绝对一致性关乎标准执行(资格考试),相对一致性关乎排序决策(选拔排名),混用指标是评分者信度报告的常见错误。

影响评分者信度的因素

评分者信度不足的原因通常可以从三个层面定位。

评分标准层面:标准表述含糊("基本合理"算几分?)、锚点缺乏行为示例、维度定义重叠。标准越依赖评分者的内隐理解,信度越低。改进的核心是把评分标准行为化、示例化。

评分者层面:宽严差异(有人整体给分高)、晕轮效应(一个维度影响全部维度)、中心化倾向(回避两端)、顺序效应(连评多篇后标准漂移)。改进手段是评分者训练、校准会议、定期插入标准样本。

对象与任务层面:任务本身的歧义性(模糊情境的行为编码)、对象表现的真实波动(同一被试两次面试状态不同)。这类"对象侧"的变异常被误归为评分者问题,诊断时应分离。

诊断的实用路径是先算分量:把评分者信度按维度、按评分者对、按题目分段计算,找出信度塌陷的具体位置——通常信度问题集中于少数维度或少数评分者,针对性改进远比全面重训高效。

提高评分者信度的程序

提高评分者信度的成熟程序在表现性评价领域已经标准化。

事前:制定行为锚定量表(每个等级配行为描述与示例);评分者培训(学习标准、评标准样本、讨论分歧);试评与校准(正式评分前用同一批样本试评,核对信度,讨论分歧原因)。

事中:多评分者独立评分(不交流、不合并前讨论);分段控制(连评量与休息安排防漂移);关键样本的双评或三评。

事后:信度核算与报告;分歧个案的仲裁机制;评分者个体信度的追踪(长期评分者的标准漂移需要定期再校准)。

这套程序的共同逻辑是把评分者的判断尽可能"外化"为可核对的标准执行——评分者信度的上限由标准的清晰度决定,程序只是逼近这一上限的手段。当无论怎么训练信度都上不去时,问题多半在工具而非人,此时应修订量表而非继续培训。

典型应用场景

评分者信度在多个应用领域是基础质量指标。

教育评价:作文、口试、实践技能考核的评分;高考作文双评制度是大规模评分者信度管理的典型实践——双评分差超限进入三评。

临床评估:诊断访谈的评分者信度是诊断工具效度的前提——两名访谈者对同一来访者是否得出同一诊断;观察量表(如儿童行为观察)的编码一致性。

组织研究:面试评分、绩效评定中多名评定者的一致性;行为事件访谈的编码一致性。

内容分析:文本编码(访谈转录的主题归类、开放式问卷的编码)的一致性,是质性研究的规范报告项。

这些场景的公共特征:测量的最后一步由人的判断完成。评分者信度因此是"人作为测量仪器"的质检指标——它提醒研究者,只要判断介入测量,判断的可靠性就必须被单独检验与报告。

信度与效度的边界

评分者信度研究中一个需要澄清的概念是它与效度的关系。

高评分者信度只说明"评分者们达成了一致",不说明"一致的意见是对的"——两名评分者可以高度一致地犯同样的错误(比如都被某种刻板印象影响)。信度是效度的必要条件:不一致的评分不可能有效度;但一致本身不构成效度。评分者一致之后,仍需效度证据:评分与外部效标(后续绩效、专家评定、客观结果)的关系。

这一区分在实践中的含义是:评分者培训能把信度提上去,但培训也可能把评分者训得"一致地偏向某一种风格"——校准会议若以强主持人的意见为准,就可能输出这种一致性。规范的校准应以标准样本(已知正确答案或专家共识的案例)为锚,而非以某个人的判断为锚。

另一个相关概念是评分者信度与个体差异信度的区分:多人评同一对象的平均分(用于个体决策)的信度,通常高于单个评分者的信度——多人平均压缩了评分者的随机差异。概化理论的 D 研究正是回答"多少个评分者能达到目标信度"的工具,它把评分者信度从描述指标升级为设计参数。

参见

参考资料