跳转到内容

效标效度

来自VeritasWiki 真理百科
效标效度
英文名 Criterion Validity / Criterion-Related Validity
学科归属 心理测量
核心含义 测验分数与外部效标的相关程度
两种形态 同时效度与预测效度
主要指标 相关系数、正确率、增益效度
相关条目 内容效度、构想效度、效标效度|}

效标效度指测验分数与外部效标(criterion)的关联程度:分数能否预测或对应某个独立于测验本身的、有实际意义的结果——学业成绩、工作绩效、临床结局、后续行为。

效标效度的核心思想是"用结果检验测量":量表测得好不好,看它能不能预测真正重要的东西。它是人事选拔、临床评估、教育测评中效度证据的主干形式,也是效度概念最早的操作化——早期效度研究几乎等同于效标关联研究。

同时效度与预测效度

效标效度按效标测量的时间关系分为两种形态。

同时效度:测验与效标几乎同时测量。典型设计是请在职员工做能力测验,同时收集其绩效评定,计算两者的相关。它省时(不用等待),用于诊断性用途(当前状态的分类)。

预测效度:先测测验,间隔一段时间再测效标。典型设计是入职时施测选拔测验,追踪数月或数年后的绩效。它回答的是"现在测的分数能预测将来吗",用于选拔与安置决策。

两者的效度含义不同:同时效度常高估预测效度——在职样本存在范围限制(已被淘汰的人不在样本里,测验的区分能力被压缩观察不到),且当前绩效与测验受共同情境影响。方法学文献反复提醒:用同时效度设计替代预测效度设计的结论需要打折,范围限制的统计校正是必要的补救。

效标的质量

效标效度论证的可靠性,首先取决于效标本身的质量——"垃圾进、垃圾出"原则在效标问题上最直观。

效标的相关性:效标必须与研究目的对应。选拔销售员,效标是销售业绩还是顾客满意度?不同效标给出不同效度系数,选择哪一个取决于决策要优化什么。

效标的可靠性:绩效评定本身信度不高(评分者偏差、宽严不一)时,效度系数被衰减——效标误差与测验误差一样侵蚀相关。多源效标(上级、同事、客观数据汇聚)是常用的加固手段。

效标的可得性与污染:效标应在测验之后独立获得,且施测者不知测验分数(防止效标污染——评定者知道测验分数后"配合"测验给效标分)。

效标的动态性:绩效标准随组织变化(岗位重构、技术更新),历史效度研究的结论会过时——效度概化研究(把多个情境的效度系数汇总)回应了这一问题,发现跨情境的效度概化程度比早期想象的高。

效标问题的深刻之处在于:效标效度把效度的责任部分转移给了效标——效度低可能是测验差,也可能是效标差。任何效度系数的解释都必须包含对效标质量的评估。

增益效度

效标效度的进阶问题是增益效度:在已有的其他信息(智力测验、面试、推荐信)之上,新测验还能增加多少预测力。

人事选拔中最经典的应用是人格测验的增益效度之争:认知能力已能预测相当部分绩效,人格测验(尽责性等)能否在其之上再增加增量?元分析的结论是肯定的——人格测验在认知测验之外有独立增量,且对某些绩效维度(公民行为、反生产行为)的增量更大。这一结论奠定了人格测验在选拔中的地位。

增益效度的分析方法是层次回归:先放入已有预测变量,再检验新变量的增量解释率与增量效度系数。其统计陷阱在于预测变量间的共线与样本量:增量通常不大,检验力不足时真增量会被漏检。

对应用决策的含义是:效度系数绝对值大不等于该测验值得使用——若已有便宜且高效的工具,新增测验的边际贡献才是决策依据。增益效度因此是把效度研究从"有没有用"推进到"值不值得用"的关键概念。

效度系数的解读

效标效度系数的解读有自身的惯例与陷阱。

典型数值:人事选拔领域,认知能力对绩效的效度系数约 0.5 量级,结构化面试相近,人格测验约 0.2 至 0.3;临床量表对临床结局的系数视结局而定。这些数值经元分析确立,构成判断"我的效度研究结果正常与否"的参照。

校正后的解读:范围限制与效标误差都使原始系数低估真实效度,校正后的系数通常更高——报告时应同时给出原始值与校正过程。

效度系数与决策效用:0.3 的效度系数在大规模选拔中转化为可观的效用增益(选出的更优者比例上升),Brogden 公式给出效度系数到效用增量的换算。效度系数的意义最终要在决策情境中兑现,而非停留在统计显著性。

边界条件:效度系数是平均值——跨群体的效度差异(公平性检验)、跨情境的效度变异,都需要单独检验,不能由总系数覆盖。

效标效度解读的公共原则:系数与它的产生条件(样本、效标、情境)不可分离——脱离条件的效度系数没有意义。

中国语境

效标效度在中国测评实践中的地位与研究有几个特征。

高风险考试与测评的效度研究传统:公务员考试、教师资格与高考的效度研究围绕预测效度展开——入学或录用分数与后续学业、工作表现的追踪相关,是评价选拔制度效度的基础证据。这类研究依赖长期的追踪数据,近年数据基础设施的改善(升学就业数据库的贯通)使追踪研究的可行性上升。

人事测评的本土效标问题:绩效评定在中国组织中的信度与效度受文化与制度影响(人情、印象管理、考核制度设计),效标质量的讨论因此是本土人事测评研究的重点之一——效度系数偏低时,责任在工具还是在效标的诊断比西方文献更依赖对效标本身的检验。

临床与研究领域的规范化趋势:国内量表修订指南与期刊要求已把效标效度列为修订研究的常规证据,与信度、结构效度并列;跨效标的效度检验(与诊断访谈、行为指标、纵向结局的多点关联)在研究报告中日益常见。

效标效度研究的公共教训在本土语境中同样成立:效度系数的解释必须捆绑效标质量、样本与时间条件——脱离这些条件的"效度良好"四字结论,无法支撑任何决策。

参见

参考资料