内容效度
| 内容效度 | |
|---|---|
| 英文名 | Content Validity |
| 学科归属 | 心理测量 |
| 核心含义 | 测验内容对目标构念范围覆盖的代表性与适切性 |
| 评价方式 | 专家评定、内容效度比、内容效度指数 |
| 适用领域 | 成就测验、知识测验、工作样本、症状量表 |
| 相关条目 | 效标效度、构想效度、表面效度|} |
内容效度指测验题目所代表的内容范围与目标构念的要求范围之间的一致程度:题目是不是充分、均衡地覆盖了构念应当包含的内容,有没有漏掉重要侧面、混入无关内容。
内容效度的逻辑与其他效度类型不同:它不依赖分数与外部指标的相关,而依赖"测验内容与构念定义"的系统对照。因此它是效度论证中最早、也最依赖专家判断的一环。
内容效度的评估程序
内容效度的规范评估是一套有明确步骤的程序。
界定内容范围:首先需要构念或内容的操作定义——成就测验依据课程标准或考试大纲,工作知识测验依据工作分析的任务清单,症状量表依据诊断标准的症状条目。范围界定不清,后续评估无从谈起。
编制题目映射:把每道题对应到内容范围的某个单元,形成"题目—内容"双向细目表:检查每个单元是否有足够题目(覆盖性)、题目比例是否与单元的重要性匹配(平衡性)、有无题目不属于任何单元(越界性)。
专家评定:请熟悉该领域的多位专家独立判断:每道题与目标构念的相关程度;每个内容单元是否被充分覆盖。
量化汇总:用指标汇总专家意见(见下节),形成内容效度的量化证据。
修订循环:依据评定结果修改或删除题目,必要时再评。
这套程序的要点是"系统"与"独立":专家评定前不互相讨论(防止趋同)、评定时不知情(防止迎合)、评定依据书面化(可复核)。
量化指标
专家判断的量化工具已标准化,常用的有三个。
内容效度比(CVR):由 Lawshe 提出,计算认为某题"必要"的专家比例,公式消除了随机认可的基线。CVR 的最低合格值取决于专家人数——专家越少,要求越高。
内容效度指数(CVI):分条目指数(I-CVI,每题的"相关或非常相关"评分比例)与量表指数(S-CVI,全卷平均或全卷条目合格比例)。健康测量领域(量表的跨文化修订)普遍采用,I-CVI 的通行标准不低于 0.78。
覆盖率分析:以内容单元为单位检查被覆盖的程度,找出无人覆盖或覆盖薄弱的单元——它弥补了按题评定的盲区:每题都被认可,但整个单元可能仍然缺失。
指标的使用注意:它们量化的是专家的判断,而专家判断本身的质量(人数、代表性、独立性)决定证据的成色;量化指标不能替代对覆盖均衡性的质性论证。规范报告同时呈现指标值与内容映射表。
内容效度的适用与局限
内容效度对不同类型的测量,其重要性与可评估性差别很大。
最适用的领域:成就与知识测验(内容范围有明确的外部定义——大纲、课程、岗位职责)、工作样本测验、症状量表(对应诊断标准的条目集合)。这些测量的"该测什么"相对清楚,内容效度成为效度论证的主干。
较难评估的领域:抽象构念(智力、创造力、幸福感的"内容范围"本身有争议)。对它们,内容效度退化为"题目与构念定义的表面对应",其证据价值有限,效度论证的主干转移到构想效度与效标效度。
常见局限:其一,专家可能共享同样的偏见——整个领域对构念的理解偏差会原样进入内容效度判断;其二,内容效度只管"题目是否属于构念范围",不管题目测得准不准(区分度、作答过程);其三,覆盖率不足的问题(漏掉重要侧面)需要外部证据(效标关联、因素结构)才能充分暴露。
因此当代效度理论把内容效度定位为效度论证的起点证据而非终点证据:它回答"测的东西对不对路",回答不了"测得好不好、分数有没有用"。
在量表开发中的位置
在量表开发流程中,内容效度位于最前端,其质量决定后续工作的意义。
典型流程是:构念界定与文献综述→生成内容框架(维度、侧面)→依据框架编题→专家内容效度评定→修订→认知访谈(让目标群体解释题目,检查理解一致性)→施测做条目分析与结构检验。
这一顺序的道理:若内容覆盖在起点就有重大遗漏,后续的统计再精巧,也只是精确地测量了一个残缺的构念——结构漂亮、信度良好,但效度论证的地基缺失。临床量表修订(如抑郁量表纳入快感缺失还是只覆盖情绪低落)中的争论,多数本质上是内容效度之争。
跨文化修订中的内容效度还有特殊形态:原文量表的某些题目在目标文化中不可理解或不可接受(如涉及特定宗教情境的题目),逐题评定的同时需要文化等值论证。内容效度因此是量表跨文化适应的第一道工序。
报告规范
内容效度评估的报告质量差异很大,规范的最低配置包括以下要素。
内容框架的呈现:构念定义与维度框架的来源(文献、诊断标准、工作分析),以及框架与题目的映射表——这张表是内容效度报告的核心,没有它,专家评定的对象都不明确。
专家组的描述:专家人数、专业背景、与构念及目标群体的关系、评定方式(独立、知情与否)。专家组过小(少于三位)或背景单一时,指标值的可信度下降。
量化指标的完整报告:逐题的 I-CVI、全卷的 S-CVI(或 CVR),注明所用指标与标准;低于标准的题目及处理(修改、删除)应列出。
覆盖率与遗漏讨论:哪些单元覆盖充足、哪些薄弱、构念的哪些侧面有意未纳入(及理由)——有意遗漏的声明使量表的使用范围边界清晰。
认知访谈结果:目标群体的题目理解一致性,是内容效度证据中常被省略、价值很高的一环——专家认可的题目,目标读者未必读懂。
对照这些要素审读效度研究,可以快速判断其内容效度证据是"程序性走过场"还是"实质性论证"——两者在报告上的差异通常一眼可辨。
最后回到内容效度在效度体系中的位置:它回答的是"测的范围对不对",这个问题的答案决定了其他效度证据的意义边界——范围错了,效标关联再高也只是精确地预测了错误构念的结果;范围对了,结构、效标、干预证据才有统一的方向。内容效度因此是效度论证的序章:它不轰轰烈烈,却决定整场论证的坐标。