概化理论
| 概化理论 | |
|---|---|
| 英文名 | Generalizability Theory |
| 学科归属 | 心理测量、统计测量学 |
| 核心含义 | 把测量误差按来源分解并以方差分量估计测量精度的理论 |
| 提出者 | 克龙巴赫、格莱瑟与拉贾拉特南 |
| 提出时间 | 1963 年提出,1972 年系统成书 |
| 相关条目 | 经典测验理论、评分者信度、内部一致性信度|} |
概化理论是经典测验理论的推广:它不再把误差当作单一的黑箱,而是把误差按来源拆解,用方差分量估计每种来源对总分波动的贡献,并据此回答"测量结果能在多大范围内概化"。
经典理论把观察分数分解为真分数加误差,但对"误差是什么"不置一词。而实际测量中误差来源众多:评分者的宽严不同、题目的抽样偏差、不同场合的表现波动、评分维度的选择。概化理论的核心贡献,是让这些来源各自"入账"。
基本框架:G 研究与 D 研究
概化理论的分析分两个阶段。
概化研究(G 研究):按照测量设计收集数据,用方差分析技术估计各效应的方差分量。以论文写作为例:让若干写作者各写多篇作文,每篇由多名评分者按多个维度评分,则总分方差可以分解为——写作者之间的差异(希望测量的对象)、作文之间的差异、评分者之间的差异、维度之间的差异,以及各因素的交互作用。每个方差分量回答一个问题:这种来源的波动有多大。
决策研究(D 研究):在 G 研究的基础上,考察不同测量设计下的精度:如果评分者从三人减为一人,泛化系数降到多少?作文从三篇增到五篇,能提升多少精度?D 研究相当于在数据中模拟各种设计方案,为优化设计提供量化依据。
两阶段结构使概化理论不仅评价测量,更直接指导测量设计。
面与设计
概化理论用"面"(facet)描述误差来源,用测量设计组织面。
交叉设计:每个对象在所有题目、所有评分者条件下都被测量。
嵌套设计:如每位面试官只评自己面试的候选人,评分者嵌套于对象之中。
设计类型决定了方差分量的分解方式与结果的解释范围。设计的陈述("对象交叉于题目与评分者")是概化分析的前提。
面还区分随机面与固定面:若打算把结论概化到该面的所有水平(如任何合格评分者),该面为随机面;若只关心这几个特定水平,则为固定面。同一份数据,面的设定不同,估计出的信度指标就不同——这是概化理论中最容易引起误解之处,也是它优于经典理论之处:它迫使研究者明确表达"打算概化到什么"。
简单示例
用一个简化例子说明概化理论的运作。某次面试拟让两名评分者对十名候选人评分,并关心结论能否概化到"任何两名合格评分者"的情形。
G 研究可能发现:候选人之间的真实差异占方差的大头;评分者主效应很小(宽严接近);但"候选人×评分者"交互的分量可观——评分者对谁更好的看法不一致。这一结构意味着:增加评分者人数对降低交互误差有帮助(多人评分取平均会稀释不一致),而对主效应误差帮助不大。
D 研究进一步模拟:两名评分者时 G 系数 0.75;增至三名,0.83;增至四名,0.86——边际收益递减,从成本看三人可能是最优点。这就是概化理论对测量设计的直接指导:它把"要不要再加一名评委"从经验判断变成数量计算。
同样的逻辑可用于任务取样:案例从三个加到五个,精度提升多少?时间成本与精度收益的权衡点在哪里?对高风险考试(如医师资格考核)的技能部分,这类计算直接决定考试成本的设计,因而概化理论在医学教育测量文献中应用密集,是表现性评价研究的标准工具之一。
概化系数与可靠性指数
概化理论提供的精度指标主要有两个。
概化系数(G 系数):对应相对决策——比较不同对象的排序(如选拔、评级)。它类似经典信度系数,但考虑了各误差来源的构成。
可靠性指数(Phi 系数):对应绝对决策——判定对象是否达到某标准线(如资格考试)。它比概化系数要求更严,因为绝对判断还受题目难度波动的影响。
两者按决策类型选用:只做排序时用 G 系数,要设及格线时必须看 Phi 系数。许多测量研究只报告 G 系数,忽视了决策性质的区别。
与经典信度概念的关系
经典信度可以看作概化理论在最简设计下的特例:当只有一个误差面(如题目)且其他条件恒定时,概化系数退化为内部一致性系数。
概化理论的扩展价值在于:它能回答经典理论无法提出的问题。评分者信度不足,是评分者之间宽严不一(可以通过校准训练改善),还是评分者在对象上的排序不一致(说明评价标准未共享)?经典理论给出一个总分信度,概化理论则把成分摊开,指出改进的方向。
典型应用
概化理论的应用集中在多误差源场景。
表现性评价:面试、临床技能考核、教学评价。这些情境的分数受评分者、任务、场合多重影响,是最典型的应用领域。例如医学临床考核研究普遍用概化理论估计"几名考官、几个案例"的组合才能达到可接受的精度。
评分标准研究:作文与口语评分的跨评分者一致性研究。
量表开发:检验题目数、维度数对信度的边际贡献,避免盲目加题。
观察研究:课堂观察、行为观察中不同观察者与不同时段的误差估计。
其主要门槛是需要特定的数据收集设计(多面多水平)与相应的方差分析技术,小样本中方差分量的估计也不稳定。
概化理论在中国的应用集中于教育测量与临床考核领域:教师资格与医师资格考核的技能部分、课堂教学评价、学位论文评阅的评分者研究等都是典型场景。国内应用中的常见问题是设计片面化——每个候选人只被评一次,使概化分析退化为单面情形。改进方向是在设计阶段即安排多评分者、多任务的交叉结构,使数据本身支持误差分解。
概化理论的软件实现也较为成熟:主流统计软件与专用测量软件都提供方差分量估计功能,部分工具可直接输出 G 系数与 D 研究结果。应用者需要的主要不是软件操作,而是测量设计语言——面、水平、交叉与嵌套的清晰陈述。经验表明,设计陈述写得清楚的研究,其概化分析出错率远低于设计含糊的研究;这也是该理论对测量方法论最重要的训练价值。