跳转到内容

项目功能差异

来自VeritasWiki 真理百科

项目功能差异(又称条目功能差异)指同一测验题目在不同群体中表现出的测量功能差异:在构念水平(如能力、特质)相同的被试中,某题目对某一群体而言系统性地更难、更易或区分度不同。换言之,题目"对特定群体另加了一层障碍或便利",而这一层与被测构念无关。项目功能差异是条目层面偏差的现代统计刻画——它以"匹配构念水平后比较作答概率"的操作定义,取代了早期"题目偏差"含混的群体均值比较,是当代测验公平审查、跨文化量表修订与大规模测评质量管理的核心工具。

源流

项目功能差异研究兴起于20世纪80年代,是对早期"题目偏差"概念的方法论升级。旧思路比较两群体在某题上的通过率——但这混淆了群体真实的水平差异与题目的测量失准:若甲组整体能力更高,其通过率自然更高,这与题目是否公平无关。新的操作定义要求先"匹配"能力水平,再在同一能力层内比较两群体的作答表现——只有当能力相同而作答概率仍系统不同时,才判定功能差异。匹配变量的实现从经典方法(以总分分层比较)发展到项目反应理论方法(以能力估计为条件),检测手段相应从曼特尔—亨塞尔统计量扩展到逻辑斯蒂回归与模型比较法。方法学研究持续考察各检测程序的性能边界:例如在能力方差不等的条件下,逻辑斯蒂回归、曼特尔—亨塞尔、辛普森方法等不同程序的表现差异被系统模拟,提示程序选择需考虑群体能力分布的现实条件。[1]概念文献则厘清了功能差异与"偏差"的关系:统计检出的功能差异是实质偏差的证据线索而非终审判决,其公平含义需要内容层面的审查配合。[2]

定义与类型

项目功能差异的严格定义包含三个成分:第一,参照组与焦点组的设定(通常以多数群体或原版群体为参照,受关注群体为焦点);第二,匹配变量的构建(总分、潜变量估计或外部效标);第三,条件作答概率的比较——在匹配水平相同的条件下,两组作答概率的系统性差异。按差异的形态分两类。一致性功能差异:题目在整个能力范围内对一组一致地更难(如某题目以甲群体熟悉的情境为背景,各能力层的甲组被试都占便宜)。非一致性功能差异:题目的相对难度随能力水平变化——题目对低能力层的一组更难、对高能力层的另一组更难(如复杂阅读要求的题目,对语言弱势群体的负担随题目复杂度放大);检测非一致性差异需要包含交互项的方法(逻辑斯蒂回归交互项、项目反应理论模型比较)。两类差异的来源与处理不同,区分检测是实务中的必要环节。

来源

功能差异的来源可归为五类。内容来源:题目情境、例子或词汇在群体间熟悉度不同——以某种体育项目为背景的题目、以特定饮食文化为背景的题目,对不同背景群体构成"额外一跳"。语言来源:翻译或方言差异造成的理解不对称——跨语言量表修订中的回译不忠实、术语在两个语言群体中的心理含义不同。机会来源:学习机会差异使群体对特定内容(课程模块、生活经验)的接触不同——这属于测验之外的结构性差异,其"功能差异"是否算测量失准存在解释争议。作答风格来源:群体在默认同意、极端选择等风格上的差异可表现为多级计分条目的截距差异(见反应偏差)。统计来源:能力分布差异、猜测行为差异、样本构成差异等非实质因素被误判为功能差异——检测方法的假设条件(如能力方差齐性)不满足时假阳性上升,这要求检测与分布条件检查配套。[3]

与公平的关系

功能差异与测验公平的关系需要精确表述。其一,功能差异是公平问题的必要线索而非充分判决:统计检出的差异提示题目对特定群体"另有含义",但差异可能源于真实的学习机会差异(构念外的系统因素)而非题目失准——判定需要内容审查(题目在两组群体中的含义是否相同)与来源分析配合,单纯统计报告不能直接定性为不公平。[4]其二,公平审查需要功能差异分析但不止于此:预测效度的跨组比较、施测条件的可及性、分数使用的程序公正都是公平框架的组成部分(见测量公平);功能差异分析是其中条目层面的技术环节。其三,跨文化比较中,功能差异与测量不变性构成同一问题的两个视角——不变性检验从结构层面判定可比性,功能差异分析从条目层面定位问题来源;修订工作中两者配合使用:不变性检验发现某级不成立后,功能差异分析定位到具体条目。

检测概述

项目功能差异的检测方法分三族(方法细节与处理决策见差异项目功能条目)。条件比较族:曼特尔—亨塞尔方法在匹配的分数层内比较两组作答的公共比值,统计稳健、样本要求温和,是经典标准程序。回归族:逻辑斯蒂回归以匹配分数及群体项、交互项预测作答概率,通过项的显著性及类型判定一致与非一致差异;其信息量大但需要较大样本。模型比较族:项目反应理论框架下比较"允许差异"与"约束相等"两个模型的拟合(似然比检验),以及混合项目反应模型——后者把群体差异内生化于模型之中,能检出常规方法难以发现的"混合人群"问题。方法模拟研究显示各程序在不同分布条件下的检出率与假阳性率不同,实务以多法并用、以稳健方法为初筛为推荐策略。[5]

中国语境

中国语境中的项目功能差异应用集中于教育测评与量表修订两大板块。教育测评:大规模考试的命题公平审查把功能差异分析纳入题目质量管理流程,重点检测城乡、性别与区域维度上的条目功能——题目情境的城市化倾向(地铁、速溶咖啡类情境)是本土审查的高发问题;国内学者亦在混合项目反应模型等新方法上做出方法贡献,用于检出常规程序遗漏的群体混合问题。[6]量表修订:中文修订量表的规范流程已把功能差异检验纳入标准环节——性别、城乡与语言变体(简繁、方言区)维度的条目功能检查为修订版的公平性提供证据;心理弹性、自控等常用量表的中文修订研究已有相应报告。挑战有三:其一,样本构成——多群体的等量样本在国内研究中不易获得,焦点组样本过小使检验效力不足;其二,维度解释——检出的功能差异常需回溯条目内容做实质解释,本土审查专家库与内容审查程序建设尚在完善;其三,历史数据的问题——存量测评数据中功能差异未检验的比较结论较多,回溯审查的成本高昂。总体趋势是把功能差异分析从"可选高级程序"变为测评与修订的"常规质检",与测量不变性检验共同构成跨群体研究的方法门槛。

争议

功能差异研究的争议有四。其一,匹配变量的循环性:功能差异以匹配变量(总分或能力估计)为条件,若匹配变量本身被偏差条目污染,检测结论随之扭曲——净化的匹配变量(剔除可疑条目后重新估计)是通行对策,但迭代过程无标准终点。其二,差异的实质判定:统计显著的条目差异可能很小、对总分影响可忽略,逐条目报告的功能差异若不做影响量评估,会制造"处处有偏"的夸大印象——效应量分类(可忽略、中等、大)与总分离差影响的联合报告是实务规范方向。其三,功能差异是否必删:检出条目一律删除会牺牲构念覆盖与测验长度,保留则损害公平声明;学界倾向以影响量与来源分析决定处理方式,而非一刀切删除(详见差异项目功能条目的处理决策讨论)。其四,方法假设与样本现实:各检测方法的统计假设(能力方差齐性、单维性)在真实数据中常被违反,模拟研究提示分布不齐时部分程序假阳性上升,方法选择的情境敏感性要求报告检测条件而非仅报告结论。[7]

参见

参考资料