跳转到内容

差异项目功能

来自VeritasWiki 真理百科

差异项目功能是项目功能差异(见项目功能差异)这一概念在中文文献中的另一种译法与表述顺序,两者所指相同:同一题目在构念水平相当的群体间表现出的作答概率差异。本词条不重复概念与来源的论述,而聚焦其方法学专题——检测程序的原理、比较与选择,以及检出之后的处理决策。在阅读分工上:概念界定、类型与公平含义见项目功能差异条目;检测技术、样本条件与条目处理实务见本条目。

术语说明

"项目功能差异"与"差异项目功能"是同一英文概念(条目功能在群体间的差异)的两种中文词序,学界未做严格区分,含义完全等同;类似地,"题目功能差异""项目功能偏差"等变体也在文献中出现。术语的分化源于译介路径不同——教育测评文献与心理量表文献各自引入了该概念的不同表述。读者应视两者为同义词条,本条目存在的原因是其作为独立检索词需要独立的知识组织:集中呈现检测方法谱系与处理决策,与概念条目互补。类似的双词条处理也见于"测量等值/测验等值"等译名分歧(见测量等值)。

检测方法

差异项目功能的检测方法分三族,各族的原理与适用条件如下。条件比较族——曼特尔—亨塞尔方法:把被试按匹配分数分层,在每层内计算两组作答的公共比值比,汇总检验其偏离一的程度;优点是统计稳健、样本要求温和、对稀疏数据有连续性校正方案,长期作为经典标准程序;局限是主要面向二级计分、对非一致性差异不敏感。回归族——逻辑斯蒂回归方法:以匹配分数、群体指示项、以及两者的交互项预测作答概率,三个成分分别检验基线差异、一致性差异与非一致性差异;信息量最丰富,能同时判定差异类型;代价是样本量要求较高、参数解释需要训练。分层加权族——辛普森类方法:对匹配层内的差异做加权汇总,兼顾一致与非一致差异的检出,作为曼特尔—亨塞尔的稳健替代。模型比较族——项目反应理论方法:分别估计"群体共享参数"与"允许群体差异"两个模型,以似然比或信息准则比较;能精细刻画项目参数在群体间的差异形态,适用于多级计分与复杂结构,但依赖较大样本与模型拟合前提。混合模型族:混合项目反应模型把"潜藏的异质群体"内生化——当常规方法以显性分组(性别、地区)检测时,混合模型按作答模式自动聚类人群,能发现显性分组掩盖的功能差异模式,国内与国际研究中均有应用示范。[1]

方法比较

各方法的性能比较研究提供了选择依据。检测力与假阳性:模拟研究显示,曼特尔—亨塞尔在二级计分、能力方差齐性条件下表现稳健;逻辑斯蒂回归在交互效应(非一致性差异)存在时检出力最高;项目反应理论似然比法在参数刻画上最精细但对样本量与模型假设最敏感。分布条件的影响:当两群体的能力方差不相等时,多数方法的假阳性上升——系统模拟比较了逻辑斯蒂回归、曼特尔—亨塞尔与项目反应理论似然比等方法在不等方差条件下的表现,提示检测前必须检查群体分布条件,或在方法上做方差处理。[2]数据类型:二级计分可选三族全部方法;多级计分以推广的曼特尔—亨塞尔、多项逻辑斯蒂回归与项目反应理论方法为主;电脑化自适应测验数据则需考虑题目位置与自适应路径对匹配的影响。实务推荐策略:以稳健方法(曼特尔—亨塞尔或推广版)做初筛,以逻辑斯蒂回归或项目反应理论方法做确认与类型判定,两种以上方法一致检出的条目列为高置信;样本允许时加做混合模型检查隐藏人群结构。[3]

效应量与影响评估

统计显著性之外,效应量分类是处理决策的关键。检测程序通常附带效应量指标:曼特尔—亨塞尔的比值比变换、逻辑斯蒂回归的伪方差增量、项目反应理论框架的参数差。分类惯例把差异分为可忽略(对总分的影响可忽略)、中等(单条目影响小但多条目累积可观)与大(显著改变群体相对位置)三级。影响评估进一步把条目级差异换算为总分离差:在给定构念分布下,模拟含差异条目与不含差异条目时两组总分的差异,评估功能差异对实际比较结论的扭曲幅度——这一步把"统计检出"落到"实质影响",是处理决策的依据:可忽略级的条目可保留观察,中级的酌情修订,大级优先处理。公平文献强调:没有影响量评估的逐条目功能差异清单会制造"测验处处有偏"的夸大叙事,反而削弱对真正问题条目的处置力度。[4]

处理决策

检出差异条目后的处理有四种路径,决策依据为差异类型、效应量与来源分析。修订条目:适用于来源明确的内容与语言问题(情境不熟悉、翻译歧义)——改写情境、更换例子或调整措辞后重新标定;修订优先于删除,因为它保留构念覆盖。删除条目:适用于效应量大、来源不明、修订成本过高的情况——删除改变信度与构念覆盖,需评估剩余条目对构念的覆盖完整性。保留并标注:可忽略级差异可保留,但在分数使用规范中注明比较前提;高利害场景宜从严。分组标定:大型测评常保留差异条目并做分组标定(两组使用各自的题目参数),保证各组内部的测量精度,代价是跨组分数比较需经等值处理(见测量等值)。决策流程的整体原则:先查来源(内容审查确认题目在两组中的含义差异)、再评影响(效应量与总分离差)、后选路径(修订优先、删除次之、分组标定兜底),全程记录以供审查。[5]

实施路径

完整的功能差异分析实施路径分六步。第一步,设计确认:明确参照组与焦点组、比较目的(公平审查、量表修订或跨文化比较)与匹配策略。第二步,条件检查:两组的样本量(每组宜在数百级)、构念分布(均值与方差)、维度性与作答质量;分布不齐时先做处理或选择稳健方法。[6]第三步,匹配变量构建:以净化后的总分或潜变量估计为匹配基础(剔除已检出的差异条目后重新计算,迭代至稳定)。第四步,多法检测:初筛加确认的两阶段策略,记录各方法的检出清单与效应量。[7]第五步,来源审查与影响评估:对检出条目做内容审查与总分离差模拟。第六步,处理与报告:按决策流程选择处理路径,报告中完整披露方法、条件、检出清单、效应量与处理结果——透明披露是功能差异分析作为公平证据的前提。混合模型可作为补充步骤用于大型数据,检查显性分组之外的隐藏人群结构。[8]

中国语境

中国语境中的差异项目功能分析已从研究方法演变为测评与修订的常规质检环节。教育测评端:大规模考试的命题审查流程纳入功能差异检验,检测维度以性别与城乡为主,题目情境的城乡熟悉度差异是高发来源;考试机构在题库运营中以功能差异为入库与退役的技术标准之一。量表修订端:中文修订研究把功能差异检验与测量不变性检验(见心理测量不变性)并列为主体证据,自编量表的发布规范也在向"结构验证加功能差异审查"靠拢。研究方法端:国内学者在混合项目反应模型、多级计分功能差异与自适应测验条件下的检测上有方法贡献,国际期刊的本土方法研究已形成稳定产出。[9]挑战有三:其一,小群体样本(少数民族语言群体、特殊教育群体)的检验效力不足,多组比较的可及性受限;其二,功能差异与区域教育资源差异的区分困难——检出的差异常源于真实的机会差异而非题目失准,处理决策需与政策语境对话;其三,透明披露的激励不足,功能性差异报告在国内期刊的完整率仍低于方法学界倡导的标准。总体而言,该概念的两个译名(本条目与项目功能差异)在国内文献中并存,检索与引用时宜两词并用。

争议

差异项目功能方法学的争议有四。其一,匹配变量的净化循环:净化匹配变量需先检出差异条目,而检出又依赖匹配变量——迭代净化的收敛与稳定性没有统一标准,不同迭代策略可能得出不同的检出清单。其二,多重检验问题:逐条目检验在长测验中的假阳性累积,校正策略(错误发现率控制)与保守阈值的取舍影响检出规模,实务中阈值选择的裁量空间偏大。其三,效应量阈值的约定性:可忽略/中等/大的分级界限是经验约定而非理论推导,不同领域(高利害考试与普通研究)适用标准不同,跨领域比较时需注意标准差异。其四,混合模型的解释风险:按作答模式聚类出的"隐藏群体"未必对应实质社会群体,把统计聚类直接当作社会分类报告有过度解读风险——混合模型结果需要与实质性分组信息交叉验证。[10]这些争议的共同指向是:功能差异分析是证据链中的一环,其结论的有效性取决于程序纪律与实质解释的配合,而非任何单一统计结果。

参见

参考资料

  1. ↑ Determining Differential Item Functioning with the Mixture Item Response Theory,YALCIN,Eurasian Journal of Educational Research,2018年。
  2. ↑ Effects of Unequal Ability Variances on the Performance of Logistic Regression, Mantel-Haenszel, SIBTEST IRT, and IRT Likelihood Ratio for DIF Detection,Pei等,Applied Psychological Measurement,2010年。
  3. ↑ Detecting Gender Related DIF using Logistic Regression and Mantel-Haenszel Approaches,Abedalaziz,Procedia - Social and Behavioral Sciences,2010年。
  4. ↑ Revisiting Differential Item Functioning: Implications for Fairness Investigation,Huang等,International Journal of Education,2012年。
  5. ↑ Revisiting Differential Item Functioning: Implications for Fairness Investigation,Huang等,International Journal of Education,2012年。
  6. ↑ Effects of Unequal Ability Variances on the Performance of Logistic Regression, Mantel-Haenszel, SIBTEST IRT, and IRT Likelihood Ratio for DIF Detection,Pei等,Applied Psychological Measurement,2010年。
  7. ↑ Detecting Gender Related DIF using Logistic Regression and Mantel-Haenszel Approaches,Abedalaziz,Procedia - Social and Behavioral Sciences,2010年。
  8. ↑ Determining Differential Item Functioning with the Mixture Item Response Theory,YALCIN,Eurasian Journal of Educational Research,2018年。
  9. ↑ Determining Differential Item Functioning with the Mixture Item Response Theory,YALCIN,Eurasian Journal of Educational Research,2018年。
  10. ↑ Determining Differential Item Functioning with the Mixture Item Response Theory,YALCIN,Eurasian Journal of Educational Research,2018年。