测量偏差
测量偏差指测量过程产生的系统性而非随机性的失准——误差不是随机散布,而是朝某一方向偏移,使分数与被测特质之间出现稳定的歪曲对应。与随机误差(增大变异但不改变均值方向)不同,偏差使结论整体偏离:系统性低估某群体的能力、把某种作答风格误读为特质水平、把文化特异性内容当作普遍指标。测量偏差是效度的敌人——一个有偏差的测量无论信度多高,其分数解释都是歪的;因此偏差的识别与控制是心理测量、调查研究与评估实务的核心质量环节。
源流
对测量偏差的系统研究来自三条传统的汇流。其一是经典测量理论的误差观:真分数模型把观测分数分解为真分数与误差,并区分随机误差与系统误差;信度处理随机误差,效度处理系统误差——偏差作为系统误差的别名,被纳入效度论证的视野。其二是测验公平研究:20世纪中叶起,测验对少数群体、女性群体与不同文化背景群体的系统性不利成为社会与法律议题,条目偏差与测验偏差研究兴起,其现代形态即项目功能差异分析(见项目功能差异)——用统计方法检测同一题目对某群体"额外地难"或"额外地易"。其三是调查研究方法学:调查中的总误差框架把测量偏差与非响应偏差、覆盖偏差并列为总误差的构成,研究系统分析了调查参与、非响应与测量误差各自对总偏差的贡献及相互关系,使"偏差"从单一概念扩展为可分解的误差体系。[1]三条传统共同确立了当代立场:偏差不是道德指控而是技术问题,其识别靠设计与方法,其控制靠程序与证据。
类型
测量偏差按来源可分五类。构念偏差:量表所含条目在目标群体中触及的不是同一构念——直接翻译的量表在某文化中激活了不同的心理意义("自我主张"条目在强调含蓄的文化中测到的可能是"不合群");构念偏差的检测依赖测量不变性检验(见心理测量不变性)。条目偏差(项目功能差异):个别条目在群体维度上功能异常——排除词义误解后的"额外难度",如以男性典型经验的例子设置数学应用题;这是最常被检测的一类,见项目功能差异条目。预测偏差:测验分数对效标的预测关系在群体间不同——同一分数对一组高估、对另一组低估其效标表现;回归截距与斜率的跨组比较是检测手段。情境偏差:施测情境造成的系统性失准——考官效应、威胁性提示(刻板印象威胁)、施测语言与被试母语不匹配;这类偏差可经标准化施测程序控制。反应偏差:被试作答风格造成的系统失准——默认同意、极端选择、社会赞许等(见反应偏差及其下位条目),自陈量表的主要偏差源。五类偏差的治理策略不同:构念与条目偏差靠编制与检验,预测偏差靠效度分析,情境偏差靠程序标准化,反应偏差靠设计与统计校正。
与随机误差的关系
偏差与随机误差的区分是测量学的第一课,但其交互常被忽视。首先,两者可以同时存在:一个量表可以既不可靠(随机误差大)又有偏(系统失准)——高信度不排除偏差,这是"信度高就放心"误区的方法学根源。其次,偏差可以伪装成随机误差:当偏差在不同被试间方向不定时(如情境效应随机触发),它以方差增大而非均值偏移的形式出现,信度分析无法发现;这类"伪随机偏差"的检测需要效度证据与情境设计的敏感性分析。再次,总误差框架提示偏差来源的加总效应:调查研究中,参与选择偏差与测量偏差可以相互放大或抵消——参与意愿与回答诚实性的相关性使两类偏差纠缠,简单相加估计会误导。[2]实践含义是:偏差治理需要多来源证据(信度、效度、不变性、项目分析、情境审计)而非单一指标,"没有发现显著偏差"也可能是检测效力不足。
检测
测量偏差的检测按类型配置工具。构念偏差:跨群体的测量不变性检验(形态—弱—强逐级检验),是跨文化与跨群体研究的标准程序。条目偏差:项目功能差异分析——曼特尔—亨塞尔方法、逻辑斯蒂回归法、项目反应理论方法等(方法细节见差异项目功能条目);性别相关条目偏差的两法对比研究显示不同方法的检出能力与假设条件不同,宜多法并用。[3]预测偏差:分群体的效标回归分析——检验斜率与截距的跨组一致性,是人事测评与招生测验公平审查的核心程序。情境偏差:施测程序审计与实验对照——变换施测语言、考官与提示方式,观察分数的系统移动。反应偏差:平衡量表设计、量表得分中的风格指标、以项目反应树等方法对作答过程建模(见反应偏差条目)。检测的总原则是"假定有偏、寻找无偏的证据":质量声明(本测验无偏差)需要证据支撑,缺乏检验本身就是质量问题。
控制
偏差控制贯穿测量全生命周期。编制期:条目来源的多元审查——邀请不同背景的专家与目标群体代表审读条目,排查文化特异经验、性别刻板情境与术语障碍;预试中的项目分析包含初步的功能差异筛查。标定期:正式的功能差异检验与不变性检验作为发布门槛,检出条目修订或剔除(处理决策见差异项目功能)。施测期:标准化程序——统一指导语、语言条件、时间与工具环境;对刻板印象威胁等情境效应,采用去威胁化的提示设计。分析期:校正统计——对已知偏差源使用统计控制(协变量、多层模型、反应风格建模),对分数使用进行分组标定。使用期:分数解释的边界声明——明确测验适用于哪些群体、跨群体比较需何种前提(等值与不变性),把"何时分数可比"作为使用规范的一部分。治理的组织层面:高利害测评需要独立的公平审查程序与申诉机制,偏差治理由此从技术环节上升为制度环节(见测量公平)。
中国语境
中国语境中的测量偏差议题集中在三个板块。跨语言修订中的构念偏差:西方量表的直译在中文语境中的意义漂移(如个人主义色彩条目、隐私条目)是修订研究的常见发现,翻译—回译与认知访谈程序被用于提前排查;"直译通了但构念偏了"的情形提醒修订工作不能止于语言通顺。城乡与区域差异研究中的偏差风险:城乡学生、流动儿童的心理与学业比较研究数量庞大,其结论依赖不变性与功能差异检验的规范执行——未检验的比较可能把测量偏差误报为群体差异,国内方法学界对此已形成明确的批评与倡导。教育测评中的情境与预测偏差:高利害考试的命题公平审查(题目情境的城市化倾向、语言表述的城乡熟悉度差异)是命题管理的正式环节;心理测评在入学、人事场景中的预测偏差审查也开始受到关注。文化层面,中文语境对"偏差"的讨论常与"公平"议题直接绑定——公众对测评公平的高度敏感使偏差治理具有超越技术的社会意义,测评机构的技术透明度(方法公开、偏差检验披露)是信任建设的关键。
争议
测量偏差研究的争议有四。其一,偏差定义之争:统计检出与实质不公之间的关系——统计上"功能差异"的条目未必构成实质不公平(差异可能反映真实的能力构成差异而非测量失准),反之统计未检出也未必无碍;学界共识是统计证据与内容专家审查必须结合,单一来源不足以定论。[4]其二,匹配变量问题:功能差异分析以匹配变量(通常为总分)划分能力组,若总分本身有偏,检验的系统误差随之传递——匹配变量选择的循环性问题没有完美解法。其三,修正与删除的两难:检出偏差条目后是修订、删除还是保留观察——删除改变构念覆盖与信度,保留损害公平,决策需要在实质影响评估下权衡(详见差异项目功能)。其四,偏差话语的社会效应:把测量偏差议题普及化的过程中,"测验有偏"的断言可能被泛化为对测评制度的整体否定,也可能被反向利用来回避公平审查——技术话语在社会讨论中的边界治理是持续的方法伦理课题。
参见
参考资料
- ↑ Survey Participation, Nonresponse Bias, Measurement Error Bias, and Total Bias,Olson,Public Opinion Quarterly,2006年。
- ↑ Survey Participation, Nonresponse Bias, Measurement Error Bias, and Total Bias,Olson,Public Opinion Quarterly,2006年。
- ↑ Detecting Gender Related DIF using Logistic Regression and Mantel-Haenszel Approaches,Abedalaziz,Procedia - Social and Behavioral Sciences,2010年。
- ↑ Revisiting Differential Item Functioning: Implications for Fairness Investigation,Huang等,International Journal of Education,2012年。