跳转到内容

准实验研究

来自VeritasWiki 真理百科

准实验研究是指在研究者主动操纵自变量的前提下,因无法或不宜随机分配被试而采用非随机分组、利用既有分组或利用政策阈值构造比较条件,以此推断因果效应的研究设计。它的“准”字表明:它具备实验的核心特征——操纵自变量、观察因变量、设置比较,但缺少实验的关键保障——随机分配。这一缺失使准实验的内部效度介于相关研究与真实验之间,也使它在教育研究中成为使用最广的因果推断工具。

    1. 为什么教育研究离不开准实验

随机对照实验是因果推断的金标准,但在教育场域中实施困难。

    • 伦理限制。** 不能为了研究把学生随机分配到“不接受某种支持”的条件中,尤其是当该支持被认为有益时。奖学金、心理干预、学业辅导的研究都面临这一问题。
    • 实施限制。** 学校按行政班组织教学,班级是既成单位,随机打散班级会破坏正常的教学秩序与管理。
    • 政策限制。** 许多研究评估的是已经实施的政策,如“双减”、集团化办学、教师轮岗。研究者无法回到政策实施前重新随机分配。
    • 成本限制。** 大规模随机实验需要长期协调、多部门配合、充足经费,多数研究难以承担。

准实验因此成为现实中的主流选择。它以可接受的效度损失,换取研究的可行性与生态效度:研究发生在真实学校、真实课堂中,结论的可推广性往往优于严格控制的人工情境。

    1. 与相邻设计的区别
    • 与真实验的区别。** 唯一但关键的区别是随机分配。真实验通过随机化使组间在期望上相等,所有可能的混杂变量(包括未测量的)都被平衡;准实验只能平衡已测量、已控制的变量,未测量的混杂仍然存在。
    • 与相关研究的区别。** 准实验操纵了自变量,因此消除了“方向性问题”——是A影响B还是B影响A。相关研究只能观察共变,无法确定方向。这一区别使准实验的因果论证强于相关研究。
    • 与前实验的区别。** 前实验(单组后测、单组前后测)既无随机分配,也无对照组,几乎无法排除替代解释。准实验至少具备一个可比组,或具备多期观测,因而能够处理部分威胁。
    1. 主要设计类型
    • 不等组前后测设计。** 最常用的准实验设计。实验组与对照组均为现成群体(如两个平行班、两所学校),两组都作前后测。分析时常用协方差分析以前测为协变量,或用增益分数比较。其弱点在于选择与成熟的交互作用:即便前测成绩相同,两组的自然增长速度也可能不同。
    • 不等组后测设计。** 只有后测,没有前测。适用于前测不可行或前测本身会造成敏感化的情形,但因无法检验组间基线可比性,论证力较弱。
    • 单组前后测设计。** 一组被试,前后各测一次。严格说属于前实验,但在无法设置对照组的场景(如全校性改革)中被广泛使用。其结论必须明确标注局限。
    • 中断时间序列设计。** 在干预前后各收集多个时点的观测,通过比较干预前后的水平变化与斜率变化判断效应。其优势是能区分干预效应与短期波动,也能观察效应的持续性。教育领域的典型应用是评估某项政策(如新的作息制度、统一的作业管理要求)实施前后的变化。设计的关键是观测点足够多(一般不少于干预前的8至10个时点),且干预时点明确。
    • 转换复制设计。** 两组先后接受处理:第一组先接受处理,第二组作为对照;随后第二组接受处理,第一组回到常态。若效应随处理的出现与撤除而出现与消失,因果论证大为增强。这是准实验设计中内部效度较高的一种。
    • 断点回归设计。** 利用一个明确的阈值(如录取分数线、资助资格线、班级人数上限)把个体分配到处理组与控制组。阈值附近的个体在其他特征上近似随机,因而可以比较阈值两侧的结果差异。断点回归被认为是准实验中最接近真实验的方法,其前提是:阈值外生、个体不能精确操纵阈值、协变量在阈值处连续、带宽选择合理。
    • 双重差分法。** 比较处理组与对照组在政策前后的变化之差。它同时控制了组间不随时间变化的差异与两组共同的时间趋势。核心假设是平行趋势:若无政策,两组的结果变量应按相同趋势变化。这一假设可用政策前的多期数据作事件研究检验。
    • 倾向得分匹配。** 通过估计个体接受处理的概率,把处理组与倾向得分相近的控制组个体配对,以减少可观测变量的选择偏差。常与双重差分结合使用(即倾向得分匹配加双重差分),以提高估计的稳健性。局限在于只能处理可观测的混杂。
    1. 效度威胁

准实验面临的威胁,与实验有重叠但更严重。

    • 选择偏差。** 组别不是随机形成的,可能存在系统性差异。例如采用新教学法的班级,可能是学校特意安排的“快班”;参加课后服务的学生,可能本身家庭支持更充分。
    • 选择与成熟的交互。** 两组的自然发展速度不同。低年级与高年级、城市与农村、重点校与普通校,成长曲线本身就有差异。
    • 历史效应。** 干预期间发生的外部事件可能与干预同时作用于结果。政策叠加是教育领域的常态:一项改革往往与其他改革同期推进,效应难以分离。
    • 回归均值。** 依据极端分数选取对象(如选取成绩最差的班级作实验班),后测改善可能只是统计回归。
    • 测验与工具的漂移。** 前后测使用的试卷难度不同、评分标准变化、评分者更换,都会污染结果。
    • 差异流失。** 两组的流失率不同,且流失者与非流失者系统不同。例如实验班转出了成绩较差的学生,后测均值自然上升。
    • 溢出效应。** 对照组可能间接受到干预影响,如教研活动共享、教师之间的经验传播,导致两组差异被低估。
    • 实施保真度。** 干预在实际执行中偏离设计,如教师只实施了部分环节、课时被挤占。若不测量保真度,效果估计无法解释。
    1. 补救与稳健性检验
    • 设计层面。** 尽可能选择相似的组别(同一学校、同一年级、教师教龄相近);增加前测与多期观测;设置多个对照组;采用转换复制;明确记录实施过程。
    • 统计层面。** 用协方差分析控制前测;用固定效应模型控制不随时间变化的不可观测因素;用倾向得分匹配或熵平衡改善组间可比性;用事件研究法检验平行趋势;用安慰剂检验排除偶然;用不同带宽、不同模型设定检验断点回归的稳健性。
    • 质性补充。** 用访谈与观察核实干预的实施过程、参与者的实际体验、可能的溢出渠道。混合研究在准实验中的价值,主要在于解释“为什么有效或无效”,而非替代效应估计。
    1. 在中国的应用

准实验方法在中国教育政策评估中的使用,近十年增长迅速。

    • “双减”政策评估。** 华东师范大学学报发表的一项研究利用全国抽样的义务教育阶段学生家庭大样本调查数据,应用双重差分模型分析政策对家庭校外培训参与和支出的影响,发现政策显著降低了学科类培训的参与与支出,对非学科类培训则有增加效应;异质性分析显示,政策对中低社会经济地位家庭的减负效果更明显,对高社会经济地位家庭无显著影响。研究通过倾向得分匹配加双重差分的稳健性检验,并讨论了非学科类培训结果不稳健的问题。
    • 办学模式改革评估。** 集团化办学、学区制、城乡学校共同体等改革,多采用县域内学校层面的准实验设计,比较参与校与非参与校在学生成绩、教师流动、家长满意度上的变化。这类设计的难点在于参与校的选择往往非随机,教育行政部门倾向于把薄弱校纳入集团,导致选择偏差向下。
    • 教学干预评估。** 校本课程、教学模式、信息化工具的推广,常以班级或年级为单位实施,形成天然的不等组设计。
    • 大规模测评数据的二次分析。** 国家义务教育质量监测、国际学生评估项目等数据,可用于构造准实验分析,如比较政策实施省份与非实施省份的变化。
    1. 方法论反思

华东师范大学学报刊载的因果关系推断研究,对准实验方法的滥用提出了警告。文章指出,在实验与准实验方法盛行于社会科学的当下,需要反思这些方法被误用甚至滥用的可能:量化研究者过于关注估计参数的显著性、过于坚持结果与预期的一致性,而忽视了有效因果推断所需满足的基本条件。文章逐一列出前提:断点回归要求断点外生,能将断点两侧个体近似随机分配;工具变量须满足与内生变量强相关、与异质性残值无关、只通过内生变量影响结果三个条件;倾向得分结合双重差分只能处理可观测异质性与不随时间变化的不可观测异质性,其估计只有在不存在随时间变化异质性时才无偏。

这一提醒对教育研究尤为重要。教育政策往往多项目叠加、实施过程复杂、对象高度异质,平行趋势、外生断点等假设很容易被违反。研究者在报告结果时,应同时报告假设检验、稳健性检验与结论的边界,而不是把估计值当作确定事实。

另一个值得注意的问题是“效应异质性”。同一政策在不同学校、不同学生群体中的效应可能相反:集团化办学对薄弱校可能有帮助,对优质校可能带来资源稀释;课后服务对双职工家庭是支持,对已有丰富课外安排的家庭可能是替代。平均值掩盖了这些差异,而政策制定恰恰需要知道“对谁有效”。

    1. 参考资料
  1. [教育研究中的因果关系推断——相关方法原理与实例应用](https://xbjk.ecnu.edu.cn/CN/html/2017-4-1.htm),华东师范大学学报(教育科学版)。
  2. [“双减”政策对学生家庭校外培训参与和支出的影响](https://xbjk.ecnu.edu.cn/CN/10.16382/j.cnki.1000-5560.2025.01.002),华东师范大学学报(教育科学版)。
  3. [教育研究方法——各章节重点、难点](https://jyxy.wfu.edu.cn/2013/1225/c1429a19765/page.htm),潍坊学院教师教育学院。
  4. [实证研究浪潮下教育实验的式微与重建](https://epc.swu.edu.cn/info/1331/5549.htm),西南大学西南民族教育与心理研究中心。
  5. [聚焦“有效性”研究,华东师大成立教育经济研究实验室](https://www.ecnu.edu.cn/info/1094/59335.htm),华东师范大学。