元分析
元分析又称荟萃分析,是对某一研究领域中多项独立实证研究的结果进行定量整合的统计方法。一九七六年,美国教育心理学家格拉斯首次使用这一术语,并把教育研究中的统计分析划分为三个层次:初级分析,即对原始资料的处理;中级分析,即对单项研究已发表统计资料的再分析;元分析,即对某一问题各项单个研究的统计资料进行统计分析。此后,元分析逐渐成为循证教育、医学、心理学等领域综合证据的标准工具。
产生背景
元分析的出现,回应了传统文献综述的两个困境。
其一是叙述性综述的选择性。传统综述由作者阅读文献后作出判断,哪些研究纳入、哪些结论被强调,取决于作者的学术立场与阅读范围。不同作者面对同一批文献,可能得出相反结论,而读者无从判断分歧的来源。
其二是“显著性”的误导。大量研究报告只关注统计显著性,忽略效应大小。当样本足够大时,任何微小的差异都会显著;当样本很小时,真实存在的效应也可能不显著。结果是文献中充斥着“有效”与“无效”的二元结论,却无法回答“效果有多大”。
元分析通过统一的效应量、明确的纳入标准、系统的检索程序与定量的合并方法,把分散的研究结果转换为可比较的数值,从而估计总体效应、检验异质性、识别调节变量。它并不取代研究者的判断,而是把判断的依据公开化。
效应量
效应量是元分析的基本单位,表示干预或关系的强度,且不受样本量影响。常用的效应量有三类。
第一类是标准化均值差,适用于实验组与对照组的连续变量比较。科恩的d值以两组均值之差除以合并标准差;赫奇斯进一步提出g值,加入小样本校正因子,避免小样本研究高估效应。按科恩提出的惯例,d值零点二为小效应,零点五为中等效应,零点八为大效应。这一惯例被广泛沿用,但也受到批评:在教育干预中,零点四左右的效应已具有实质意义,机械套用医学领域的标准会低估教育干预的价值。
第二类是相关系数,适用于两个连续变量的关系研究。由于相关系数不服从正态分布,分析前通常先转换为费雪Z分数,合并后再转换回相关系数。按惯例,零点一、零点三、零点五分别对应小、中、大效应。
第三类是比值比与风险比,适用于二分结果,如辍学与否、及格与否。
效应量的选择须与研究设计匹配。把实验研究的均值差与相关研究的关系强度混在同一模型中合并,是常见的错误,因为二者回答的问题并不相同。
模型选择与异质性
元分析面临一个基本问题:纳入的各项研究真的在估计同一个总体效应吗?对此有两种回答,对应两种模型。
固定效应模型假设所有研究共享同一个真实效应,研究间的差异仅来自抽样误差。当研究数量少、研究间高度相似时适用。随机效应模型假设各项研究所估计的真实效应本身存在分布,研究间的差异既来自抽样误差,也来自真实效应的变异。教育研究中的干预对象、实施条件、测量工具差异极大,因此随机效应模型更为常用。实践中,若独立研究少于五项,部分学者主张采用固定效应模型;超过五项则用随机效应模型,并以异质性检验佐证选择的合理性。
异质性检验用于判断研究间差异是否超出抽样误差。常用指标有三:Q检验,服从自由度为研究数减一的卡方分布,显著则表示存在异质性;I平方,表示总变异中由异质性造成的比例,百分之二十五、五十、七十五分别对应低、中、高异质性;τ平方,表示研究间真实效应的方差,用于计算权重。
异质性显著时,研究不应止于报告一个平均效应,而应进一步做调节效应分析,考察哪些研究特征(学段、学科、干预时长、实施主体、测量方式)能够解释效应大小的差异。以虚拟现实技术辅助英语教学的元分析为例,合并效应值为零点六五二,属中等偏上;分学段看,小学为零点八五七,初中为零点六三九,高中为零点三七一,呈现随学段升高而效应递减的趋势,虽然学段间的差异未达统计显著。
发表偏倚与稳健性
发表偏倚指结果显著的研究更容易被发表,导致文献库中的效应量被系统性高估。元分析必须检验并处理这一问题。
常用的检验方法有三种。漏斗图以效应量为横轴、标准误为纵轴作图,样本大、精度高的研究应集中在图的上部并围绕平均效应对称分布;若图形明显不对称,提示存在偏倚。埃格检验对漏斗图的不对称性作统计检验,p值大于零点零五通常认为偏倚不显著。失安全系数估计需要多少项未发表的无效应研究才能把合并效应降为不显著,数值越大结论越稳健。
若检验发现严重偏倚,可用剪补法校正:先剔除不对称一侧的极端研究,重新估计效应,再把剔除的研究补回,观察结论是否改变。敏感性分析则通过逐一剔除单项研究或采用不同模型,检验合并效应是否稳定。若剔除任一研究后结论方向不变,说明结果稳健。
操作流程与报告规范
一项规范的元分析通常包括:提出明确的研究问题;制定检索策略,覆盖多个数据库并说明检索式与时间范围;制定纳入与排除标准,包括研究设计、对象、干预、结果测量、语言;筛选文献并绘制流程图;提取数据,包括样本量、均值、标准差、效应量或可转换的统计量;评价纳入研究的质量;选择模型并计算合并效应;检验异质性并分析调节变量;检验发表偏倚与敏感性;解释结果并讨论局限。国际上的系统综述与元分析报告规范为研究者提供了逐项清单,要求报告检索细节、编码者一致性、模型选择依据等,以提高透明度。
编码环节常被忽视却至关重要。同一研究可能报告多个结果变量、多个测量时点、多个子样本,若全部纳入,会造成同一批被试被重复计算,人为放大样本量、缩小置信区间。解决方式包括:每个独立样本只取一个效应量;或采用三水平模型,把抽样变异、研究内变异、研究间变异分层建模。
在教育领域的应用
元分析对教育研究的影响,以哈蒂的“可见的学习”最为著名。哈蒂历时十五年,综合八百多项元分析、涉及两亿四千余万名儿童的研究结果,试图回答“什么因素最能影响学业成就”。他提出以零点四作为效应量的“枢纽点”,即多数常规教学干预的效应在零点四左右,低于此值的干预难以超过自然成熟带来的进步,高于此值才值得优先投入。这一研究在英国被称为教育领域的“圣经”,在德国、北美、澳大利亚引发广泛讨论,也受到方法论上的批评,如效应量归类的主观性、不同研究测量工具的不可比、“一切皆有效”的困境。
国内教育领域的元分析近十年增长迅速。研究主题包括:信息技术与学科教学的整合效果、翻转课堂与混合式学习的成效、科学、技术、工程与数学教育的学业影响、智慧课堂的有效性、学习障碍鉴别模式的效度。这类研究为政策讨论提供了量化依据,如某元分析纳入四十八项实证研究,发现智慧课堂对学习成效有正向影响,但异质性高达百分之九十二以上,说明效果高度依赖实施条件。
局限
元分析常被批评为“垃圾进,垃圾出”:若纳入的原始研究质量低、测量粗糙、设计有偏,合并后的结论只是把偏差放大。它也面临“苹果与橘子”的问题:把测量不同构念、实施不同干预的研究强行合并,得到的平均值可能没有实际含义。此外,发表偏倚难以彻底消除,纳入标准的主观性难以完全避免,调节变量的分析受制于原始研究报告的信息完整度。
更根本的限制是,元分析只能整合已有研究,无法回答文献中没有的问题,也无法替代新的实证研究。它擅长回答“平均而言效果多大”“在什么条件下效果更好”,不擅长回答“为什么有效”“在本地情境中是否有效”。因此,元分析的结论应被视为证据综合的起点,而非决策的终点。
参考资料
- [教育研究的元分析](https://xbjk.ecnu.edu.cn/EN/article/downloadArticleFile.do?attachType=PDF&id=10200),《华东师范大学学报(教育科学版)》。
- [寻找“最佳证据”:如何运用元分析进行文献综述——以STEM教育对学生成绩的影响研究为例](https://xbjk.ecnu.edu.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=9349),《华东师范大学学报(教育科学版)》。
- [干预—应答模式鉴别学习障碍的有效性及其调节因素:20年研究的元分析](https://html.rhhz.net/XinLiFaZhanYuJiaoYu/html/20160609.htm),《心理发展与教育》。
- [家校共育为什么需要循证](http://paper.jyb.cn/zgjyb/images/2023-04/26/02/ZGJYB2023042602.pdf),中国教育报,2023年4月26日。