回归分析
回归分析(regression analysis)是研究一个因变量与一个或多个自变量之间数量关系,并据此对未知情形作出预测或解释的统计方法。它的基本做法,是用一个数学模型刻画自变量变化时因变量平均而言如何随之变化,再借助观测数据估计模型中的参数。回归分析在心理学、经济学、流行病学与工程领域应用极广,凡是需要回答“某个因素每变动一个单位,结果平均改变多少”这类问题的研究,几乎都会用到它。它与相关分析关系密切,但侧重点不同:相关分析只问两个变量是否同向或反向变动、联系有多紧;回归分析则进一步给出方向性的数量关系,并允许在控制其他变量的条件下考察某一因素的独立作用。
词源与早期历史
“回归”一词并非源于数学,而来自生物学观察。19世纪后期,英国学者弗朗西斯·高尔顿(Francis Galton,1822—1911)在研究身高的遗传时发现了一个有趣的现象:父母很高,子女平均而言也高,但往往不如父母那么高;父母很矮,子女平均而言也矮,却又比父母略高一些。子代的身高总是朝着群体的平均水平“回落”。高尔顿把这一现象称为“向平均回归”,并在1880年代的相关研究中使用了这一说法。这个起初用来描述遗传现象的词,后来被借去指称一整类拟合变量间关系的统计技术,词义与生物学原义已经相去甚远。
回归分析得以实用,还依赖于更早的数学工具。最小二乘法在19世纪初已由勒让德与高斯分别提出,用于在天文观测中处理带误差的数据,从一堆并不精确的观测里求出最可能的参数。20世纪以后,随着计算能力的提升和统计推断理论的发展,最小二乘与回归模型结合在一起,逐渐成为应用最广的建模手段。[1]
最小二乘与线性回归
最简单的回归是只有两个变量的一元线性回归。研究者假定因变量 y 与自变量 x 之间的关系可以用一条直线近似,即 y 等于截距加上斜率乘以 x,再加一个误差项。所谓拟合,就是要在所有可能的直线中挑出一条“最贴近”数据点的。最小二乘法的准则很直观:把每个观测点到直线的垂直距离(残差)平方后相加,选择使这个总和最小的那条直线。取平方而非取绝对值,既避免了正负相消,又使距离较远的点受到更大惩罚,数学处理上也更为便利。
拟合出的斜率具有明确的解释力:自变量每增加一个单位,因变量平均改变多少个单位。截距则是自变量为零时因变量的预测值,只有当零在自变量的实际取值范围内时才有现实意义,否则它只是一个数学上的定位点。模型拟合的好坏常用决定系数来衡量,它表示因变量的变异中被自变量解释的比例,取值在零到一之间。决定系数高,说明数据点紧密围绕回归线;但它只反映线性关系的强度,不能说明因果,也不能保证模型设定正确。
多元回归与模型设定
现实研究中的因变量往往受多个因素共同影响,于是有了多元回归:把两个以上的自变量同时纳入模型,各自配一个偏回归系数。偏系数的含义是,在其他自变量保持不变的条件下,该自变量每变动一个单位对因变量的平均影响。这种“控制其他变量”的能力,是多元回归在观察性研究中备受重视的原因——它让研究者能够在统计上排除一些混杂因素的干扰,近似地考察某一变量的净效应。
多元回归也带来新的麻烦。当自变量之间高度相关时,会出现多重共线性,各系数的估计变得不稳定,标准误膨胀,甚至出现符号与常识相悖的结果;此时模型整体也许仍有不错的预测力,但单个系数的解释已不可靠。另一个风险是过拟合:自变量越多,模型在训练数据上拟合得越好,但这种拟合可能只是捕捉了噪声,换一批数据便失效。为此研究者使用校正后的决定系数、交叉验证等手段来惩罚模型的复杂度。变量如何取舍、模型如何设定,往往比估计本身更考验判断,逐步回归之类自动选变量的做法虽然方便,却容易产生虚假的显著结果,学界对其态度日趋谨慎。[2]
假定与诊断
线性回归的有效性依赖若干假定。第一是线性,即因变量的条件均值确实是自变量的线性函数,若真实关系是曲线的,硬套直线就会系统性地偏离。第二是误差独立,观测之间不应相互影响,时间序列或嵌套数据中这一条常被违反。第三是方差齐性,即在不同自变量取值上误差的离散程度大致相同,若误差随自变量增大而增大,普通最小二乘的效率就会下降。第四是误差近似正态,这一条主要影响小样本下的区间估计与假设检验。
与假定同等重要的是对数据的诊断。个别极端值可能对回归线产生不成比例的影响,一个离群点就足以把斜率拉向自己,因此需要借助残差图、杠杆值与影响力指标来识别并审慎处理。残差图还是检查线性与方差齐性的直观工具:若残差呈现弯曲的趋势或喇叭形的散布,就提示模型设定有问题。把这些诊断做在前面,远比事后为异常结果寻找解释更为可靠。心理学研究中常用的信度与效度概念,在这里以另一种形式出现——模型是否有意义,最终仍要回到它对变量的测量是否站得住脚。
从相关到因果的界限
回归分析最容易被误用的地方,是把回归系数当成因果效应。回归只描述数据中的统计关联,即便系数显著、方向合乎预期,也不能直接推出“改变 x 就会改变 y”。横断面数据中常见的反向因果、遗漏变量与选择偏差,都可能在回归中伪装成清晰的效应。遗漏变量尤为隐蔽:若某个同时影响自变量与因变量的因素未被纳入,它的作用会被错误地记在已纳入的变量账上,系数因此有偏。辛普森悖论则提醒人们,合并数据与分组数据可能给出方向相反的结论,聚合层次的选择足以颠覆解释。
正因为如此,严谨的因果推断需要额外的设计,如随机对照实验、工具变量、断点回归或倾向得分匹配,而不能仅凭一次回归就下断言。回归分析的类型也随因变量的性质而扩展:因变量为二分类时用逻辑回归,为计数时用泊松回归,这些广义线性模型保留了“用自变量解释因变量”的框架,却改变了连接函数与误差分布。方法越灵活,越需要研究者清楚自己究竟在估计什么。
争议、误用与评价
回归分析在实践中积累了不少教训。有人把模型的预测能力与解释能力混为一谈,一个在样本内拟合极好的模型,未必能推广到样本外;有人对自变量取值范围之外的情形做外推,忽视了关系可能在中途改变;也有人只报告显著的系数,隐去不显著的结果,使文献中的效应被系统性高估。近年来,机器学习方法的兴起进一步凸显了传统回归的边界:当预测精度是首要目标、变量间关系高度复杂时,以回归为代表的参数模型未必占优;但当研究者需要可解释的系数、需要说清每个因素的作用方向与大小,回归仍然是难以替代的工具。[3]
评价回归分析,应看到它是一种“有条件的描述”。它能把散乱的数据压缩成少数可解释的参数,能在控制若干变量的前提下考察某一因素的平均效应,也能为预测提供量化的依据;但它的结论始终依赖模型设定、依赖数据覆盖的范围、依赖那些无法由数据自身检验的假定。回归给出的是“在这个模型下、在这批数据上”的答案,把它当作关于世界的最终真理,是对方法的僭越。把它当作一种需要不断与理论、与设计、与新证据相互校对的分析工具,才是恰当的态度。[4]
参考资料
- ↑ Psychological Testing,Encyclopaedia Britannica,2024年访问
- ↑ APA Dictionary of Psychology,American Psychological Association,2024年访问
- ↑ PubMed Central,National Center for Biotechnology Information,2024年访问
- ↑ 中国心理学会官网,中国心理学会,2024年访问