判别分析
| 判别分析 | |
|---|---|
| 英文名 | Discriminant Analysis |
| 学科归属 | 多元统计 |
| 核心含义 | 依据已知组别的样本建立规则,对未知组别个体进行归类的方法 |
| 提出者 | 费希尔(Ronald Fisher) |
| 提出时间 | 1936 年 |
| 监督属性 | 有监督学习 |
| 相关条目 | 聚类分析、多元回归分析、逻辑回归|} |
判别分析是一种有监督的分类方法:在已知每个样本所属类别的前提下,寻找变量组合的最优线性加权,使类别之间的区分最大化,然后用这一加权规则对组别未知的个体进行归类。
费希尔 1936 年提出的经典判别分析最初用于植物分类问题:用花萼与花瓣的测量数据区分鸢尾花的三个种。这一方法引入社会科学后,成为分类研究(何种特征区分治疗有效与无效者、顺利适应与适应困难者)的经典工具。
基本原理
经典判别分析的核心概念是判别函数:观测变量的线性组合 Z = b1X1 + b2X2 + … + bpXp。权重 bi 的选择使组间差异相对组内差异的比值最大——即在保留区分信息的前提下压缩维度。
若有三个组,通常可提取两个判别函数:第一判别函数承载最多的组间差异,第二函数承载剩余的差异,两者相互正交。判别函数的解释类似因素分析:看各变量在函数上的载荷,为函数命名(如"社会经济维度""情绪反应维度")。
归类的规则通常是:把个体的判别得分与各类别的中心比较,归入最近(或后验概率最大)的类别。若各类别的协方差结构差异大,则采用二次判别分析(允许每类有自己的曲面边界)。
与多元回归和逻辑回归的关系
判别分析与相关方法之间存在清晰的对应关系。
与多元回归比较:两者都输出加权线性组合,但回归预测连续结局,判别预测类别成员资格。在两组情形下,判别分析与以组别编码为因变量的回归在数学上高度相似,权重的相对比例一致。
与逻辑回归比较:两者都做类别预测,但假设不同——判别分析假定预测变量在各类内服从多元正态分布且协方差相等;逻辑回归对预测变量分布不做假定,直接建模类别概率。当正态假定明显不成立(如变量高度偏态或为分类变量)时,逻辑回归更稳健,这也是近年应用中逻辑回归使用更广的原因。
对连续自变量、近似正态分布、类别边界线性的场景,判别分析在理论上略有效率优势;违反假定时的稳健性对比则相反。
效果评价
分类方法的评价有多个角度,各有陷阱。
总体正确率:最直观但可能误导——若两组比例为 90 比 10,全部预测为多数组即得 90% 正确率,却毫无判别价值。必须报告各类别的命中率。
敏感性与特异性:对每一类分别评价"该找出的找出了多少"(敏感性)与"不该判入的排除了多少"(特异性),两者往往此消彼长,判别标准的设定须结合错误的代价(漏诊与误诊的代价通常不对称)。
交叉验证:用全部样本估计规则再在同一样本上评价正确率,会高估效果(乐观偏差)。规范做法是留一法、分半验证或自助验证——估计与评价分离。
Chance 一致性校正:扣除随机归类的基线,用改进的正判率衡量真实判别力。
应用判别分析预测临床结局或人员选拔时,交叉验证正确率与样本外表现才是有意义的指标,样本内正确率基本没有参考价值。
与新分类方法的比较
当代机器学习提供了多种分类器,判别分析在其中的位置值得明确。
逻辑回归:假定更少、稳健性更好,已成为二分类的主流默认选择;但在严格满足多元正态与协方差齐性时,判别分析的理论效率更高,且其判别函数与组中心的距离有更直观的几何解释。
决策树与随机森林:捕捉非线性与交互效应的能力强,预测性能常更优,代价是规则的可解释性下降(随机森林尤甚)。需要向使用者交付"谁符合什么条件归入哪类"的清晰规则时,线性判别仍有优势。
支持向量机与神经网络:高维复杂模式识别的强项,但需要大样本,且几乎放弃了解释。
判别分析还有一个延续的生命力场景:降维兼分类。判别函数本身就是把多维剖面压缩为少数综合维度的工具——"治疗反应剖面指数"这类构造,直接来自判别函数的载荷。当研究者既要分类又要得到可解释的综合指标时,经典判别仍是合理选择。
对新入门者,方法论上最重要的一课是:分类问题的难度主要取决于特征质量与类别定义的可靠性,而不是分类算法本身。算法之间十几厘米的正确率差距,远小于变量选择的失误带来的影响——这一经验同样适用于判别分析与其他一切分类方法。
前提假定与诊断
判别分析的有效性依赖几个假定,使用前应逐项诊断。
多元正态性:各变量在各类内近似正态分布。偏态明显时先做变换或改用逻辑回归。
协方差齐性:各组协方差矩阵相等。违反时经典判别的归类面失真,应改用二次判别分析或逻辑回归,但二次判别需要更大的样本。
组间无极端值、预测变量间不过度共线:极端值会拉偏判别函数;共线性使权重不稳定、解释困难。
类别定义的可靠性:判别分析以组别标签为"金标准",若类别本身的判定不可靠,后续一切都建立在流沙上。
这些假定的现实满足度有限,解释判别权重时(尤其把它当作变量重要性排序时)应保持克制——权重对样本与变量集的变动相当敏感。
心理学应用
判别分析在心理学中的经典与当代应用包括:
临床分类:区分抑郁与双相、鉴别诊断辅助,以及治疗反应者的早期识别(哪些基线特征预示有效)。
选拔与安置:依据求职者特征区分"高绩效组与低绩效组"的判别剖面,用于筛选决策的辅助。
发展研究:识别日后适应良好与不良的早期特征组合,寻找风险的先行指标。
神经心理学:利用认知测验剖面区分不同脑区损伤模式,辅助定位判断。
当代实践中,判别分析的地位部分被逻辑回归、决策树与机器学习分类器取代,但它在两个场景仍具优势:需要可解释的线性规则(权重表直接转化为应用指引)时;需要与经典文献对话(历史研究使用判别)时。方法新旧不是标准,与问题的匹配才是。