跳转到内容

聚类分析

来自VeritasWiki 真理百科
聚类分析
英文名 Cluster Analysis
学科归属 多元统计、机器学习
核心含义 依据相似性把个体自动分组为内部紧密、彼此疏远的类别的无监督方法
主要算法 系统聚类、K 均值聚类、密度聚类
与潜类别的关系 算法分组与模型分组的对照方法
相关条目 潜类别分析、判别分析、探索性因素分析|}

聚类分析是一类无监督的统计方法:在没有事先分组信息的情况下,依据个体在多个变量上的相似程度,把它们划分为组内相似度高、组间相似度低的类别。与判别分析不同,聚类分析事先不知道类别数量与类别构成,类别本身是分析的产出而非输入。

聚类分析的哲学立场是"让数据自己说话":研究者只提供相似性的度量与分组规则,分组结构由数据决定。这一特性使它成为探索性研究的常用起点——在理论尚不清晰时,先看个体差异的自然形态。

相似性的度量

聚类的第一步是定义"相似",不同的度量会产生不同的分组结果。

距离度量适用于连续变量:欧氏距离(直线距离,对量纲敏感,使用前需标准化)、马氏距离(考虑变量间的相关与方差差异)、曼哈顿距离(各维度差值的绝对值之和,对极端值更稳健)。

相似系数适用于分类变量或相关结构:Jaccard 系数比较两组属性集合的重叠,相关距离比较个体在变量集上的反应剖面形状而非水平。

一个容易被忽视的问题是变量选择:加入无关变量会稀释真实差异,加入过多冗余变量会重复计权某些维度。规范做法是依据研究问题选择变量、必要时先做降维(如因素分析)再聚类。

系统聚类

系统聚类(层次聚类)从每个个体各自为一类开始,逐步合并最相似的类,直到所有个体归为一类,形成一棵嵌套的树状图。研究者从树状图的某个高度"切断",得到相应数量的类别。

系统聚类的关键选择是类间距离的定义:最短距离法(单联接)倾向产生链状长条类;最长距离法(全联接)倾向产生紧凑球形类;组平均法折中,是最常用的选择;Ward 法以组内方差最小化为合并准则,通常产生大小较均衡的类,在心理研究中应用广泛。

系统聚类的优点是无需预设类别数,树状图直观展示嵌套结构;缺点是计算量随样本增大而急剧上升,且早期的错误合并无法撤销——一步并错,后续全错。

K 均值聚类

K 均值聚类是最流行的划分式算法:研究者指定类别数 K,算法先随机放置 K 个类中心,然后反复执行两步——每个个体归入最近的中心,再把每类的中心更新为该类成员的均值——直至收敛。

K 均值的优点是速度快、可处理大样本、结果可解释为各类的均值剖面;缺点包括:必须事先指定 K(K 的选择靠轮廓系数、肘部法则等指标辅助,仍有主观性);对初始中心敏感,需多次随机启动取稳定解;对极端值敏感(均值被拉偏);只能产生球形类,对形状不规则的类别无力。

使用建议是:连续变量、大样本、预期类别形状规则时用 K 均值;变量混合类型或需要展示嵌套结构时用系统聚类;两者结果相互印证则分组可信度提高。

类别数与类别质量的判定

确定"该分几类"没有唯一标准,常用的证据组合包括:

肘部法则:组内平方和随 K 增加而下降,降幅突然变缓的位置提示合适的 K。

轮廓系数:衡量每个个体"归对本类的紧密程度相对最近邻类的优势",整体均值越高分组越清晰。

间隙统计:与随机参照分布比较,挑选显著优于随机的 K。

稳定性检验:分半样本或自助抽样重复聚类,若类别结构不能再现,说明分组是噪声而非信号。

类别可解释性:每类应有清晰的语义画像——"什么人构成这一类、与其他类的区别何在"。无法命名的类别通常意味着变量选择或度量方式有问题。

任何单一指标都不能定案,规范报告应呈现多个 K 的比较与稳定性证据。

心理学应用

聚类分析在心理学中的典型应用包括:

人格类型研究:以大五人格剖面聚类,识别稳定的人格类型(如"适应型""内省型"),并比较类型与维度模型对预测结果的差异。

临床亚型识别:症状剖面聚类揭示抑郁、创伤后应激的不同表现组合,为分类学争论提供数据。

消费者与组织研究:消费动机剖面、员工职业锚类型、组织文化剖面分组。

发展研究:发展轨迹的分组识别(常与纵向数据结合)。

聚类结果的价值最终取决于后续验证:识别出的类别应在独立样本中再现,并与其他变量(结局、前因)建立有意义的联系。只有分组的描述而无验证的聚类研究,结论停留在描述层面。

操作流程要点

把聚类分析做好的实操要点可以概括为一条流水线。

第一步,变量选择与预处理:依据研究问题选定变量,连续变量标准化(消除量纲差异),分类变量改用相异度度量;检查极端值,必要时截尾或采用稳健算法。

第二步,多种方法并行:至少用两种算法(如 Ward 系统聚类与 K 均值)分别运行,比较分组结构的一致程度;一致的部分可信,分歧的部分需要解释。

第三步,类别数的多重证据:肘部法则、轮廓系数、间隙统计、稳定性检验与语义可命名性交叉印证,报告不同 K 的比较过程。

第四步,类别画像与验证:为每类写描述性画像(各变量的均值、代表性个体);在独立样本中重复聚类检验再现性;把类别与其他变量(结局、前因)建立联系。

第五步,结果的诚实标注:聚类分组是数据驱动的近似结构,不是客观存在的实体;报告应说明方法敏感性(换度量方式结果是否变化),避免把算法输出当作类型学的确证。

实践中最常见的失败模式是只跑一种算法、只试一个 K、不做任何验证——这样的分组结果看似清晰,实际难以经得起重复。聚类分析的入门门槛低,但用好它的门槛与任何统计方法一样,在于对数据结构的怀疑精神。

与潜类别分析的比较

聚类分析与潜类别分析都做群体识别,关系类似于"算法分组"与"模型分组"。

聚类不假设概率模型,直接在距离空间中操作,优点是灵活、对分布形态无要求;缺点是变量相关会扭曲距离、类别数判定靠经验指标、没有对"分组是否真实"的正式检验。

潜类别分析假设数据由混合概率模型生成,参数有概率含义,类别数有信息准则支撑,且可纳入协变量与结局变量做统一推断。对分类指标数据,潜类别模型在统计上更严格;对连续指标,潜在剖面分析是其对应形式。

实践中的常见做法是两者并用:聚类给出初步分组,潜类别分析检验分组是否经得起模型检验;两者分歧时通常以模型结果为准,但分歧本身提示数据结构复杂(如类别边界模糊),需要更仔细的检查。

参见

参考资料