跳转到内容

决策树

来自VeritasWiki 真理百科

决策树在中文文献中对应两个来源不同、方法不同的概念。一是指决策分析中的树形图:把一项决策拆成若干决策节点与机会节点,向前推演各种结果,用期望值折回比较,用于在不确定条件下选择方案。二是指机器学习中的分类与回归模型:用一系列"是/否"判断把样本逐层分开,从数据中自动学出判断规则。两者形状相似,逻辑不同,常被混为一谈。[1]

决策分析中的决策树

先看第一种。它的用法是把一个复杂的决策过程画成从左到右展开的树。

树的起点是一个决策节点,用方框表示,从这里分出若干可选方案。每个方案之后接一个机会节点,用圆圈表示,从它分出若干可能的结果,每个结果标注概率。结果之后可能还有下一层决策,再下一层机会,如此交替,直到末端出现具体的损益值。

分析的方法叫折回,也叫逆推:从树的最右端开始,把每个机会节点的各个结果按概率加权求期望值,写回该节点;遇到决策节点,取各方案期望值中的最大者,写回该节点;如此逐层向左推,最终在起点得到一个数值,以及一条被选中的路径。

这套方法的经典表述出现在20世纪60年代。1964年,麦吉在《哈佛商业评论》发表《决策用的决策树》,把它介绍给管理界;1968年,雷法的《决策分析》把它纳入一套完整的规范决策理论。此后它成为资本预算、项目评估、保险定价、医疗决策中的标准工具。

决策树的实用价值在于它强迫三件事显式化:有哪几个方案,每个方案之后可能发生什么,每种可能发生的概率是多少。多数决策失误并非算错,而是这三件事从未被写下来。

它的局限也在这里。概率从哪来?若没有历史数据,只能靠主观判断,而主观概率极易受到提问方式的影响。树的规模也会迅速膨胀:三层决策、每层三个方案、每个方案三个结果,末端就有二十七种情形;再加两层就不便阅读。此外,期望值准则只适用于可以重复、且风险中性偏好的决策;一次性的大额决策,用期望值排序未必合理。

机器学习中的决策树

第二种决策树来自统计学习,用途是从数据中归纳规则。

它的做法是递归划分:先选一个特征,按某个阈值把样本分成两组,使两组的"纯度"提高最多;再在每组内重复这一操作,直到满足停止条件。分类树常用的纯度指标是信息增益或基尼不纯度,回归树常用方差减少。

关键节点有几个。1984年,布雷曼等人出版《分类与回归树》,系统提出CART方法,引入基尼指数与二叉划分,并给出剪枝的完整方案。1986年,昆兰提出ID3,用信息增益选择特征;1993年,他又提出C4.5,改用增益率以处理取值多的特征占优的问题,并支持连续值与缺失值。这三项工作奠定了今天几乎所有决策树算法的基础。

剪枝是这套方法的核心工程问题。树长得太深,会把训练数据中的噪声也学进去,在新数据上表现变差;剪得太狠,又会欠拟合。常见做法是预剪枝(限制深度、限制叶节点最小样本数)与后剪枝(先生长再按验证集表现回退)。

它的优点很突出:可解释。一棵浅树可以被画出来、被逐条读懂,这在需要向非技术人员解释判断依据的场合(信贷审批、医疗辅助诊断、设备故障归因)具有不可替代的价值。它对数据的预处理要求也低,不需要归一化,能同时处理数值与类别特征。

它的缺点同样突出:不稳定。训练数据稍作改动,树的结构可能完全不同。为此出现了随机森林(并行训练多棵树并投票)与梯度提升树(串行训练,每棵树拟合前一轮的残差),后者在表格数据上的表现长期领先,是许多实际系统的首选。[2]

两个概念的差别

把两者放在一起看,差别一目了然。

决策分析的决策树是"向前推演":节点由人设定,概率由人估计,树是人思考的载体,结论依赖于人的判断。它的产物是一个建议。

机器学习的决策树是"向后归纳":结构由算法从数据中生成,分裂点由指标算出,人是树的读者,结论依赖于数据的质量。它的产物是一个模型。

前者回答"我该怎么做",后者回答"这类情况通常怎么判"。前者用于一次性决策,后者用于重复性判断。混用会造成实质错误:把机器学习模型输出的概率当作决策分析中的先验概率,或用主观估计的概率去训练分类器,都是把两种逻辑强行拼接。

在实践中的用法

在工程项目中,决策树常用于阶段决策:是否投入下一期研发,是否继续推进临床试验,是否在某个节点退出。这类决策的特点是投入不可逆、后续信息会逐步明确,正好适合用树来表达。

在金融与保险中,决策树用于授信与理赔的规则生成。监管要求可解释,深模型难以满足,浅树或树集成的特征重要性分析因此成为常用折中。

在医学中,决策树用于诊疗路径的选择,节点是检查结果,末端是治疗方案与预期收益。这类应用需要把患者偏好纳入,单纯最大化期望生存期并不总是符合临床实际。

在工业设备维护中,决策树用于故障归因:从振动、温度、电流等特征出发,逐层判断故障类型。这类模型往往被嵌入到监测系统中,与规则库并行使用。[3]

局限

第一是过度简化。任何树都把连续的现实切成离散的枝杈,切法一旦确定,就再也看不到被切掉的部分。

第二是概率的主观性(决策分析版)与数据的偏倚(机器学习版)。前者受制于估计者的经验,后者受制于训练样本的代表性。

第三是可解释性的错觉。浅树可解释,深树不可解释;而为了可解释而限制深度,往往牺牲了准确率。随机森林与提升树更是彻底放弃了单树的可读性,转而用特征重要性等间接指标替代。

第四是对交互作用的表达受限。树能表达特征之间的条件关系,但对线性叠加型的关系表达效率低,需要很多次划分才能逼近一个斜面。

第五是维护成本。决策分析中的树随项目推进需要不断更新概率;机器学习中的树随数据分布变化需要重新训练。两者都不是"画一次用到底"的工具。[4]

参考资料

  1. ↑ Decision tree,CEOpedia。
  2. ↑ Decision Trees,scikit-learn 文档。
  3. ↑ What is a decision tree?,IBM。
  4. ↑ Decision tree,CEOpedia。