划分选择与决策树的种类 决策树的假设 信息是可区分的 决策树的种类 ■按任务分：分类树(Classification tree)与回归树(Decision tree) ■按特征选择方法分：ID3决策树算法、C4.5决策树算法、CART决策树算法 时间 模型 任务 树 特征选择 基尼系数(Gini) 1984 CART 分类 二叉树 回归 平方误差(MSE) 1986 ID3 分类 多叉树 信息增益(Information Gain) 1993 C4.5 分类 多叉树 信息增益比(Information Gain Ratio) 知乎@刘启林划分选择与决策树的种类 p 数据集 的纯度可用“基尼值”来度量 越小，数据集 的纯度越高 p 属性 的基尼指数定义为： p 应选择那个使划分后基尼指数最小的属性作为最优划分属性，即 p CART [Breiman et al., 1984]采用“基尼指数”来选择划分属性 反映了从 中随机抽 取两个样本，其类别 标记不一致的概率