划分选择-信息增益缸D3 ▣离散属性a有V个可能的取值{a,a a'}.,用a来进行划分，.则 会产生V个分支结点，其中第个分支结点包含了D中所有在属性 上取值为a"的样本，记为D"。则可计算出用属性a对样本集D进行 划分所获得的“"信息增益”： Gain(D,a)=Ent(D)- Ent(D) 1 为分支结点权重，样本数越 多的分支结点的影响越大 一般而言，信息增益越大，则意味着使用属性α来进行划分所获 得的“纯度提升”越大 口ID3决策树学习算法[QuinIan,1986]以信息增益为准则来选择划分 属性划分选择-信息增益ID3 p 离散属性 有 个可能的取值 ，用 来进行划分，则 会产生 个分支结点，其中第 个分支结点包含了 中所有在属性 上取值为 的样本，记为 。则可计算出用属性 对样本集 进行 划分所获得的“信息增益”： p 一般而言，信息增益越大，则意味着使用属性 来进行划分所获 得的“纯度提升”越大 p ID3决策树学习算法[Quinlan, 1986]以信息增益为准则来选择划分 属性 为分支结点权重，样本数越 多的分支结点的影响越大