信息增益(information gain) 信息熵 (entropy)是度量样本集合“纯度”最常用的一种指标 假定当前样本集合D中第k类样本所占的比例为Pk,则D的 信息熵定义为 计算信息熵时约定：若 p=0,则plog2p=0. Ent(D)=-∑pr log2pk k=1 Ent(D)的最小值为0， 最大值为log2门儿. Et(D)的值越小，则D的纯度越高 信息增益直接以信息熵为基础，计算当前划分对信息熵所造成的变化+ (information gain) ( (entropy) "6&$7
2#)*. % &$7 D / k 1&$*'   D * ( *4 *248 +,! (-30  (5*