划分选择-信息增益红D3 口“信息熵”是度量样本集合纯度最常用的一种指标，假定当前样 本集合D中第类样本所占的比例为P(K=1,2,,1门)，则D的信 息熵定义为 10川 Ent(D）=- p&log2 PR k=1 Ent(D)的值越小，则D的纯度越高 ▣计算信息熵时约定：若p=0,则plog2p=0 口Ent(D)的最小值为0，最大值为log2Dy 划分选择-信息增益ID3 p “信息熵”是度量样本集合纯度最常用的一种指标，假定当前样 本集合 中第 类样本所占的比例为 ，则 的信 息熵定义为 的值越小，则 的纯度越高 p 计算信息熵时约定：若 ，则 p 的最小值为 ，最大值为