第七章:贝叶斯分类器
第七章：贝叶斯分类器
章节目录 口贝叶斯决策论 口极大似然估计 口朴素贝叶斯分类器 口半朴素贝叶斯分类器 口贝叶斯网 口EM算法
章节目录 贝叶斯决策论 极大似然估计 朴素贝叶斯分类器 半朴素贝叶斯分类器 贝叶斯网 EM算法
章节目录 口贝叶斯决策论 口极大似然估计 口朴素贝叶斯分类器 口半朴素贝叶斯分类器 日贝叶斯网 口EM算法
章节目录 贝叶斯决策论 极大似然估计 朴素贝叶斯分类器 半朴素贝叶斯分类器 贝叶斯网 EM算法
贝叶斯决策论 口贝叶斯决策论( Bayesian decision theory)是在概率框架下实 施决策的基本方法。 在分类问题情况下,在所有相关概率都已知的理想情形下,贝叶斯决 策考虑如何基于这些概率和误判损失来选择最优的类别标记
贝叶斯决策论 贝叶斯决策论（Bayesian decision theory）是在概率框架下实 施决策的基本方法。 ⚫ 在分类问题情况下，在所有相关概率都已知的理想情形下，贝叶斯决 策考虑如何基于这些概率和误判损失来选择最优的类别标记
贝叶斯决策论 口贝叶斯决策论( Bayesian decision theory)是在概率框架下实 施决策的基本方法。 在分类问题情况下,在所有相关概率都已知的理想情形下,贝叶斯决 策考虑如何基于这些概率和误判损失来选择最优的类別标记 口假设有N种可能的类别标记,即y={,2,…,CN},是将 个真实标记为G的样本误分类为C所产生的损失。基于后验概 率P{cx}可获得将样本ⅹ分类为C所产生的期望损失 ( expected loss),即在样本上的“条件风险”( conditional risk) R(x)=∑ (71) 口我们的任务是寻找一个判定准则h:X+Y以最小化总体风险 R(h)=E[B(h(x)|x)(7.2)
贝叶斯决策论 贝叶斯决策论（Bayesian decision theory）是在概率框架下实 施决策的基本方法。 ⚫ 在分类问题情况下，在所有相关概率都已知的理想情形下，贝叶斯决 策考虑如何基于这些概率和误判损失来选择最优的类别标记。 假设有 种可能的类别标记，即 ， 是将 一个真实标记为 的样本误分类为 所产生的损失。基于后验概 率 可获得将样本 分类为 所产生的期望损失 （expected loss），即在样本上的“条件风险”（conditional risk） 我们的任务是寻找一个判定准则 以最小化总体风险
贝叶斯决策论 口显然,对每个样本X,若h能最小化条件风险R(h(x)|x),则总 体风险R()也将被最小化
贝叶斯决策论 显然，对每个样本 ，若 能最小化条件风险 ，则总 体风险 也将被最小化
贝叶斯决策论 口显然,对每个样本X,若h能最小化条件风险R(h(x)|x),则总 体风险R(h)也将被最小化。 口这就产生了贝叶斯判定准则( Bayes decision rule):为最小化总 体风险,只需在每个样本上选择那个能使条件风险R(C|x)最小的类 別标记,目 h(a)=argmin R(c a) (73) C∈y ●此时,被称为贝叶斯最优分类器( Bayes optimal classifier),与之对应 的总体风险R(h)称为贝叶斯风险( Bayes risk 1-R(h)反映了分类起所能达到的最好性能,即通过机器学习所能产 生的模型精度的理论上限
贝叶斯决策论 显然，对每个样本 ，若 能最小化条件风险 ，则总 体风险 也将被最小化。 这就产生了贝叶斯判定准则（Bayes decision rule）： 为最小化总 体风险，只需在每个样本上选择那个能使条件风险 最小的类 别标记，即 ⚫ 此时，被称为贝叶斯最优分类器(Bayes optimal classifier)，与之对应 的总体风险 称为贝叶斯风险 (Bayes risk) ⚫ 反映了分类起所能达到的最好性能，即通过机器学习所能产 生的模型精度的理论上限
贝叶斯决策论 口具体来说,若目标是最小化分类错误率,则误判损失λ可写为 0. if ; 1, otherwise (74
贝叶斯决策论 具体来说，若目标是最小化分类错误率，则误判损失 可写为
贝叶斯决策论 口具体来说,若目标是最小化分类错误率,则误判损失λ可写为 0. if ; 1, otherwise (74 口此时条件风险 R(c|x)=1-P(c|x)(7.5)
贝叶斯决策论 具体来说，若目标是最小化分类错误率，则误判损失 可写为 此时条件风险
贝叶斯决策论 口具体来说,若目标是最小化分类错误率,则误判损失λ可写为 0. if ; 1, otherwise (74) 口此时条件风险 R(C x) CX (75) 口于是,最小化分类错误率的贝叶斯最有分类器为 h"(a)=argmax P(c a)(7.6) C∈y ●即对每个样本ⅹ,选择能使后验概率P(c|x)最大的类别标
贝叶斯决策论 具体来说，若目标是最小化分类错误率，则误判损失 可写为 此时条件风险 于是，最小化分类错误率的贝叶斯最有分类器为 ⚫ 即对每个样本 ，选择能使后验概率 最大的类别标记