分类问题3 1
分类问题3 1
Outline ·4.4朴素贝叶斯分类器 哈尔滨工业大学计算机学院刘远超
Outline • 4.4 朴素⻉叶斯分类器 哈尔滨工业大学计算机学院 刘远超 2
贝叶斯决策论 ▣贝叶斯决策论(Bayesian decision theory)是在概率框架下实 施决策的基本方法。 ●在分类问题情况下，在所有相关概率都已知的理想情形下，贝叶斯决 策考虑如何基于这些概率和误判损失来选择最优的类别标记。 ▣假设有N种可能的类别标记，即y={C1,C2,·,Cw 入是将 一个真实标记为C的样本误分类为C所产生的损失。基于后验概 率P{c】x可获得将样本X分类为C2所产生的期望损失 (expected loss),即在样本上的"条件风险”(conditional risk) R(Gx)=∑P(G|x) (7.1) =1 ▣我们的任务是寻找一个判定准侧h:X→Y以最小化总体风险 R(h=E R(h(x)x (7.2)
贝叶斯决策论 p 贝叶斯决策论（Bayesian decision theory）是在概率框架下实 施决策的基本方法。 l 在分类问题情况下，在所有相关概率都已知的理想情形下，贝叶斯决 策考虑如何基于这些概率和误判损失来选择最优的类别标记。 p 假设有 种可能的类别标记，即 ， 是将 一个真实标记为 的样本误分类为 所产生的损失。基于后验概 率 可获得将样本 分类为 所产生的期望损失 （expected loss），即在样本上的“条件风险”（conditional risk） p 我们的任务是寻找一个判定准则 以最小化总体风险
贝叶斯决策论 口显然，对每个样本X,若h能最小化条件风险R(h(x)|x),则总 体风险R(h)也将被最小化
贝叶斯决策论 p 显然，对每个样本 ，若 能最小化条件风险 ，则总 体风险 也将被最小化
贝叶斯决策论 口显然，对每个样本x,若h能最小化条件风险R(h(x)|x),则总 体风险R()也将被最小化。 ▣这就产生了贝叶斯判定准则(Bayes decision rule):为最小化总 体风险，只需在每个样本上选择那个能使条件风险R(cx)最小的类 别标记，即 h*(x)=argmin R(c|x) (7.3) cEy ●此时，被称为贝叶斯最优分类器(Bayes optimal classifier),与之对应 的总体风险R(h*)称为贝叶斯风险(Bayes risk) 1一(h*)反映了分类起所能达到的最好性能，即通过机器学习所能产 生的模型精度的理论上限
贝叶斯决策论 p 显然，对每个样本 ，若 能最小化条件风险 ，则总 体风险 也将被最小化。 p 这就产生了贝叶斯判定准则（Bayes decision rule）： 为最小化总 体风险，只需在每个样本上选择那个能使条件风险 最小的类 别标记，即 l 此时，被称为贝叶斯最优分类器(Bayes optimal classifier)，与之对应 的总体风险 称为贝叶斯风险 (Bayes risk) l 反映了分类起所能达到的最好性能，即通过机器学习所能产 生的模型精度的理论上限
贝叶斯决策论 口具体来说，若目标是最小化分类错误率，则误判损失可写为 { if i=j otherwise, (7.4)
贝叶斯决策论 p 具体来说，若目标是最小化分类错误率，则误判损失 可写为
贝叶斯决策论 口具体来说，若目标是最小化分类错误率，则误判损失入可写为 0, if i=j; 1, otherwise, (7.4) ▣此时条件风险 R(c|x)=1-P(c|x) (7.5)
贝叶斯决策论 p 具体来说，若目标是最小化分类错误率，则误判损失 可写为 p 此时条件风险
贝叶斯决策论 口具体来说，若目标是最小化分类错误率，则误判损失入可写为 { ifi=j对 otherwise, (7.4) ▣此时条件风险 R(c|x)=1-P(c|x) (7.5) 口于是，最小化分类错误率的贝叶斯最有分类器为 h*(x)=argmax P(c x) (7.6) c∈y ● 即对每个样本x选择能使后验概率P(cTx的类别标记
贝叶斯决策论 p 具体来说，若目标是最小化分类错误率，则误判损失 可写为 p 此时条件风险 p 于是，最小化分类错误率的贝叶斯最有分类器为 l 即对每个样本 ，选择能使后验概率 最大的类别标记
贝叶斯决策论 ▣不难看出，使用贝叶斯判定准则来最小化决策风险，首先要获得后验 概率P(cx)。 ▣然而，在现实中通常难以直接获得。机器学习所要实现的是基于有限 的训练样本尽可能准确地估计出后验概率P(c|x)。 口主要有两种策略： ●判别式模型(discriminative models) ●给定X,通过直接建模P(c|x),来预测c ●决策树，BP神经网络，支持向量机 生成式模型(generative models) ●先对联合概率分布P(x,c)建模，再由此获得P(cx) 生成式模型考虑 P(c x)= P(x,c) P(x) (7.7）
贝叶斯决策论 p 不难看出，使用贝叶斯判定准则来最小化决策风险，首先要获得后验 概率 。 p 然而，在现实中通常难以直接获得。机器学习所要实现的是基于有限 的训练样本尽可能准确地估计出后验概率 。 p 主要有两种策略： l 判别式模型（discriminative models） l 给定 ，通过直接建模 , 来预测 l 决策树，BP神经网络，支持向量机 l 生成式模型（generative models） l 先对联合概率分布 建模，再由此获得 l 生成式模型考虑
贝叶斯决策论 口生成式模型 P(c x)= P(x,c) (7.7） P(x)
贝叶斯决策论 p 生成式模型