19 20 Neyman-Pearson决策 Neyman-Pearson决策 口例解：一个两类问题中，模式均为二维正态分 口例解 布，其均值失量和协方差阵分别为： ■判决准则： 4=(-1,0),42=1,0),=2=1 设&。=0.09，求Neyman--Pearson的决策阈值。 fem-2)之1e4 then :.对于不同的2，决策边界是平行于x,的不同直线。（如图） ■解： 脚[-%-小立++ p(x1o)=1 pe=e[-4-}---+到 ()=eoxp(-2x) po2) 21 22 Neyman-Pearson决策 Neyman-Pearson决策 口例解 口最小错误率的Bayes.决策与N-P决策 ■通过计算P2(error)=6o求解入： ■均以似然比为基础； B(error)=p(xo:)dx ■最小错误率的Bayes决策的阈值是先验概率之比 P(@2) 2 P() 4 ■Neyman-Pearson.决策的闵值是Lagrange乘子 (和先验概率无关)。 入 4 2 1 1/2 1/4 0.046 0.0890.0159 0.258 0.378 1与的关系表 其他决策方法（自学）》 分类器设计 口最大最小决策 口分类器(classifier):能够将每个样本都分到某 ■基本思想：类先验概率未知，考查先验概率变化 个类别中去（或者拒绝）的计算机算法。 对错误率的影响，找出使最小风险贝叶斯决策的 ■是从特征空间到决策空间的映射。 风险最大的先验概率，以这种最坏情况设计分类 口决策城(decision region):分类器将d维特征 空间划分为若千区域。 口序贯分类方法 口决策面(decision boundary)：小不同类别区域 ■基本思想：除考虑分类造成的损失外，还考虑特 之间的边界，又叫作分类边界、决策边界或分类 征获取所造成的代价。先用一部分特征分类，然 面。数学上用解析形式表示成决策面方程。 后逐步加入新特征以减少分类损失，同时衡量总 的损失，以求得最优的效益。19 Neyman-Pearson 决策  例解：一个两类问题中，模式均为二维正态分 布，其均值矢量和协方差阵分别为：  解： 1 2 12 ( 1,0) , (1,0) , . T T         I 0 设 ， 0.09 Neyman-Pearson   求 的决策阈值。               2 2 1 11 12 2 2 2 2 2 12 1 1 2 11 11 ( | ) exp exp 1 ; 22 22 11 11 ( | ) exp exp 1 ; 22 22 (| ) exp( 2 ). (| ) T T p xx p xx p x p                                              x xx x xx x x 20 Neyman-Pearson 决策  例解  判决准则： 1 1 2 2 1 if exp( 2 ) i e , th 1 - ln 2 en ; x x x               ， . . x 对于不同的 ，决策边界是平行于 的不同直线。（如图） 21 Neyman-Pearson 决策  例解  通过计算P2(error)=ε0求解λ： 1 2 2 1 2 2 ln 2 1 2 2 1 1 2 ln 2 1 1 ( ) (| ) 1 ( 1) exp 2 2 1 ( 1) exp . 2 2 R P error p d x x dx dx x dx                                  x x  0.046 0.089 0.0159 0.258 0.378 0  4 2 1 1/2 1/4  0 与 的关系表  22 Neyman-Pearson 决策  最小错误率的Bayes决策与N-P决策  均以似然比为基础；  最小错误率的Bayes决策的阈值是先验概率之比  Neyman-Pearson决策的阈值是Lagrange乘子 （和先验概率无关）。 ; ( ) ( ) 1 2   P P 23 其他决策方法（自学）  最大最小决策  基本思想：类先验概率未知，考查先验概率变化 对错误率的影响，找出使最小风险贝叶斯决策的 风险最大的先验概率，以这种最坏情况设计分类 器。  序贯分类方法  基本思想：除考虑分类造成的损失外，还考虑特 征获取所造成的代价。先用一部分特征分类，然 后逐步加入新特征以减少分类损失，同时衡量总 的损失，以求得最优的效益。 24 分类器设计  分类器(classifier)：能够将每个样本都分到某 个类别中去（或者拒绝）的计算机算法。  是从特征空间到决策空间的映射。  决策域(decision region)：分类器将 d 维特征 空间划分为若干区域。  决策面(decision boundary)：不同类别区域 之间的边界，又叫作分类边界、决策边界或分类 面。数学上用解析形式表示成决策面方程