13 Neyman-Pearson决策 Neyman-Pearson决策 口问题的提出 口两类错误率 ■某些两类判决问题，某一类错误较另一类错误更 ■令R是整个特征空间，R是类别w1的决策域， 为重要一损失更为严重。例如在癌细胞识别问 R2是类别O2的决策域：R,+R2=R 题中，把异常误判为正常的损失更为严重。 P(error)=P(@.Ix)p(xx+P(lx)p(xds ■先验概率未知. 口基本思想 =jpa)Po,h+∫pa)Pah ■严格限制较重要的一类错误概率，在令其等于某 =P(@:)S.p(xI@:)dx+P(o)J.P(xl0,)ds 常数的约束下使另一类误判概率最小。 =P(@)P(error)+P(@)P(error) ■P1eror,P2eror)即两类错误率。 15 16 Neyman-Pearson决策 Neyman-Pearson决策 口决策目标：在P2erro)=E条件下，求P1(eror) 口决策目标：极小化Y 极小值。 ■根据Lagrange乘子法，建立数学模型 r=(1-E)+J [Ap(x)-p(xx: 或者 y=P(error)+(B(error)-So), y=-)2+[pxo)-ipxo,达： 其中入是Lagrange乘子，目标是求y的极小值. ■对于固定的入，要使得y最小，应满足 注意：R(eor)=pa达=l-pa x∈R,p(x|o2)-p(x)<0: B(error)=Sp(xl@.)ds=1-Sp(xl0.Xds=6o. VxER,p(xl@)-Ap(xl@2)<O, Neyman-Pearson决策 Neyman-Pearson决策 口决策准则 口求决策准则的方法二 if().then xe ■令1是R和R的分界点（面），将Y分别对t 02 和入求偏导，Y极值点存在的必要条件是： Or lx=pa）>a,then x =0→=x/ p|o2) p(x@)< 器-0一人AaM=6 →N-P决策规则归结为找阁值入，使得 D方程式确定一个分界面，使得Peor=c0,同 Jap(xlo)ds=to 时又使得P,(error)尽可能小。该分界面上x值具有 一个特点，即它们的两类条件密度函数之比是一 口入的显式解不易求解，可用试探法。 个常数，该比值就是Lagrange乘子入，13 Neyman-Pearson 决策  问题的提出  某些两类判决问题，某一类错误较另一类错误更 为重要 — 损失更为严重。例如在癌细胞识别问 题中，把异常误判为正常的损失更为严重。  先验概率未知。  基本思想  严格限制较重要的一类错误概率，在令其等于某 常数的约束下使另一类误判概率最小。 14 Neyman-Pearson 决策  两类错误率  令 R 是整个特征空间，R1 是类别ω1的决策域， R2 是类别ω2的决策域：R1 + R2= R。  P1(error)，P2(error)即两类错误率。 1 2 1 2 1 2 2 1 2 2 11 2 21 1 2 2 11 ( ) ( | ) () ( | ) () ( | )( ) ( | )( ) () ( | ) () ( | ) ( )( ) ( )( ) R R R R R R P error P p d P p d p Pd p Pd P p dx P p d P P error P P error                        x xx x xx x xx x x xx 15 Neyman-Pearson 决策  决策目标：在P2(error)=ε0条件下，求P1(error) 极小值。  根据Lagrange乘子法，建立数学模型 其中λ是Lagrange乘子，目标是求γ的极小值。 1 20    P error P error ( ) ( ( ) ),   2 1 1 2 1 11 2 2 20 ( ) (| ) 1 (| ) ; () ( | )1 ( | ) . R R R R P error p d p d P error p d p d               xx xx xx xx 注意： 16 Neyman-Pearson 决策  决策目标：极小化γ  对于固定的λ，要使得γ最小，应满足 1 2 0 21 0 12 (1 ) [ ( ) ( )] (1 ) [ ( ) ( )] R R p p d p p d                   x xx x xx ； 或者 ； 1 21 21 2 , ( | ) ( | ) 0; , ( | ) ( | ) 0; Rp p Rp p            x xx xx x 17 Neyman-Pearson 决策  决策准则 N-P决策规则归结为找阈值λ，使得 λ的显式解不易求解，可用试探法。 1 2 1 2 1 1 2 2 if ( ) ( ), then or ( ) ( ) , then ( ) p p p l p                     xx x x x x x 1 2 0 (| ) . R p d     x x 18 Neyman-Pearson 决策  求决策准则的方法二  令 t 是 R1 和 R2 的分界点（面），将γ分别对 t 和λ求偏导，γ极值点存在的必要条件是： 方程式确定一个分界面，使得P2(error)=ε0 ，同 时又使得P1(error)尽可能小。该分界面上 x 值具有 一个特点，即它们的两类条件密度函数之比是一 个常数，该比值就是Lagrange乘子λ 。 1 1 2 2 0 (| ) 0 ; (| ) 0 ( | ) ; R p t p p d                  x x x x