第八章正则化网络 80引言 n8.1正则化理论( Regularization Theory) .8.2 Reproducing Kernel hilbert space (RKHS) n8.3正则化网络( Regularization Networks)
第八章 正则化网络 8.0 引言 8.1 正则化理论(Regularization Theory) 8.2 Reproducing Kernel Hilbert Space (RKHS) 8.3 正则化网络(Regularization Networks)
8.0引言 ■模式识别中的学习问题: 训练数据集(X,Y) (x1,n1)(x2y2)…,(xn2yn)2 x∈羽,y∈{,2,…K 随机变量X的独 x的类别标 立同分布样本 随机变量Y的独 立同分布样本
8.0 引言 模式识别中的学习问题： 训练数据集 ( X, Y ) ( , ),( , ), ,( , ), 1 1 2 2 n n x y x y L x y y {1,2, ,K} xi ∈ℜd , i ∈ L xi 的类别标识， 随机变量 的独 立同分布样本。 Y 随机变量 的独 立同分布样本。 X
8.0引言 学习函数集: 目标空间 f∈T 损失函数: L(y’,f(x)
8.0 引言 学习函数集： 损失函数： 目标空间 f ∈Τ L( y, f (x))
8.0引言 平方误差损失函数: L,f(x)=(y-f(x)2 ■E不敏感损失函数: Lo,f(d=y-f(x) 0 y-f(x)k ly-f(x)|其他
8.0 引言 平方误差损失函数： 不敏感损失函数： 2 L(y, f (x)) = (y − f (x)) { | ( )| 其他 0 | ( )| ( , ( )) | ( )| y f x y f x L y f x y f x − − ≤ = = − ε ε ε
8.0引言 a Soft margin损失函数: L(, f(x=ly- f(x) y-f(x y-f(x)>0 Ise a Hard margin损失函数: L(y, f(x)=h(y-f(x) f(x)>0 o else ■误分类数损失函数: L(y, f(x)=h(-yf(x)
8.0 引言 Soft Margin损失函数： Hard Margin损失函数： 误分类数损失函数： { else y f x y f x L y f x y f x 0 ( ) ( ) 0 ( , ( )) | ( ) | − − > = = − + { elsey f x L y f x h y f x 0 1 ( ) 0 ( , ( )) ( ( )) − > = = − L ( y , f ( x )) = h ( − yf ( x ))
8.0引言 ■经验风险最小化 Rm(0= ASL(i,f(xi) 如Rmn(O)=∑(y-f(x)2
8.0 引言 经验风险最小化 2 1 1 ( 1 ( ) ( , ( )) 1 ( ) 如 ∑（ ）） ∑ = = = − = n i emp i i n i emp i i y f x n R f L y f x n R f
8.0引言 ■模式识别中的“学习的过程通常是 posed 问题: 般没有唯一解: 解在很多时候是不稳定的( overfitting
8.0 引言 模式识别中的“学习”的过程通常是illposed 问题： 一般没有唯一解； 解在很多时候是不稳定的(overfitting)
8.0引言 ■解决的办法: " Ockham' s razor(定性) 正则化方法(定量): 对函数集的复杂度加惩罚(与SM的思想类 似)
8.0 引言 解决的办法： Ockham’s razor （定性）; 正则化方法（定量）： 对函数集的复杂度加惩罚（与SVM的思想类 似）
8.1正则化理论简介
8.1 正则化理论简介
8.1正则化理论简介 ■线性插值问题:假设在R~和R之间存 在线性映射 ■已知训练数据集和损失函数: (x,y1)(x2y2)…,(xn,y 4=∑(-∑4/)2 =(4)nN,4=x x1=(x1,x2…x),y=(y,y2…yn)
8.1 正则化理论简介 线性插值问题：假设在 和 之间存 在线性映射: 已知训练数据集和损失函数： x 0 y = f • N R R ij n N ij ij n i N j i ij j n n A A A x Af y A f x y x y x y ( ) , , ( ) ( , ),( , ), ,( , ) 1 1 2 2 1 1 2 2 L = = − = − × = = y ∑ ∑ T n T i i i iN x (x , x , x ) , ( y , y , y ) = 1 2 L y = 1 2 L