第四章线性判别函数 4.0引 4.1Fshe线性判别 42最小平方误差准则 4.3最小错分样本数准则 4.4线性支持向量机(SVM)
第四章 线性判别函数 4.0 引言 4.1 Fisher线性判别 4.2 最小平方误差准则 4.3 最小错分样本数准则 4.4 线性支持向量机（SVM）
4.0引言
4.0 引言
40引言 ■ Bayes决策尽管是最优决策,但实现困难 模式识别的任务是分类,可直接设计判 别函数一即分类面
4.0 引言 Bayes决策尽管是最优决策，但实现困难。 模式识别的任务是分类，可直接设计判 别函数 — 即分类面
4.0引言 x g() ■最简单的判别函数是线性函数,相应的 分类面是超平面
4.0 引言 {(xi , yi),i =1,2,Ln} y 最简单的判别函数是线性函数，相应的 分类面是超平面。 g(x) x
40引言 线性判别函数(两类): >0 g(x=wx+b <0 g(x)=0是分类面方程; nw是分类面的法向量; b是分类面的偏移; 设计线性分类器的关键是给出估计w,b 的准则
4.0 引言 线性判别函数（两类）： 是分类面方程； 是分类面的法向量； 是分类面的偏移； 设计线性分类器的关键是给出估计 的准则。 <> = + 21 00 ( ) ωω g x w x b T w b g(x) = 0 w, b
4.0引言 线性判别涵数的几何意义 Wx+b=0
4.0 引言 线性判别函数的几何意义： wx+b=0 w T
40引言 选择w就是找一个最佳投影方向。只与方 向有关,和叫大小无关! 投影后是一维数据的分类问题
4.0 引言 选择 就是找一个最佳投影方向。只与方 向有关，和 大小无关！ 投影后是一维数据的分类问题。 w w
4.1 Fisher线性判别
4.1 Fisher线性判别
4.1 Fishe线性判别 Fisher判别的基本思想: 希望投影后的一维数据满足: 两类之间的距离尽可能远; 每一类自身尽可能紧凑 准则的描述: 用投影后数据的统计性质一均值和离散度的 函数作为判别优劣的标准
4.1 Fisher线性判别 Fisher判别的基本思想： 希望投影后的一维数据满足： 两类之间的距离尽可能远； 每一类自身尽可能紧凑。 准则的描述： 用投影后数据的统计性质—均值和离散度的 函数作为判别优劣的标准
4.1 Fishe线性判别 符号含义: m2——两类(原始)数据的均值向量。 S},2S2分别表示两类(原始)数据的离散 度矩阵。 1,{l2分别表示两类(投影后,一维)数 据的均值。 ■Oi1O2分别表示两类(投影后,一维)数 据的离散度
4.1 Fisher线性判别 符号含义： ——两类（原始）数据的均值向量。 分别表示两类（原始）数据的离散 度矩阵。 分别表示两类（投影后，一维）数 据的均值。 分别表示两类（投影后，一维）数 据的离散度。 1 2 µ ,µ 1 2 σ ,σ 1 2 m ,m 1 2 S , S