电子科技大学研究生《机器学习》课程 esTC 1966 第4讲支持向量机 4 Support Vector Machines 郝家胜 （Jiasheng Hao） Ph.D., Associate Professor Email: hao@uestc.edu.cn School of Automation Engineering, Center for Robotics University of Electronics and Science of China, Chengdu 611731 参考：《机器学习》周志华
电子科技大学研究生《机器学习》课程 Email: hao@uestc.edu.cn School of Automation Engineering, Center for Robotics University of Electronics and Science of China, Chengdu 611731 郝家胜 (Jiasheng Hao) Ph.D., Associate Professor 参考：《机器学习》周志华
线性分类器回顾 线性模型：在样本空间中寻找一个超平面，将不同类别的样本分开！ 超平面：n维空间中维度等于n-1的，能把空间分成两个独立部分的线 性子空间。 t2 + × + 十 + + + + + + + + C1
线性模型：在样本空间中寻找一个超平面, 将不同类别的样本分开. 0 超平面：n维空间中维度等于n-1的，能把空间分成两个独立部分的线 性子空间
线性分类器回顾 -Q:将训练样本分开的超平面可能有很多，哪一个好呢？ T2 + + + + 1
-Q:将训练样本分开的超平面可能有很多, 哪一个好呢? 0
线性分类器回顾 -Q:将训练样本分开的超平面可能有很多，哪一个好呢？ 2 + T1 A:应选择”正中间”，容忍性好鲁棒性高泛化能力最强
-Q:将训练样本分开的超平面可能有很多, 哪一个好呢? -A:应选择”正中间” , 容忍性好, 鲁棒性高, 泛化能力最强. 0
线性分类器回顾 B, B2一 B1好，为什么呢？
B1好，为什么呢？
线性分类器回顾 B B 直观的解释： >假如测试数据中有一些样本x给部分训练集样本x很相似，由 于测量误差或者噪声，x偏离了原来的位置。比如图中带阴影的 四个点，现在很靠近B2,B2很可能不能做出正确的预测
直观的解释: Ø假如测试数据中有一些样本x给部分训练集样本xn很相似，由 于测量误差或者噪声，x偏离了原来的位置。比如图中带阴影的 四个点，现在很靠近B2，B2很可能不能做出正确的预测
线性分类器回顾 B B 直观的解释： >X,越远离超平面，模型能忍受更多的噪音。所以模型的鲁棒性取决于超平面到最 近点的距离。 找到一个离两边样本都比较远的超平面
直观的解释: ØXn越远离超平面，模型能忍受更多的噪音。所以模型的鲁棒性取决于超平面到最 近点的距离。 找到一个离两边样本都比较远的超平面
提纲 口最大间隔与支持向量机 ▣支持向量回归 ▣软间隔与正则化 口核方法 ▣统计学习理论简介
p最大间隔与支持向量机 p支持向量回归 p软间隔与正则化 p核方法 p统计学习理论简介
线性分类 denotes +1 denotes ·denotes+1 。denotes-1 Support Vectors are those datapoints that the margin pushes up against
线性分类 Ø 1
最优分类超平面 margin margin (a) (b)
最优分类超平面