以看作是一个线性函数。判别界面也是一个超平面 d(x)=d(x)-d(x)=(T-m)x-2(mrr)=0 其中=TT表示T的模长的平方。分类界面的超平面刚好是垂直于T和T的连 线,并且平分两点之间的连线。(首先垂直于矢量T-T,其次经过点(T+T,))。 经过上述分析我们可以看出,线性分类器可以用于处理线性可分的两类问题或多类问 题,而类别之间的线性可分的条件是:各个类别的区域为互不相交的凸集(如不是凸集,则 包含此集合的最小凸集因满足互不相交) 在线性可分的条件下,都可以用一系列的线性函数实现分类器。这样的线性函数并不是 唯一的,可能存在无穷多个。下面的问题就是如何得到这样一个或一组线性函数,这就是下 面要讨论的线性分类器的训练问题。 32两类别问题线性判别函数的学习 我们先来介绍一种最简单的情况,用线性函数来判别两类问题。 问题的表达 现有M个训练样本,分为两个集合,1类的训练样本集{X,X2…,X}和92类的 训练样本集{XX2…Xn}要求一个向量W,使d(X)=WX能够区分921和2, 即对于X∈g1,有WX≥0:对于X∈Ω,有WX<0,所以有 XW≥0,X2W≥0,…,XW≥0 XW≥0,-X22W≥0.…,-XW≥0 x(+1 L+1)2 L+1)N 写成矩阵形式:XW≥0,其中X称为增广矩阵,0为零矢量 由此可见,求取权向量的问题已经转化为了求解线性不等式组的问题。这个解只有在线 性可分的条件下才存在,并且也不唯一。下面我们介绍几种求解上述线性不等式组的算法。 、感知器算法 求解线性不等式方程组,不可能用一个公式来求得,必须要有一个迭代搜索的过程。下23 以看作是一个线性函数。判别界面也是一个超平面： ( ) ( ) ( ) ( ) ( ) 1 2 2 0 2 T ij i j i j i j d d d X X X T T X T T = − = − − − = 其中 2 T T T T i i i = 表示 Ti 的模长的平方。分类界面的超平面刚好是垂直于 Ti 和 Tj 的连 线，并且平分两点之间的连线。（首先垂直于矢量 T T i j − ，其次经过点 ( ) 1 2 T T i j + ）。 经过上述分析我们可以看出，线性分类器可以用于处理线性可分的两类问题或多类问 题，而类别之间的线性可分的条件是：各个类别的区域为互不相交的凸集（如不是凸集，则 包含此集合的最小凸集因满足互不相交）。 在线性可分的条件下，都可以用一系列的线性函数实现分类器。这样的线性函数并不是 唯一的，可能存在无穷多个。下面的问题就是如何得到这样一个或一组线性函数，这就是下 面要讨论的线性分类器的训练问题。 3.2 两类别问题线性判别函数的学习 我们先来介绍一种最简单的情况，用线性函数来判别两类问题。 一、问题的表达 现有 M 个训练样本，分为两个集合， 1 类的训练样本集 X X X 1 2 , , , L 和 2 类的 训练样本集 X X X L L M + + 1 2 , , ,  。要求一个向量 W ，使 ( ) T d X W X = 能够区分 1 和 2 ， 即对于 X1 ，有 0 T W X  ；对于 X2 ，有 0 T W X  ，所以有： 1 2 0, 0, , 0 T T T X W X W X W    L 1 2 0, 0, , 0 T T T −  −  −  X W X W X W L L M + + 即： 1 11 12 1 1 1 2 1 ( 1)1 ( 1)2 ( 1) 1 1 2 1 0 1 0 1 0 1 0 T N T L L L LN L T L L L L N L T M M M MN M x x x w x x x w x x x w x x x w + + + + +                               =       − − − − −                          −     − − − −         X X W X X 写成矩阵形式： XW 0  ，其中 X 称为增广矩阵， 0 为零矢量。 由此可见，求取权向量的问题已经转化为了求解线性不等式组的问题。这个解只有在线 性可分的条件下才存在，并且也不唯一。下面我们介绍几种求解上述线性不等式组的算法。 二、感知器算法 求解线性不等式方程组，不可能用一个公式来求得，必须要有一个迭代搜索的过程。下