·510· 北京科技大学 学报 2005年第4期 (3)将弹性网格重新画到这4个子图像上（如 下面的线性方程组得到： 图2所示)，并计算各个子图像在每个网格内的 o Y b]fo Y zZty'ia1 (4) 像素密度，可以得出一组(4个)特征向量，将这些 向量顺序联接就构成了弹性网格特征向量， 其中，ZT=ypx),…ypx】,=Dy,…y],I= 1 为nxn单位矩阵，a'=[a,",al为Lag 1 range乘子，b∈R,=[l,,1n为n维单位向量. 由于LS-SVM将SVM需要解决的二次规划 问题转化成对线性方程组的求解，大大简化了计 算的复杂度， 2.2 LS SVM多类分类策略 图2“横”笔划 基本的LS-SVM主要解决两类分类问题.本 图18×8弹性网格 Fig.1 Elastic grids ofx8 Fig.2 Horizontal strokes 文采用Suykenst提出的的多类分类策略，构造多 个LS-SVM实现多类识别.该方法与神经网络识 由于所得到的弹性网格特征向量维数很大 别方法非常类似. (如8×8的网格提取出的特征向量为256维)，而 设总共有N个样本，采用m个LS-SVM对其进 且含有大量冗余信息，采用K-L变换对其压缩， 行分类识别(m个LS-SVM可以对2"类模式编码 从而最大程度上消除向量之间的相关性.另外， 识别).定义为样本经过第k个LS-SVM的输出 由于Zernike矩特征ZM和弹性网格特征EM(经过 值，i=1,2,,N,k=1,2,,m.LS-SVM的多类分 K-L变换压缩后)的度量不一致，需要先将这两 类结果可通过对下式求最小值得到： 种特征向量通过下式进行度量统一： ZM.-ZM-L2,EM.EM-R 2w子丝品 (5) (2) OZM CEM (y:[wi:(x)+b]=1-i=1,,N 其中，4代表样本特征向量的均值，σ代表样本特 其中， [w5p2(xtb2]=1-5a户1，…，N 征向量的方差，为了计算简便，将统一度量后的 全局和局部特征向量直接相连，构成串行融合特 yf[witp.(x)+b-]=1-5m i=1,,N 征向量. 根据KKT条件，消去参数w和，上述问题可 转化为对线性系统求解： 2多类分类识别 TO YB0T Y QA (6) 2.1 LS SVM的基本原理 Suykens和Vandewalle提出的LS-SVM是最 小二乘形式的支持向量机网，它的分类原理可表 示为在等式 其中，Y= y[wp(xtb]=-5n产l,,n vim 约束下，求平方和误差函数的最小值， w,)=wP+站 (3) 21 其中，x∈R,y,∈{-1，+1}；b∈R表示分类面阅值：w Ω= 是特征空间中分类超平面的一维系数向量：≥0 是考虑分类误差而引入的松弛因子：y是平衡最 2=ZZr+yI,为N×N的矩阵， 小分类边界和最小分类误差的惩罚因子：非线性 Zwr=[y抑(x),…,0xw]为N维向量， 变换px)将给定模式样本x从n维空间映射到更 Af=[au,,w,…,an,,NW为Lagrange乘子， 高维的特征空间.可见，与SVM不同，在LS-SVM BT=[b,,b]m,=[1,…,11xmw. 中使用的是等式约束条件. 本文采用RBF函数作为LS-SVM的核函数： 根据KKT条件，式(3)最小值的解可通过解 .-p.)exp一 5 1 0 . 北 京 科 技 2 0 0 5 年 第 4期 (3 )将 弹 性 网 格 重新 画 到这 4 个子 图像 上 (如 图 2所 示 ) , 并 计算 各 个子 图像 在 每个 网格 内 的 像素 密度 , 可 以得 出一 组 (4 个 )特 征 向量 , 将 这些 向量 顺序 联 接就 构 成 了弹 性 网 格 特 征 向量 . 大 学 学 报 下面 的线 性 方程 组 得 到: , 1 . . r 1 lo es.l L 一 , I J ,力a r .es卫 , L 钊刹| 0 P Y Z 了勺 一 ’ ( 4 ) , 日以盛函尸 日口田日口 门. 叨 犀 . 口 川巴苏 厂 目目 } 翻二 . 月尸. 国} 国} 犷 ’ 图 [口、 图 1 8 x 8 弹 性网格 F ig . 1 E l a , 幼e g 月d . o f 吕x s 图 2 “ 横 ” 笔划 iF .g 2 1 0 对2 0 . 妞 1 s t r o k . s 由于所 得 到 的弹 性 网格特 征 向量 维 数 很 大 (如 8 ` 8 的网格 提 取 出 的特 征 向量为 2 56 维 ) , 而 且含 有 大量 冗 余信 息 , 采用 K - L 变 换对 其 压缩 , 从而 最大 程 度上 消 除 向量 之 间 的相关 性 . 另外 , 由于 Z e而ke 矩特 征 Z M 和 弹性 网格 特征 EM ( 经过 K , L 变换 压 缩后 ) 的度 量 不一 致 , 需要 先将 这 两 种特 征 向量 通 过下 式 进行 度量 统 一 : Mz nO 一 里鉴势 , ME nO一 塑黯 鱼 (2) 其 中 , 产代 表 样 本特 征 向量 的 均值 , a 代 表样 本 特 征 向量 的方 差 . 为 了计算 简便 , 将 统一 度量 后 的 全 局 和局 部特 征 向量直 接相 连 , 构成 串行 融合 特 征 向量 . 其 中 , Z = 阶尹x( 1 ) , …必尹x(n ) ] , 犷 = 以 , … 必〕 , I = … ` … 1 ] · n X · · · 一 , … , 氏 J r 一 an g e 乘 子 , b 任 R , 厂= l[ , … , 1孙 , 为 n 维 单位 向量 . 由于 L S一S V 五度 将 SV M 需要 解 决 的二 次规 划 问题 转 化成对 线性 方程 组 的求解 , 大大 简化 了计 算 的复 杂度 . .2 2 L S一 S V M 多 类分 类策 略 基 本 的 L S一S V M 主 要解 决 两类 分类 问题 . 本 文 采 用 S uy k e n 尹提 出的 的多 类 分类策 略 , 构 造 多 个 L S一S V M 实现 多类识 别 . 该方 法 与神 经 网络 识 别方 法 非常类 似 . 设 总共有万个样 本 , 采用 m 个 L S一 S VM 对 其进 行 分 类识 别 (m 个 L S一 SV M 可 以对 2 ` 类 模式 编码 识 别 ) . 定义必为 样本 i经 过 第 k个 L S一S V M 的输 出 值 , i = l , 2 , … , N , k = l , 2 , … , m . L S名V M 的多类 分 类 结 果可 通过 对 下式 求 最小 值得 到 : 帆wk, 翻 一 钻` 、 号艺 艺品 (5 ) 1 ` 户 1卜 】 1一 或 , 卜 1 , … , N 其 中 , 1一 命 =1 1 1一 弘 =1 1 , … , N 根 据 K K T 条 件 , 消 去参 数哄和氛 , 上 述 问题 可 转化 为对 线性 系统 求 解 : 2 多 类分 类识 别 .2 1 L S 一 S V M 的基 本原 理 S uy ke sn 和 V 由l d ew al le 提 出的 L S一 V M 是 最 小二 乘形 式 的支 持 向量 机 夕, , 它 的分类 原理 可 表 示为 在等 式 iy 【扩尹 x(,) + b] = 一吞 , =1 1 , … , n 约 束 下 , 求 平 方和误 差 函数 的最 小值 , 其 中 , Y = gh(w , 。 一 韵 w lz号参` ( 3 ) 其 中 , ix e nR , 必任 { 一 1 , +l } ; b任 R 表示 分类 面 闽值 : w 是特 征空 间 中分类 超平 面 的一 维系 数 向量 ; 吞之 0 是考 虑 分 类 误 差 而 引入 的松 弛 因 子 : y是 平 衡 最 小分 类边 界和 最 小分类 误差 的惩 罚 因子 ; 非 线性 变换势仕〕将 给 定模 式样 本 x 从 n 维 空 间 映射 到更 高维 的特 征 空间 . 可 见 , 与 S V M 不 同 , 在 L S一S V M 中使 用 的 是等 式约 束 条件 . 根据 K K T 条 件 , 式 (3) 最 小值 的解 可 通 过解 ( 6 ) 俨 = 才 创才助T勺 一 ’ I , 为 N x N 的矩 阵 , 砂 T = 吩中k(x J , … , 加 k (x )〕为 N 维 向量 , 月T = 〔al ,l , … , ` . 1 , … , al 声 , … , 断习 , 、 ` 为 L a gr an ge 乘 子 , 了 = [b l , … , b 。 〕 : , , , f = 〔l , … , l ] 卜 、 . 本 文采 用 R B F 函数 作为 L S一S V M 的核 函 数 : x(tK , x,) 一 ` x(,) 嘛 ,一 p { 一 }唁哪