基于融合特征和LS-SVM的脱机手写体汉字识别

D0I:10.13374/i.issn1001-053x.2005.04.030 第27卷第4期 北京科技大学学报 Vol.27 No.4 2005年8月 Journal of University of Science and Technology Beijing Aug.2005 基于融合特征和LS-SVM的脱机手写体汉字识别 高彦宇)杨扬”陈飞) 1)北京科技大学信息工程学院，北京100083 2)北京尖峰计算机系统有限公司，北京100083 摘要提出的脱机手写体汉字识别系统主要研究特征提取和分类识别两个模块，特征提取 模块主要包括采用基于不变矩和弹性网格技术的串行特征融合方法，所得到的特征向量不 仅充分反映了手写体汉字的全局和局部特征，而且具有很强的区分表达能力.分类识别模块 将神经网络多类分类策略与最小二乘支持向量机相结合，所得到的分类器不仅识别率高、泛 化能力强，而且有效地解决了多类分类问题.实验证明本文提出的识别系统能够取得很好的 识别效果， 关键词脱机手写体汉字识别；最小二乘支持向量机：Zernike矩：弹性网格 分类号TP391.4 脱机手写体汉字识别一直是模式识别研究 能力，在模式识别领域得到广泛应用. 领域中的难点，主要原因是：(1)汉字类别多而 由于Zerike矩是定义在单位圆内的特征向 且样本数量巨大：(2)汉字集合中的相似字较多， 量，所以提取汉字图像的矩特征需要先将直角坐 有些汉字之间只有细微差别：（③）不同书写者书写 标系下的图像坐标（化，y),x,y=0,1,“,N-1映射到 的汉字样本风格千差万别，笔划粗细不同，样本 单位圆内.一个密度函数为八x,y)的图像的p阶 的大小、倾斜角度不一致等等，由于脱机手写体 q次循环Zernike矩定义为： 汉字识别有广阔的应用前景，并且基本上囊括了 (1) 模式识别研究领域中的所有典型问题，如特征提 2M.-2w6*) 取、多类分类以及样本集选择，因此对它的研究 其中，√-可，0ss1, 具有深刻的理论意义和实用价值， 0=tan" 2y-N+1) 2x-N+1 R(r)为Zernike矩的径向多项 本文首先介绍基于不变矩和弹性网格技术 的特征提取方法，然后提出一种基于最小二乘支 式，其定义为： e-k 持向量机(LS-SVM)的多类分类识别方法，最后 (p-k)! -24 通过实验验证上述算法在脱机手写体汉字识别 2-可 2 中的应用效果 这里要求0≤qlsp,p-l4l是偶数，p20. 12弹性网格提取局部特征 1特征提取 弹性网格是一种典型的局部特征描述法， 特征提取是脱机手写体汉字识别中的重要 由于该方法能容忍不同书写风格引起的笔划位 一环，本文首先采用矩不变量和弹性网格技术分 置不确定、字体局部变形等问题，所以在手写体 别获取手写体汉字的全局和局部特征，然后采用 汉字识别中应用非常广泛.应用弹性网格进行特 串行特征融合策略得到融合特征向量. 征提取的步骤为： L.1 Zernike矩提取全局特征 (1)将汉字图像在水平和垂直两个方向上的 矩是一种常用的全局特征描述法，在相继提 直方图分别等分，并在原图像上标记各等分线的 出的多种矩特征中，Zernike矩m以其特有的旋转 位置，这些等分线在汉字图像内构成的网格就是 不变性、正交性以及良好的抗噪能力和特征描述 弹性网格（如图1所示）. 收稿日期：2004-05-10修回日期：200407-09 (2)将汉字图像分解为分别含有横、竖、撇、捺 作者简介：高彦宇(1976一，女，博士研究生 4种笔划的子图像

第 7 卷 第 期 2 4 艺 5 年 月 : 0 0 8 北 京 科 技 大 学 学 报 o J u r a . l o U f o i v e s r i y t o S f e i e e e a n n d e T e o O h n l gy B e i i j n g 】 V b . 7 2 N 0 . 4 A u g . 5 2 0 0 基于 融合特征和 S 一S M 的脱机手写体汉L字识别V 高彦 宇 ` , 杨 扬 ` , 陈 飞 ” l) 北京 科技 大学 信息 工程 学 院 , 北京 10 0 0 83 2) 北京 尖峰计算机 系统 有 限公 司 , 北 京 10 00 83 摘 要 提 出 的脱机 手 写体 汉字 识 别系 统主 要研 究特 征 提取 和 分类识 别 两个 模块 . 特征 提取 模 块主 要包 括采 用基 于 不变 矩和 弹 性 网格 技 术 的 串行特 征融 合 方法 , 所 得到 的特 征 向量 不 仅充 分反 映 了手 写体 汉字 的全局和 局 部特 征 , 而且 具有 很 强的 区分表 达 能力 . 分类 识别 模块 将神 经 网络 多类 分类 策 略与 最小 二乘 支持 向量 机相 结 合 , 所 得 到的 分类器 不 仅识别 率 高 、 泛 化 能力强 , 而且 有 效地 解 决 了多类 分类 问题 , 实 验证 明本 文提 出 的识别 系 统能 够取得很好 的 识别 效果 . 关键 词 脱机 手 写体 汉字 识 别 ; 最 小 二乘 支持 向量 机 ; Z e m 议 e 矩 ; 弹性 网格 分 类号 T P 3 91 . 4 脱 机 手 写 体 汉 字 识 别 一 直 是 模 式 识 别 研 究 领域 中的难 点 ’ 1 , 主要 原 因 是 : ( l) 汉 字 类 别 多而 且样 本 数 量 巨大 ; (2) 汉字 集 合 中 的相 似 字 较 多 , 有些 汉字 之 间只有 细微 差 别 : (3) 不 同书 写者 书写 的汉 字 样本 风 格 千 差万 别 , 笔划 粗 细 不 同 , 样 本 的大 小 、 倾斜 角 度不 一 致 等等 . 由于脱 机 手 写 体 汉字识 别 有广 阔 的应 用前 景 , 并 且基 本 上囊 括 了 模 式 识别研究领域 中 的所 有 典型 问题 , 如特征提 取 、 多类 分 类 以及 样 本 集选 择 , 因 此对 它 的研 究 具 有深 刻 的 理论 意 义和 实 用 价值 . 本 文 首 先 介 绍 基 于 不 变 矩 和 弹 性 网 格 技 术 的特征提 取 方法 , 然 后 提 出一种 基 于最 小 二 乘支 持 向量 机仪 S一V M 户的 多类 分类识 别 方法 , 最 后 通 过 实 验 验 证 上述 算 法 在 脱 机 手 写 体 汉 字 识别 中的应 用 效 果 . 能 力 , 在 模 式 识别 领 域得 到 广泛 应 用 , 由于 Z em 派 矩 是 定义 在 单位 圆 内的特 征 向 量 , 所 以提 取汉 字 图像 的矩 特征 需 要先 将直 角坐 标系 下 的 图像 坐 标 x( ,力 , x 沙 = O , 1 , … ,万一 1 映射 到 单 位 圆 内 . 一个 密 度 函 数 为 . 瓜 ,力 的 图像 的 p 阶 q 次循 环 Z e r n l ke 矩 定 义 为 : 、 诸寿复冥、 (rJ e , 晒 ,y , l() 其 中 , 、 了{裔 一 , +)z!向 一 ` ! ’ , 0 、 引 , “ 一 atn 一 !篆斋! , 、 。 为 ez 、 e 矩 的 径 够 项 式 , 其 定 义 为 : 卫创, 2 几( r ) = X ( 一 l )七 问 k ! 一不尸 一 k2 一月’ 1 特 征 提 取 特 征 提 取 是脱 机 手 写 体 汉 字 识 别 中的 重 要 一 环 . 本文 首 先采用 矩不 变量 和 弹 性 网 格 技术 分 别获 取手 写体 汉字 的全局 和局 部 特 征 , 然后 采 用 串行特 征 融 合策 略 得 到 融合 特 征 向量 . L l z er n 该 e 矩 提 取全 局 特征 矩是 一种 常 用 的全 局特 征描 述 法 . 在 相继 提 出 的多 种矩 特 征 中 , Z e 而ke 矩 口, 以其 特 有 的旋 转 不变 性 、 正交 性 以及 良好 的抗 噪能 力和 特 征描 述 收稿 日期 : 2 0 4刁 5一 10 修回 日期 : 2 0 4 ~ 0 7刁 9 作者 简介 : 高 彦宇 ( 197 吞一 ) , 女 , 博 士研 究生 这 里 要求 0引引印 , p 一 al 是偶 数 , p 之 0 . 1.2 弹性 网格提取 局 部特 征 弹性 网 格 是一 种 典 型 的 局 部特 征 描 述 法 体.J 由于 该方 法 能容 忍 不 同 书 写风 格 引起 的 笔划 位 置不 确 定 、 字 体 局 部变 形 等 问题 , 所 以在 手 写体 汉 字 识别 中应 用 非常 广泛 . 应 用 弹性 网格 进行 特 征 提 取 的步 骤 为 : ( 1) 将 汉 字 图像 在 水 平和 垂直 两个 方 向上 的 直方 图分别 等 分 , 并在 原 图像 上标 记各 等 分线 的 位 置 , 这 些 等分 线在 汉 字 图像 内构 成 的网 格 就是 弹性 网格 ( 如 图 1 所 示 ) . (2 )将 汉字 图像 分解 为 分别 含有 横 、 竖 、 撇 、 捺 4 种 笔 划 的 子 图像 . DOI: 10. 13374 /j . issn1001 -053x. 2005. 04. 030

·510· 北京科技大学 学报 2005年第4期 (3)将弹性网格重新画到这4个子图像上（如 下面的线性方程组得到： 图2所示)，并计算各个子图像在每个网格内的 o Y b]fo Y zZty'ia1 (4) 像素密度，可以得出一组(4个)特征向量，将这些 向量顺序联接就构成了弹性网格特征向量， 其中，ZT=ypx),…ypx】,=Dy,…y],I= 1 为nxn单位矩阵，a'=[a,",al为Lag 1 range乘子，b∈R,=[l,,1n为n维单位向量. 由于LS-SVM将SVM需要解决的二次规划 问题转化成对线性方程组的求解，大大简化了计 算的复杂度， 2.2 LS SVM多类分类策略 图2“横”笔划 基本的LS-SVM主要解决两类分类问题.本 图18×8弹性网格 Fig.1 Elastic grids ofx8 Fig.2 Horizontal strokes 文采用Suykenst提出的的多类分类策略，构造多 个LS-SVM实现多类识别.该方法与神经网络识 由于所得到的弹性网格特征向量维数很大 别方法非常类似. (如8×8的网格提取出的特征向量为256维)，而 设总共有N个样本，采用m个LS-SVM对其进 且含有大量冗余信息，采用K-L变换对其压缩， 行分类识别(m个LS-SVM可以对2"类模式编码 从而最大程度上消除向量之间的相关性.另外， 识别).定义为样本经过第k个LS-SVM的输出 由于Zernike矩特征ZM和弹性网格特征EM(经过 值，i=1,2,,N,k=1,2,,m.LS-SVM的多类分 K-L变换压缩后)的度量不一致，需要先将这两 类结果可通过对下式求最小值得到： 种特征向量通过下式进行度量统一： ZM.-ZM-L2,EM.EM-R 2w子丝品 (5) (2) OZM CEM (y:[wi:(x)+b]=1-i=1,,N 其中，4代表样本特征向量的均值，σ代表样本特 其中， [w5p2(xtb2]=1-5a户1，…，N 征向量的方差，为了计算简便，将统一度量后的 全局和局部特征向量直接相连，构成串行融合特 yf[witp.(x)+b-]=1-5m i=1,,N 征向量. 根据KKT条件，消去参数w和，上述问题可 转化为对线性系统求解： 2多类分类识别 TO YB0T Y QA (6) 2.1 LS SVM的基本原理 Suykens和Vandewalle提出的LS-SVM是最 小二乘形式的支持向量机网，它的分类原理可表 示为在等式 其中，Y= y[wp(xtb]=-5n产l,,n vim 约束下，求平方和误差函数的最小值， w,)=wP+站 (3) 21 其中，x∈R,y,∈{-1，+1}；b∈R表示分类面阅值：w Ω= 是特征空间中分类超平面的一维系数向量：≥0 是考虑分类误差而引入的松弛因子：y是平衡最 2=ZZr+yI,为N×N的矩阵， 小分类边界和最小分类误差的惩罚因子：非线性 Zwr=[y抑(x),…,0xw]为N维向量， 变换px)将给定模式样本x从n维空间映射到更 Af=[au,,w,…,an,,NW为Lagrange乘子， 高维的特征空间.可见，与SVM不同，在LS-SVM BT=[b,,b]m,=[1,…,11xmw. 中使用的是等式约束条件. 本文采用RBF函数作为LS-SVM的核函数： 根据KKT条件，式(3)最小值的解可通过解 .-p.)exp

一 5 1 0 . 北 京 科 技 2 0 0 5 年 第 4期 (3 )将 弹 性 网 格 重新 画 到这 4 个子 图像 上 (如 图 2所 示 ) , 并 计算 各 个子 图像 在 每个 网格 内 的 像素 密度 , 可 以得 出一 组 (4 个 )特 征 向量 , 将 这些 向量 顺序 联 接就 构 成 了弹 性 网 格 特 征 向量 . 大 学 学 报 下面 的线 性 方程 组 得 到: , 1 . . r 1 lo es.l L 一 , I J ,力a r .es卫 , L 钊刹| 0 P Y Z 了勺 一 ’ ( 4 ) , 日以盛函尸 日口田日口 门. 叨 犀 . 口 川巴苏 厂 目目 } 翻二 . 月尸. 国} 国} 犷 ’ 图 [口、 图 1 8 x 8 弹 性网格 F ig . 1 E l a , 幼e g 月d . o f 吕x s 图 2 “ 横 ” 笔划 iF .g 2 1 0 对2 0 . 妞 1 s t r o k . s 由于所 得 到 的弹 性 网格特 征 向量 维 数 很 大 (如 8 ` 8 的网格 提 取 出 的特 征 向量为 2 56 维 ) , 而 且含 有 大量 冗 余信 息 , 采用 K - L 变 换对 其 压缩 , 从而 最大 程 度上 消 除 向量 之 间 的相关 性 . 另外 , 由于 Z e而ke 矩特 征 Z M 和 弹性 网格 特征 EM ( 经过 K , L 变换 压 缩后 ) 的度 量 不一 致 , 需要 先将 这 两 种特 征 向量 通 过下 式 进行 度量 统 一 : Mz nO 一 里鉴势 , ME nO一 塑黯 鱼 (2) 其 中 , 产代 表 样 本特 征 向量 的 均值 , a 代 表样 本 特 征 向量 的方 差 . 为 了计算 简便 , 将 统一 度量 后 的 全 局 和局 部特 征 向量直 接相 连 , 构成 串行 融合 特 征 向量 . 其 中 , Z = 阶尹x( 1 ) , …必尹x(n ) ] , 犷 = 以 , … 必〕 , I = … ` … 1 ] · n X · · · 一 , … , 氏 J r 一 an g e 乘 子 , b 任 R , 厂= l[ , … , 1孙 , 为 n 维 单位 向量 . 由于 L S一S V 五度 将 SV M 需要 解 决 的二 次规 划 问题 转 化成对 线性 方程 组 的求解 , 大大 简化 了计 算 的复 杂度 . .2 2 L S一 S V M 多 类分 类策 略 基 本 的 L S一S V M 主 要解 决 两类 分类 问题 . 本 文 采 用 S uy k e n 尹提 出的 的多 类 分类策 略 , 构 造 多 个 L S一S V M 实现 多类识 别 . 该方 法 与神 经 网络 识 别方 法 非常类 似 . 设 总共有万个样 本 , 采用 m 个 L S一 S VM 对 其进 行 分 类识 别 (m 个 L S一 SV M 可 以对 2 ` 类 模式 编码 识 别 ) . 定义必为 样本 i经 过 第 k个 L S一S V M 的输 出 值 , i = l , 2 , … , N , k = l , 2 , … , m . L S名V M 的多类 分 类 结 果可 通过 对 下式 求 最小 值得 到 : 帆wk, 翻 一 钻` 、 号艺 艺品 (5 ) 1 ` 户 1卜 】 1一 或 , 卜 1 , … , N 其 中 , 1一 命 =1 1 1一 弘 =1 1 , … , N 根 据 K K T 条 件 , 消 去参 数哄和氛 , 上 述 问题 可 转化 为对 线性 系统 求 解 : 2 多 类分 类识 别 .2 1 L S 一 S V M 的基 本原 理 S uy ke sn 和 V 由l d ew al le 提 出的 L S一 V M 是 最 小二 乘形 式 的支 持 向量 机 夕, , 它 的分类 原理 可 表 示为 在等 式 iy 【扩尹 x(,) + b] = 一吞 , =1 1 , … , n 约 束 下 , 求 平 方和误 差 函数 的最 小值 , 其 中 , Y = gh(w , 。 一 韵 w lz号参` ( 3 ) 其 中 , ix e nR , 必任 { 一 1 , +l } ; b任 R 表示 分类 面 闽值 : w 是特 征空 间 中分类 超平 面 的一 维系 数 向量 ; 吞之 0 是考 虑 分 类 误 差 而 引入 的松 弛 因 子 : y是 平 衡 最 小分 类边 界和 最 小分类 误差 的惩 罚 因子 ; 非 线性 变换势仕〕将 给 定模 式样 本 x 从 n 维 空 间 映射 到更 高维 的特 征 空间 . 可 见 , 与 S V M 不 同 , 在 L S一S V M 中使 用 的 是等 式约 束 条件 . 根据 K K T 条 件 , 式 (3) 最 小值 的解 可 通 过解 ( 6 ) 俨 = 才 创才助T勺 一 ’ I , 为 N x N 的矩 阵 , 砂 T = 吩中k(x J , … , 加 k (x )〕为 N 维 向量 , 月T = 〔al ,l , … , ` . 1 , … , al 声 , … , 断习 , 、 ` 为 L a gr an ge 乘 子 , 了 = [b l , … , b 。 〕 : , , , f = 〔l , … , l ] 卜 、 . 本 文采 用 R B F 函数 作为 L S一S V M 的核 函 数 : x(tK , x,) 一 ` x(,) 嘛 ,一 p { 一 }唁哪

Vol.27 No.4 高彦宇等：基于融合特征和LS-SVM的脱机手写体汉字识别 511 其中，=1,2，…，N,k=1,2,,m. 到各自的支持向量，并且每一类汉字形成独有的 通过求解线性方程组(6)，LS-SVM分类器能 编码形式：在测试阶段，测试样本经过各LS 够有效实现多类分类，而且泛化能力不会降低. SVM后得到由-1和1组成的7位编码，与训练样 本形成的编码库比较后就可以得到识别结果.为 3实验及讨论 了比较识别效果，本文分别采用LS-SVM分类器 和距离分类器对测试样本进行识别，其中LS- 31实验 SVM的参数设置为=…==0.5,1.0，识别结 本文选择HTPU手写体汉字数据库中最常 果如表1所示. 用的100类汉字进行实验，其中每类汉字取50个 样本用于训练，10个样本用于测试. 表1距离分类器和LS-SVM分类器识别结果比较 Table I Comparison between the minimum distance classifier 首先对所有手写体汉字图像进行去噪、归一 and LS-SVM classifier 化等预处理；然后计算这些汉字图像的Zernike 特征提取 最小距离法% LS-SVM/% 矩，将其0~10阶共36个正交特征值构成全局特 Zernike矩 83.21 85.45 征向量；将这些汉字图像用8×8的弹性网格划 弹性网格 81.64 83.92 分，得到256维的局部特征向量，再通过K-L变换 融合特征 90.53 93.37 压缩为44维的正交特征向量：最后将统一度量 从实验结果可以看出：一方面，融合的特征 后的两种特征向量连接起来，得到80维的融合 向量能够更好地代表手写体汉字的特征：另一方 特征向量， 面，对于相同的特征向量，本文提出的LS-SVM 为了对100类手写体汉字样本进行分类识 分类识别方法得到的识别率高于采用距离分类 别，设计使用m=7个LS-SVM(如图3所示)，输入 器得到的识别率.因此，可以证明LS-SVM所具 向量x=(x,x,…,x)代表测试样本的特征向量， 有的泛化能力对小样本集类别有更好的分类识 (K,,…w,…,,,xw)代表支持向量，每个 别能力， LS-SVM的输出为{-1,1}. 对于相同的样本，改变参数o和y的值对LS- 在训练阶段，每个LS-SVM通过训练样本得 SVM分类器进行测试，发现参数值的变化对LS- Ki) SVM分类器的识别率影响很小，这说明LS-SVM a. 分类器对参数的选择有很强的鲁棒性， 最后分析一下系统的识别时间.根据上文所 述，LS-SVM多类分类算法实际上是一种并行计 算方法，识别过程仅涉及到各个判别函数的计算 及最后的解码，因此识别时间远远低于“一对一” 或“一对多”的SVM多类识别方法阿.为了进一步 提高系统的训练和识别效率，可以采用Kok Seng Chua提出的大规模LS-SVM有效计算方法. 3.2讨论 IN 3 V 本文提出一种基于融合特征和最小二乘支 Cxw2 持向量机的脱机手写体汉字识别系统设计方法， 实验证明该系统能够取得很好的识别效果.下一 解码 步将对以下两个方面做进一步的考虑和改进： (1)串行特征融合方法虽然简单，但是融合后 的特征向量维数增多，给识别速度和精度带来很 IN-y 识别结果 大影响，因此需要进一步研究特征融合的策略. (2)尽管LS-SVM比SVM计算简单，但是由 K.X,X-) 图3基于LS-SVM的手写体汉字识别结构图 于LS-SVM的每个样本数据对分类器都有贡献， Fig.3 Framework of handwritten Chinese character recognition 所以它的支持向量不具有稀疏性，这又增加了分 based on LS-SVM 类的计算量，因此如何得到精练的支持向量也是

、 b l . 7 o 2 N . 高彦 宇等 4 : 基 于融 合特 征和 S 一S M 的脱 机手 写 体 汉字 识 别 L V 其中 , iJ = 1 , 2 , … , N, k = 1 , 2 , … , m . 通 过求 解 线 性方 程 组 (6 ) , L S 一S V M 分 类 器 能 够 有 效实 现 多类分 类 , 而 且 泛 化 能力 不 会 降低 . 3 实 验 及 讨 论 .3 1 实验 本 文选 择 IH仰U 手 写体 汉 字数 据 库 中最 常 用 的 10 0 类 汉字 进 行 实验 , 其 中每类 汉 字取 50 个 样 本用 于 训 练 , 10 个样 本 用 于 测试 . 首先 对 所有 手 写体 汉 字 图像 进 行去 噪 、 归一 化 等预 处 理 ; 然 后 计算 这 些 汉 字 图像 的 Z e而ke 矩 , 将 其 O一 10 阶 共 36 个正 交特 征值 构 成全 局 特 征 向量 ; 将 这 些 汉字 图像 用 8 “ 8 的 弹性 网格划 分 , 得 到 2 56 维 的局 部特 征 向量 , 再通 过 K - L 变 换 压缩 为 4 维 的正 交 特 征 向量 ; 最 后 将 统一 度 量 后 的两 种特 征 向量连 接 起 来 , 得 到 80 维 的融 合 特 征 向量 . 为 了对 10 0 类 手 写 体 汉 字 样 本 进 行 分类 识 别 , 设 计使 用 m = 7个 L S一S V M ( 如 图 3 所 示 ) , 输 入 向 量x = x( , , 犷 , … , x 今代 表 测 试 样 本 的特 征 向量 , x(., l丙,1 … 翔 , … , xl , 。 , … , 耘公代 表 支 持 向量 , 每 个 L S一 S V M 的 输 出为 { 一 1 , 1 } . 在 训练 阶 段 , 每 个 L S一 S V M 通过 训练 样本 得 解 码 识 别结 果 图 3 基 于 L S e S V M 的手 写体 汉字 识别 结构 图 F i g · 3 F ar m ew o kr o f b a n d w ir t e n C h i n e s e e h a r a e t e r 代e o g n it o n b a 吕e d 0 . L -S S V M 到 各 自的支 持 向量 , 并 且每 一 类汉 字形 成独 有 的 编 码 形 式 ; 在 测 试 阶 段 , 测 试 样 本经 过 各 L S - S v M 后得 到 由一 1和 l 组成 的 7 位 编 码 , 与训 练样 本 形成 的编 码库 比 较后 就可 以得 到识别 结 果 . 为 了比 较 识 别 效果 , 本 文分 别 采用 L S一S V M 分 类器 和 距 离 分类 器 对 测 试 样 本 进 行 识别 , 其 中 L S一 S V M 的参 数 设置 为试二 一端= .0 5 , 厂 1 . 0 , 识 别 结 果 如表 l 所 示 . 表 1 距 离分 类器 和 L 象S V M 分类器 识别 结果 比 较 介 b l e 1 C o m P a ir s o n b e 巾胃 e e . t卜e m i n im u m d 妇at . e e e l a s s沉 e r a n d L S 一 S V M e l a s s沂 e r 特 征提 取 最 小距 离法禺 L S 一 S V N灯% Z e rn 止 e 矩 83 . 2 1 8 5 4 5 弹 性 网格 8 1 6 4 83 . 9 2 融合特 征 9 0 乃3 9 3 3 7 从 实 验 结果 可 以看 出 : 一 方 面 , 融 合 的特 征 向量 能够 更好 地 代表 手 写体 汉字 的特 征 ; 另 一方 面 , 对 于 相 同 的特 征 向量 , 本文 提 出的 L S一S V M 分 类 识 别 方 法 得 到 的识 别 率 高 于 采用 距 离 分 类 器 得 到 的识 别 率 . 因此 , 可 以证 明 L S一S V M 所 具 有 的泛 化 能 力对 小样 本 集 类 别 有 更好 的分 类 识 别 能 力 . 对 于相 同的样 本 , 改变 参 数氏 和夕的值 对 L S一 SV M 分类 器 进 行测 试 , 发现参 数值 的变化 对 L S一 SV M 分类 器 的 识别 率 影 响很 小 , 这 说 明 L S一 S V M 分类 器 对 参 数 的选 择有 很 强 的鲁棒性 . 最 后 分 析 一下 系统 的识别 时 间 , 根 据上 文所 述 , L S一S V M 多类 分类 算 法 实 际上 是 一种 并 行计 算方 法 , 识 别过 程仅 涉及 到 各个 判 别 函数 的计算 及 最 后 的解码 , 因此 识别 时 间远远 低于 “ 一对 一 ” 或 “ 一对 多 ” 的 S V M 多类识 别 方法 〔` , . 为 了进一 步 提 高 系 统 的训 练和 识 别 效率 , 可 以采 用 K o k se gn C hu a 提 出 的大 规模 L S一S V M 有 效 计算 方 法〔71 . .3 2 讨 论 本 文 提 出一 种 基 于 融 合 特 征 和 最 小 二 乘 支 持 向量机 的脱机 手 写体 汉字 识 别系 统 设计 方法 , 实验 证 明该 系统 能 够取 得 很好 的识 别 效果 . 下 一 步将 对 以下 两个 方 面做 进 一 步 的考虑 和 改 进 : ( l) 串行 特 征融 合方 法 虽然 简单 , 但 是融 合后 的特 征 向量 维数 增 多 , 给识 别速 度和 精度 带 来很 大 影 响 , 因此 需 要进 一 步研 究特 征融 合 的 策略 . (2 ) 尽 管 L S一S V M 比 S V M 计 算简 单 , 但是 由 于 L S一 S V M 的每个样 本数据 对 分类 器 都 有贡 献 , 所 以它 的 支持 向量 不具 有稀疏 性 , 这又 增 加 了分 类 的计 算量 , 因此 如何 得 到精练 的支持 向量 也 是

·512· 北京科技大学学报 2005年第4期 一个亟待解决的问题， [4)金连文，彭秀兰，尹俊勋，一种手写体汉字特征提取新方 法一小波变换及弹性网格技术的应用。中国图像图形 参考文献 学报，1998,7：549 [5]Suyken JA K,Lukas L,van Dooren P,et al.Least squares support [1]Hildebrandt T,Liu W.Optical recognition of handwritten Chin- vector machine classifiers:a large scale algorithm.Eur Conf ese characters:advances since 1980.Pattern Recognit,1993,26 Circuit Theory Des,1999,8:839 (2:205 [6]Hsu C W,Lin C J.A comparison on methods for multi-class [2]Suykens J A K,Vandewalle J.Least squares support vector ma- support vector machines.IEEE Trans Neural Networks,2002. chine classifiers.Neural Process Lett,1999,9(3):293 13:415 [3]Khotanzad A.Invariant image recognition by Zemike moments. [7]Kok SC.Efficient computations for large least square support ve- IEEE Trans Pattern Anal Mach Intell,1990,12(5):489 ctor machine classifiers.Pattern Recognit Lett,2003,24:75 Off-line handwritten Chinese character recognition based on fusion features and LS-SVM GAO Yanyu,YANG Yang",CHEN Fep 1)Information Engineering School,University of Science and Technology Beijing,Beijing 100083,China 2)JF Computer System Co.Ltd.,Beijing 100083,China ABSTRACT The proposed off-line handwritten Chinese character recognition system was composed of a feature extraction module and a recognition module.In the feature extraction module,the orthogonal Zernike moments and the elastic mesh technique were combined to get fusion features,which present the global and local features of hand- written Chinese characters and have great discriminative capability.As for the classification module,one approach that is very similar to the neural network classification strategy was used with the Least Square Vector Machine(LS- SVM),which not only has the excellent performance of generalization and recognition accuracy,but also can solve the multi-classification issue effectively.Experimental results indicated that the proposed method could get good recognition results. KEY WORDS off-line handwritten Chinese character recognition;least square support vector machine(LS- SVM);Zernike moment;elastic mesh

一 5 1 2 - 北 京 科 技 大 学 学 报 2 0 5 年 第 4 期 一个 鱼待 解 决 的 问题 . 考 文 献 [2 ] [ 3 ] H il de b tna d t ,T L i u .W O P ti e al 传 e o咧 ti on o f h助 d 认理 i t e n C h i-n e s e e bar a e t e sr 旧 d v an e e s s icn e 19 8 0 . P a伽几 R eC o gn it , 19 9 3 , 2 6 (2 ) : 2 0 5 S u y k即 5 J A K , V 沁l d e aw 】l e J . L e as t s q u 别re s s u P ort v e c 加r m a￾ch 政 c las s iif ers . N e u ar l P or e ” s 玩t , 19 9 9 , 9( 3 ) : 2 9 3 hK 。 加口 . d A . nI v 硕ant 面ag e r ce o g n lit o n by Z冶m 溉 m o m e n ts . I E E E I 丫a . s P a t e 口 A . a l M a e h I o t山 , 19 9 0 , 12 ( 5 ) : 4 8 9 4[ ] 金连 文 , 彭 秀兰 , 尹俊 勋一 种手 写体 汉字特 征提 取新 方 法— 小波 变 换及弹 性 网格技术 的应用 . 中国圈 像圈形 学报 , 1 9 9 8 , 7 : 5 4 9 [ 5 ] S ly k. n J A K , L u k as L , v an D o ore n P, et al . L e ast s q u即 旧 5 5叩 p o rt v e cot r m a e h i n e e las s i 6 e sr : a l叱 e s e a l e al g ior ht m . E u r C o ilf C i代 u it T h eo 叮 D es , 19 9 9 , 8 : 8 3 9 [ 6 ] SH u C W, L in C J . A e o m Piar s on o n m het o ds for m u l ti 一 e las s s l l P P o rt v e c t o r m朋 h访 se . IE E E J n a n , Ne u ar l服wt o r ks , 2 0 0 2 , 13 : 4 15 【7 ] K ok 5 C . Eif c i ent e o m P u at ti o ns for l雌 e l e ast s q u a了e s u Ppo rt ve - e t or m a e 肠的e o las s伍 esr . P a t e 几 R eC o邵it L et , 20 0 3 , 2 4 : 7 5 参1[] O -f li n e h an d w r it e n C h i n e s e e h ar a e t e r re e o g n it i o n b a s e d o n fu s i o n fe a tu r e s an d L S 一 S V M 6 月口 aY ny “ ,气YA N G aY 心气C 月万N eF 尹 I ) I n fo n n at i o n nE g ine e r m g S e ho o l , U n ive rs ity o f s e i e cn e an d eT e hn o 1 0 幻 . B iej in g , B iej in g l 0 0 8 3 , Ch in a 2 ) FJ C呱P u ter sy s t em C o . L t d , B iej ing 10 0 0 8 3 , Ch in a A B S T R A C T hT e P r o P o s e d o -f l ine h an d w it t e n C ih n e s e e h a r a c t e r re e o gn i it o n sy s te m w as e om P o s e d o f a fe a h止 e e x tr act ion m o d u l e a n d a re e o g n l t ion m o du l e . nI hte fe a t u r e e x tr a o t i o n m o d u l e , het o ir 五o go aln Z e而ke m o m e nt s an d ht e e l as it e m e hs et e hn i q u e w er e e o m b i n e d ot ge t fus ion fe a 仅叮e s , w ih e h Per s e in ht e g l o b al an d l o e a l fe at ur e s o f h an d - w r it e n C h i n e s e e h ar a c t e sr an d h va e gr e at id s e ir m i n a t i v e e aP ab iliyt . sA for het e las s i if e iat o n m o d u l e , o n e aP P r o a c h ht at 1 5 v e yr s im i l ar t o ht e n e址a l n e wt o r k e l as s iif e iat on str at e gy w as us e d 侧t h het L e ast s q切叮e Ve 以o r M a e ih n e (L S - S V M ) , w h ihc n o t on l y h as ht e ex e e ll ent P e r fo n n an c e o f g e en alr i z iat o n an d er c o gn i t i o n ac c ur a c y , b ut al s o e an s o l v e ht e m u l ti 一e las s iif e iat o n i s su e e fe ict v e l醉 E x P e ir m e n ta l er s ul st in id e at e d t h a t ht e P r 0 P o s e d m e th o d e o u ld get g o o d er e o gn iti o n er s ul st . K E Y W O R D S o 作l ien h an d w it et n C h in e s e e h 别旧 e etr er e o g n l it on : l e as t s q川盯e s uP P o rt v e ct or m a c h i n e ( L S - SV M ) ; Z em ik e m o m en t: e l as it e m e s h