第13卷第4期 智能系统学报 Vol.13 No.4 2018年8月 CAAI Transactions on Intelligent Systems Aug.2018 D0:10.11992/tis.201708003 网络出版地址：http:/kns.cnki.net/kcms/detail/23.1538.TP.20180402.1805.012.html 对偶树复小波与空域信息的手势识别分类研究 贾鹤鸣，朱传旭'，张森，杨泽文2，何东旭2 (1.东北林业大学机电工程学院，黑龙江哈尔滨150040；2.哈尔滨工程大学自动化学院，黑龙江哈尔滨 150001) 摘要：为提高手势识别中特征获取的有效性，本文提出空域特征与对偶树复小波变换特征相结合的融合特 征，主要包括水平位置、竖直位置、长宽比、矩形度、u矩7个分量，及11雏空域特征与对偶树复小波变换的 16维特征进行融合后得到的27维特征。针对分类器优化算法，提出进行训练样本优选的最优距离-支持向量 机BD-SVM)分类方法。最后的实验结果表明，对“1~9”手势进行测试，当采用径向基核函数时，平均识别精度 最高，为90.33%，平均识别时间为0.026s,说明所提出的方法能够较好地进行静态手势识别，具有较高的训练 速度和辨识精度。 关键词：手势识别；空域特征；对偶树复小波：特征融合；分类器优化；BD-SVM;径向基核函数：静态测试 中图分类号：TP273文献标志码：A文章编号：1673-4785(2018)04-0619-06 中文引用格式：贾鹤鸣，朱传旭，张森，等.对偶树复小波与空域信息的手势识别分类研究.智能系统学报，2018,13(4)： 619-624. 英文引用格式：JIA Heming,.ZHU Chuanxu,.ZHANG Sen,etal.Research on gesture recognition and classification of dual-tree complex wavelet and spatial information.CAAI transactions on intelligent systems,2018,13(4):619-624. Research on gesture recognition and classification of dual-tree complex wavelet and spatial information JIA Heming',ZHU Chuanxu',ZHANG Sen',YANG Zewen',HE Dongxu' (1.College of Mechanical and Electrical Engineering,Northeast Forestry University,Harbin 150040,China;2.College of Automa- tion,Harbin Engineering University,Harbin 150001,China) Abstract:To improve the validity of features obtained in gesture recognition,in this paper,we propose a fusion feature that combines spatial and dual-tree complex wavelet transform features.These features mainly include seven compon- ents(horizontal position,vertical position,aspect ratio,rectangular degree,Hu moments,etc.)and 27 dimensional fea- tures,comprising 11 dimensional spatial features and 16 dimensional dual-tree complex wavelet transform features.We employ the optimal distance support vector machine(BD-SVM)classification method to optimize training samples for the classifier optimization algorithm.The experimental results show that,in a test of gestures"1~9"using the RBF ker- nel function,the highest average recognition accuracy is 90.33%and the average recognition time is 0.026 s.These res- ults reveal that the proposed method demonstrates excellent static gesture recognition,a high training speed,and accur- acy in identification. Keywords:gesture recognition:spatial feature:dual-tree complex wavelet:feature fusion:classifier optimization:BD- SVM:radial basis kernel function:static test 收稿日期：2017-08-03.网络出版日期：2018-04-03 手势语言作为一种常用的交流语言，通过不 基金项目：中央高校基本科研业务费专项资金项目(2572014BB03: 国家自然科学基金项目(31470714.51609048)：黑龙 同手势的组合、不同手形的变化，能够表达多种 江省研究生教育创新工程项目GXM_HLJ2016014), 通信作者：贾鹤鸣.E-mail:jiaheminglucky99@126.com. 复杂的含义，在非声音传递信息的方式中，如特
DOI: 10.11992/tis.201708003 网络出版地址: http://kns.cnki.net/kcms/detail/23.1538.TP.20180402.1805.012.html 对偶树复小波与空域信息的手势识别分类研究 贾鹤鸣1 ，朱传旭1 ，张森1 ，杨泽文2 ，何东旭2 （1. 东北林业大学 机电工程学院，黑龙江 哈尔滨 150040; 2. 哈尔滨工程大学 自动化学院，黑龙江 哈尔滨 150001） 摘 要：为提高手势识别中特征获取的有效性，本文提出空域特征与对偶树复小波变换特征相结合的融合特 征，主要包括水平位置、竖直位置、长宽比、矩形度、Hu 矩 7 个分量，及 11 维空域特征与对偶树复小波变换的 16 维特征进行融合后得到的 27 维特征。针对分类器优化算法，提出进行训练样本优选的最优距离–支持向量 机 (BD-SVM) 分类方法。最后的实验结果表明，对“1~9”手势进行测试，当采用径向基核函数时，平均识别精度 最高，为 90.33%，平均识别时间为 0.026 s，说明所提出的方法能够较好地进行静态手势识别，具有较高的训练 速度和辨识精度。 关键词：手势识别；空域特征；对偶树复小波；特征融合；分类器优化；BD-SVM；径向基核函数；静态测试 中图分类号：TP273 文献标志码：A 文章编号：1673−4785(2018)04−0619−06 中文引用格式：贾鹤鸣, 朱传旭, 张森, 等. 对偶树复小波与空域信息的手势识别分类研究[J]. 智能系统学报, 2018, 13(4): 619–624. 英文引用格式：JIA Heming, ZHU Chuanxu, ZHANG Sen, et al. Research on gesture recognition and classification of dual-tree complex wavelet and spatial information[J]. CAAI transactions on intelligent systems, 2018, 13(4): 619–624. Research on gesture recognition and classification of dual-tree complex wavelet and spatial information JIA Heming1 ，ZHU Chuanxu1 ，ZHANG Sen1 ，YANG Zewen2 ，HE Dongxu2 (1. College of Mechanical and Electrical Engineering, Northeast Forestry University, Harbin 150040, China; 2. College of Automation, Harbin Engineering University, Harbin 150001, China) Abstract: To improve the validity of features obtained in gesture recognition, in this paper, we propose a fusion feature that combines spatial and dual-tree complex wavelet transform features. These features mainly include seven components (horizontal position, vertical position, aspect ratio, rectangular degree, Hu moments, etc.) and 27 dimensional features, comprising 11 dimensional spatial features and 16 dimensional dual-tree complex wavelet transform features. We employ the optimal distance support vector machine (BD-SVM) classification method to optimize training samples for the classifier optimization algorithm. The experimental results show that, in a test of gestures “1~9” using the RBF kernel function, the highest average recognition accuracy is 90.33% and the average recognition time is 0.026 s. These results reveal that the proposed method demonstrates excellent static gesture recognition, a high training speed, and accuracy in identification. Keywords: gesture recognition; spatial feature; dual-tree complex wavelet; feature fusion; classifier optimization; BDSVM; radial basis kernel function; static test 手势语言作为一种常用的交流语言，通过不 同手势的组合、不同手形的变化，能够表达多种 复杂的含义，在非声音传递信息的方式中，如特 收稿日期：2017−08−03. 网络出版日期：2018−04−03. 基金项目：中央高校基本科研业务费专项资金项目 (2572014BB03)； 国家自然科学基金项目 (31470714，51609048)；黑龙 江省研究生教育创新工程项目 (JGXM_HLJ_2016014). 通信作者：贾鹤鸣. E-mail：jiaheminglucky99@126.com. 第 13 卷第 4 期 智 能 系 统 学 报 Vol.13 No.4 2018 年 8 月 CAAI Transactions on Intelligent Systems Aug. 2018
·620· 智能系统学报 第13卷 警手语、聋哑人交流、远程指挥等方面，起到重要 作用山。特征提取是手势识别的关键环节，即通 过对不同的手势进行数学描述，表示独特的特征 2)长宽比。手所在的最小矩形，长度定义为 关系。常用的特征有几何特征、形状特征、H山矩 L,宽度定义为W,长宽比r定义为 特征等。 r=W/L 国外方面，Davis等2采用不变矩和神经网 3)矩形度。手势所占面积S。与最小外接矩 络，进行数字手势的识别；Miyashita等针对静态 形面积Sm之比。矩形度a表示为 手势具有平移和旋转性问题，采用基于边界信息 a=So/Sm 特征描述的方法；Kapuscinski等提出改进的梯 4)Hu矩特征。Hu矩特征主要描述图像旋转 度直方图方法进行静态手势识别，通过加强图像 的不变性，包含7个分量。对于一幅N×M的图像 坐标系的局部方向，使之能够找到最佳的关键向 fx,y),则其(p+q)阶矩为 量，提高识别率。国内方面，谭台哲等将深度与 肤色信息结合，根据手指和手掌质心判断方向， M= =1=1 从而完成对手势和左右手的识别，鲁棒性强；刘 通过计算函数的重心，得到： 淑萍等6在传统的HOG方法的基础上加入肤色 元=M1o/Moo,j=Mo1/M0 模型和手指检测算法，将识别率提高20%；赵磊 对中心矩进行归一化后，使用二阶和三阶矩 等m对传统DTW算法进行改进，以欧氏距离为元 构造7个h分量矩： 素组成矩阵，结合事先录入的手势模板，实现手 h1=720+7o2 势识别。通过上述国内外研究现状的分析不难发 h2=(720-2)2+47112 现研究问题主要集中于空域特征的提取。实际 h3=(730-3712)2+(321-as)2 上，频谱能在描述纹理特征时体现重要作用⑧。 h4=(730+12)》2+(21+s)月 常用的频域变换主要有傅里叶变换、小波变换 h5=(7a3-3712)(730+712)+(730+3n12)2- 等。前期研究中，大多仅采用空域特征或者仅采 30a1+0os]321-o)21+s) 用小波变换系数特征，但由于传统小波变换在获 [370+22-(z1+a] 取频谱特征时，不具有方向性，因此，拟采用对偶 h6=(2o-z)730+712)2-(21+7as)月+ 树复小波变换提取频域特征，实现-75°、-45°、 4711(730+712)(21+7s) -15°、15°、45°和75°等6个方向的特征度量，最后 h,=(3n21-os)30+712)30+12)2- 为提高特征的完备性，本文将空域特征与频域特 征进行融合。 321+o)+(321-30）(n1+s) 分类器通常采用人工神经网络，常用的有 [30+m2-(a+am] BP神经网络、支持向量机(SVM)等。经过许多 1.2 单位的书写规则 学者研究证实，在图像识别方面，SVM比BP精度 用函数山()和山，()将对偶树复小波定义为 更高，且不易陷入过拟合状态9121。但是，由于 中.(t)=少a(0)+j冰g() SVM在高维空间中计算量远远大于BP,因此，当 且满足希尔伯特变换，即： 样本较多、特征维数较大时，SVM速度较慢。本 -j(ω)，w>0 中g(ω)= 文引入BD(best distance)优选SVM训练样本的算 a(w),ω<0 法，一方面减少样本数，提高训练速度，另一方 用树A和树B表示，结构图如图1所示。 面，优化样本质量，提高训练精度。 m→+(2 树A「 h( 1特征提取 h网→2 h,(m) 1.1空域特征 +8网→G2 8o(n) 1)位置。由前面部分手势跟踪，可获取手势 树B 8网→（② 的位置信息，用掌的面积中心表示。设手掌像素 -8→② 的坐标为(x,),其中i=0,1,…,n-1;j=0,1,… 图1对偶树复小波变换结构图 m-1),那么其质心（元，）表示为 Fig.1 Dual tree complex wavelet transform structure
警手语、聋哑人交流、远程指挥等方面，起到重要 作用[1]。特征提取是手势识别的关键环节，即通 过对不同的手势进行数学描述，表示独特的特征 关系。常用的特征有几何特征、形状特征、Hu 矩 特征等。 国外方面，Davis 等 [2]采用不变矩和神经网 络，进行数字手势的识别；Miyashita 等 [3]针对静态 手势具有平移和旋转性问题，采用基于边界信息 特征描述的方法；Kapuściński 等 [4]提出改进的梯 度直方图方法进行静态手势识别，通过加强图像 坐标系的局部方向，使之能够找到最佳的关键向 量，提高识别率。国内方面，谭台哲等[5]将深度与 肤色信息结合，根据手指和手掌质心判断方向， 从而完成对手势和左右手的识别，鲁棒性强；刘 淑萍等[6]在传统的 HOG 方法的基础上加入肤色 模型和手指检测算法，将识别率提高 20%；赵磊 等 [7]对传统 DTW 算法进行改进，以欧氏距离为元 素组成矩阵，结合事先录入的手势模板，实现手 势识别。通过上述国内外研究现状的分析不难发 现研究问题主要集中于空域特征的提取。实际 上，频谱能在描述纹理特征时体现重要作用[8]。 常用的频域变换主要有傅里叶变换、小波变换 等。前期研究中，大多仅采用空域特征或者仅采 用小波变换系数特征，但由于传统小波变换在获 取频谱特征时，不具有方向性，因此，拟采用对偶 树复小波变换提取频域特征，实现–75°、–45°、 –15°、15°、45°和 75°等 6 个方向的特征度量，最后 为提高特征的完备性，本文将空域特征与频域特 征进行融合。 分类器通常采用人工神经网络，常用的有 BP 神经网络、支持向量机 (SVM) 等。经过许多 学者研究证实，在图像识别方面，SVM 比 BP 精度 更高，且不易陷入过拟合状态[9-12]。但是，由于 SVM 在高维空间中计算量远远大于 BP，因此，当 样本较多、特征维数较大时，SVM 速度较慢。本 文引入 BD(best distance) 优选 SVM 训练样本的算 法，一方面减少样本数，提高训练速度，另一方 面，优化样本质量，提高训练精度。 1 特征提取 1.1 空域特征 (xi , yi) (i = 0,1,··· ,n−1; j = 0,1,··· , m−1) ( ¯x, y¯) 1) 位置。由前面部分手势跟踪，可获取手势 的位置信息，用掌的面积中心表示。设手掌像素 的坐标为 ，其中 ，那么其质心 表示为 x = 1 mn ∑n−1 i=0 ∑m−1 j=0 xi , y = 1 mn ∑n−1 i=0 ∑m−1 j=0 yj 2) 长宽比。手所在的最小矩形，长度定义为 L，宽度定义为 W，长宽比 r 定义为 r = W/L 3) 矩形度。手势所占面积 S0 与最小外接矩 形面积 Sm 之比。矩形度 a 表示为 a = S 0/S m N × M f(x, y) (p+q) 4) Hu 矩特征。Hu 矩特征主要描述图像旋转 的不变性，包含 7 个分量。对于一幅 的图像 ，则其 阶矩为 Mpq = ∑M x=1 ∑N y=1 x p y q f (x, y) 通过计算函数的重心，得到： x¯ = M10/M00, y¯ = M01/M00 对中心矩进行归一化后，使用二阶和三阶矩 构造 7 个 h 分量矩： h1 = η20 +η02 h2 = (η20 −η02) 2 +4η11 2 h3 = (η30 −3η12) 2 +(3η21 −η03) 2 h4 = (η30 +η12) 2 +(η21 +η03) 2 h5 = (η03 −3η12) (η30 +η12)+ [ (η30 +3η12) 2 − 3(η21 +η03) 2 ] (3η21 −η0) (η21 +η03)· [ 3(η30 +η12) 2 −(η21 +η03) 2 ] h6 = (η20 −η02) [ (η30 +η12) 2 −(η21 +η03) 2 ] + 4η11 (η30 +η12) (η21 +η03) h7 = (3η21 −η03) (η30 +η12) [ (η30 +η12) 2 − 3(η21 +η03) 2 ] +(3η21 −η30) (η21 +η03)· [ 3(η30 +η12) 2 −(η21 +η03) 2 ] 1.2 单位的书写规则 用函数 ψh(t) 和 ψg(t) 将对偶树复小波定义为 ψc (t) = ψh (t)+ jψg (t) 且满足希尔伯特变换，即： ψg (ω) = { −jψh (ω), ω > 0 ψh (ω), ω < 0 用树 A 和树 B 表示，结构图如图 1 所示。 2 2 2 2 2 2 2 2 树A 树B h0(n) h0(n) h1(n) h1(n) g1(n) g1(n) g0(n) g0(n) 图 1 对偶树复小波变换结构图 Fig. 1 Dual tree complex wavelet transform structure ·620· 智 能 系 统 学 报 第 13 卷
第4期 贾鹤鸣，等：对偶树复小波与空域信息的手势识别分类研究 ·621· 通过()=(0+冰.()，计算二维对偶树复小 (d攻，d),具体表示如下： 波变换： 业(x,y)=山(x)业y)= =∑d [也a(x)+j沙(x[少ay)+j沙]= 店-∑da) a(x)hy)-山g(x)山y)+ j[(x)中a)+少()y] 则存在临界值c和c2,使得P(d>c)=t, 输入图像后，采用滤波器ho(m)与h1(m)、o(m)与 P(dc,d<c g1(m)进行两步分解操作，获得每个子带对应的系 的4点。算法设计的具体步骤如下。 数，通过做差求取对偶树复小波变换的低频分量 1)设置比例系数(0<K1)。 和高频分量。对偶树复小波变换后，实部与虚部 2)在高维空间中，按照式(1)计算距离矩阵 分量方向相同，因此可进行6个方向的度量，分别 D=((dij)balo 1 1 对应-75°、-45°、-15°、75°、45°、15，如图2所示。 3)令= Ferxi,I = er1,计算平均距离矩 阵v=] V21V22 4)对矩阵V进行按序排列，其中，V,和V22 降序，V2和1升序，提取1个样本，得到新的训 (a)-75 (b)-45° 练样本集TwI。 5)在新样本集上利用SVM建立模型，并进行 测试。 3结果与分析 (c)-15 (d15° 3.1特征提取 静态手势识别选取60幅“19”手势的图像作 为训练样本，30幅作为测试样本。包括空域及频 域特征提取，BD-SVM分类器精度，输出识别正 确率和分类时间。 (e)45 ()75° 进行空域特征提取，首先需对输入的图像进 行预处理，然后进行分割和检测，最后，计算相应 图2对偶树复小波变换的6个方向性 的空域特征。某一样本“1~9”手势的预处理后的 Fig.2 Six directions of dual tree complex wavelet trans- 图像及分割检测后的图像如图3所示。 form 2BD-SVM分类器 根据传统SVM算法原理，根据几何特征，支 (a)手势1 持向量即同类距离最小，异类距离最大的两类样 本，若训练样本未进行优化，则寻找支持向量的 过程就会耗时严重，因此，改进思路聚集在对训 练样本的几何特征上。本文将训练样本的点间距 (b)手势2 离作为度量，通过优化训练样本集，提高SVM的 训练速度，也因样本集的品质提高，从而间接提 高分类器的识别精度。具体数学描述如下。 将样本点分布于空间中，定义任意两点的距 离为 (c)手势3 d(,x)=V(x-x)(e-x)= (1) 2-2K(xx) 高维空间点定义为，则对应一对距离值 (d手势4
通过 ψ(t) = ψh(t)+ jψg(t) ，计算二维对偶树复小 波变换： ψ(x, y) = ψ(x)ψ(y) = [ ψh (x)+ jψg (x) ] [ψh (y)+ jψg (y) ] = ψh (x)ψh (y)−ψg (x)ψg (y)+ j [ ψg (x)ψh (y)+ψh (x)ψg (y) ] h0(n) h1(n) g0(n) g1(n) −75◦ −45◦ −15◦ 75◦ 45◦ 15◦ 输入图像后，采用滤波器 与 、 与 进行两步分解操作，获得每个子带对应的系 数，通过做差求取对偶树复小波变换的低频分量 和高频分量。对偶树复小波变换后，实部与虚部 分量方向相同，因此可进行 6 个方向的度量，分别 对应 、 、 、 、 、 ，如图 2 所示。 2 BD-SVM 分类器 根据传统 SVM 算法原理，根据几何特征，支 持向量即同类距离最小，异类距离最大的两类样 本，若训练样本未进行优化，则寻找支持向量的 过程就会耗时严重，因此，改进思路聚集在对训 练样本的几何特征上。本文将训练样本的点间距 离作为度量，通过优化训练样本集，提高 SVM 的 训练速度，也因样本集的品质提高，从而间接提 高分类器的识别精度。具体数学描述如下。 将样本点分布于空间中，定义任意两点的距 离为 d ( xi , xj ) = √( xi − xj )T ( xi − xj ) = √ 2−2K ( xi , xj ) (1) 高维空间点定义为 zk，则 zk对应一对距离值 (d + k ,d − k ) ，具体表示如下： d + k = 1 l + ∑ d (zk , xi) d − k = 1 l − ∑ d ( zk , xj ) c1 c2 P ( d + k > c1 ) = t P ( d − k c1,d − k < c2 } zk 则存在临界值 和 ，使得 ， ，支持向量就是满足 的 点。算法设计的具体步骤如下。 1) 设置比例系数 t(0<t<1)。 D = {(di j)l×l} 2) 在高维空间中，按照式 (1) 计算距离矩阵 。 Il + = 1 l + el +×1 Il − = 1 l − el −×1 V = [ V11 V12 V21 V22 ] (l +l −)×2 3) 令 ， ，计算平均距离矩 阵 。 |T new| 4) 对矩阵 V 进行按序排列，其中，V11 和 V22 降序，V12 和 V21 升序，提取 l·t 个样本，得到新的训 练样本集 。 5) 在新样本集上利用 SVM 建立模型，并进行 测试。 3 结果与分析 3.1 特征提取 静态手势识别选取 60 幅“1~9”手势的图像作 为训练样本，30 幅作为测试样本。包括空域及频 域特征提取， BD-SVM 分类器精度，输出识别正 确率和分类时间。 进行空域特征提取，首先需对输入的图像进 行预处理，然后进行分割和检测，最后，计算相应 的空域特征。某一样本“1~9”手势的预处理后的 图像及分割检测后的图像如图 3 所示。 (a) −75° (b) −45° (c) −15° (d) 15° (e) 45° (f) 75° 图 2 对偶树复小波变换的 6 个方向性 Fig. 2 Six directions of dual tree complex wavelet transform (a) 手势1 (b) 手势2 (c) 手势3 (d) 手势4 第 4 期 贾鹤鸣，等：对偶树复小波与空域信息的手势识别分类研究 ·621·
·622- 智能系统学报 第13卷 样本的“19”手势的特征，如表1所示。 对偶树复小波具有平移不变性和方向多样化 的特性，按照对偶树复小波变换进行频域特征提 (e)手势5 取，dtwavexfm:2函数中可以选择4个滤波器，本文 选legall,进行变换分解。 以其中一幅手势图像为例，对偶树复小波特 征提取的结果如下。某一示例图像“1”如图4所 ()手势6 示，其他“2~9”手势特征提取过程相同。 (g)手势7 图4示例图像 (h)手势8 Fig.4 Sample image 经过分解后的结果如图5所示。 ()手势9 图3“1~9”手势图像及分割检测图像 Fig.3 "1~9"gesture image and split detection image 场场9 按照前文给出的公式，计算空域特征，包括位 图5分析结果 置、长宽比、矩形度、Hu矩的7个分量。取某一 Fig.5 Results of the analysis 表1某一样本“1~9”手势的特征提取 Table 1 The feature extraction of a sample "1~9"gesture 特征 3 6 7 P 9 水平位置 91.17 111.32 145.21 144.29 126.43 114.07 136.97 129.64 119.11 竖直位置 180.70 199.94 209.10 216.43 216.43 185.29 157.81 169.26 170.17 长宽比 0.49 0.55 0.71 0.72 0.86 0.71 1.15 1.15 0.53 矩形度 0.55 0.55 0.43 0.50 0.47 0.63 0.56 0.48 0.62 Hul -0.64 -0.56 0.56 -0.60 -0.61 -0.71 -0.72 -0.71 -0.64 Hu2 -1.75 -1.51 -1.62 -1.75 -2.29 -2.35 -2.03 -2.25 -1.72 Hu3 -2.23 -2.27 -2.90 -2.74 -3.15 -3.29 -3.25 -3.20 -2.80 Hu4 -2.57 -2.50 -3.02 -3.35 -3.03 -3.65 -4.29 -3.59 -3.46 Hu5 -4.47 -4.61 -5.85 -6.44 -5.81 -7.68 -7.36 6.56 -6.24 Hu6 -3.45 -3.26 -3.85 -4.35 4.17 -_4.90 -5.39 -5.01 -4.46 Hu7 -5.48 -5.46 -6.20 6.94 -8.61 6.70 -7.50 6.85 -7.53 选取高频分量输出的16×16矩阵，作为该手 分类精度。 势图像的特征参数，方便计算，将该矩阵进行归 3.2BD-SVM识别结果 一化处理，然后，取主对角线元素作为特征，共计 本节主要测试手势“1~9”的识别效果。利用 16个分量。 BD算法优化训练样本，设置BD-SVM的比例系 对于每个样本，将空域特征的11个分量与频 数1为0.3，然后，将新的训练样本作为SVM训练 域的16个分量进行融合，组成新的矢量，则新矢 集，最后，选取线性核函数、多项式核函数和径向 量的维度为27，然后，以60个样本作为训练集， 基核函数分别进行实验。y设置为01，惩罚参数 输入分类器中训练，30个样本预测集，用于验证 设置为10，具体实验结果如下所示
按照前文给出的公式，计算空域特征，包括位 置、长宽比、矩形度、Hu 矩的 7 个分量。取某一 样本的“1~9”手势的特征，如表 1 所示。 对偶树复小波具有平移不变性和方向多样化 的特性，按照对偶树复小波变换进行频域特征提 取，dtwavexfm2 函数中可以选择 4 个滤波器，本文 选 legall，进行变换分解。 以其中一幅手势图像为例，对偶树复小波特 征提取的结果如下。某一示例图像“1”如图 4 所 示，其他“2~9”手势特征提取过程相同。 图 4 示例图像 Fig. 4 Sample image 经过分解后的结果如图 5 所示。 图 5 分析结果 Fig. 5 Results of the analysis 选取高频分量输出的 16×16 矩阵，作为该手 势图像的特征参数，方便计算，将该矩阵进行归 一化处理，然后，取主对角线元素作为特征，共计 16 个分量。 对于每个样本，将空域特征的 11 个分量与频 域的 16 个分量进行融合，组成新的矢量，则新矢 量的维度为 27，然后，以 60 个样本作为训练集， 输入分类器中训练，30 个样本预测集，用于验证 分类精度。 3.2 BD-SVM 识别结果 本节主要测试手势“1~9”的识别效果。利用 BD 算法优化训练样本，设置 BD-SVM 的比例系 数 t 为 0.3，然后，将新的训练样本作为 SVM 训练 集，最后，选取线性核函数、多项式核函数和径向 基核函数分别进行实验。γ 设置为 0.1，惩罚参数 设置为 10，具体实验结果如下所示。 表 1 某一样本“1~9”手势的特征提取 Table 1 The feature extraction of a sample “1~9” gesture 特征 1 2 3 4 5 6 7 8 9 水平位置 91.17 111.32 145.21 144.29 126.43 114.07 136.97 129.64 119.11 竖直位置 180.70 199.94 209.10 216.43 216.43 185.29 157.81 169.26 170.17 长宽比 0.49 0.55 0.71 0.72 0.86 0.71 1.15 1.15 0.53 矩形度 0.55 0.55 0.43 0.50 0.47 0.63 0.56 0.48 0.62 Hu1 –0.64 –0.56 –0.56 –0.60 –0.61 –0.71 –0.72 –0.71 –0.64 Hu2 –1.75 –1.51 –1.62 –1.75 –2.29 –2.35 –2.03 –2.25 –1.72 Hu3 –2.23 –2.27 –2.90 –2.74 –3.15 –3.29 –3.25 –3.20 –2.80 Hu4 –2.57 –2.50 –3.02 –3.35 –3.03 –3.65 –4.29 –3.59 –3.46 Hu5 –4.47 –4.61 –5.85 –6.44 –5.81 –7.68 –7.36 –6.56 –6.24 Hu6 –3.45 –3.26 –3.85 –4.35 –4.17 –4.90 –5.39 –5.01 –4.46 Hu7 –5.48 –5.46 –6.20 –6.94 –8.61 –6.70 –7.50 –6.85 –7.53 (e) 手势5 (f) 手势6 (g) 手势7 (h) 手势8 (i) 手势9 图 3 “1~9”手势图像及分割检测图像 Fig. 3 "1~9" gesture image and split detection image ·622· 智 能 系 统 学 报 第 13 卷
第4期 贾鹤鸣，等：对偶树复小波与空域信息的手势识别分类研究 ·623· 样本优选过程进行二维可视化后，如图6所示。 最高，运算速度也较快，因此，进行静态手势识 0.8 别，采用径向基核函数。 0.7 表4径向基核函数识别结果 Table 4 Radial basis kernel function recognition result 0.6 05 结果 正确率%时间/s 结果 正确率%时间/s 0.4 手势1 90 0.027 手势6 89 0.027 。++ + 0.3 手势2 89 0.028 手势7 88 0.025 0.2 手势3 92 0.026 手势8 90 0.028 + 0 02 0.3 手势4 93 0.026 手势9 91 0.025 0.40.50.60.70.8 手势5 91 0.027 图6优选的训练样本 Fig.6 Preferred training samples 4 结束语 圈内的样本为优选后的样本，作为新的训练 集，挑选出46个新的训练样本。 本文主要采用空域特征和对偶树复小波相融 对于每个核函数，输出识别精度和识别时间， 合的特征，空域特征包含水平位置、竖直位置、长 最后计算平均正确率和平均识别时间。采用线性 宽比、矩形度、Hu矩7个分量，计11维特征，频 核函数的识别结果如表2所示。 域特征采用对偶树复小波变换的16维特征，特征 融合后，共计27维特征；采用BD算法进行训练 表2线性核函数识别结果 Table 2 Linear kernel function recognition result 样本优选，优选出46个新的训练样本，再将新的 训练样本进行SVM分类器的训练，实验表明，采 结果 正确率% 时间/s 结果 正确率%时间/s 用径向基核函数识别精度最高，速度最快，“1~9” 手势1 82 0.021 手势6 81 0.022 的静态手势识别效果最好。 手势2 84 0.023 手势7 80 0.022 手势3 参考文献： 86 0.021 手势8 83 0.024 手势4 87 0.021 手势9 88 0.021 [1]BARROS P,PARISI G I,JIRAK D,et al.Real-time ges- 手势5 85 0.023 ture recognition using a humanoid robot with a deep neur- al architecture[C]//2014 14th IEEE-RAS International 由表2得出，线性核函数的平均正确率为84%， Conference on Humanoid Robots.Madrid,Spain,2014 平均识别时间为0.022s。 646-651. 采用多项式核函数的识别结果如表3所示。 [2]DAVIS CC.Chronicler of the cavaliers:Some letters from 由表3得出，线性核函数的平均正确率为86.67%， and to William Alexander Caruthers,M.D.(1802-1846) 平均识别时间为0.032s。 [J].The Virginia magazine of history and biography,1947, 55(3:213-232. 表3多项式核函数识别结果 [3]MIYASHITA T,SHINOZAWA K.HAGITA N.Gesture Table 3 Polynomial kernel function recognition result translation for heterogeneous robots[C]//2006 6th IEEE- 结果 正确率% 时间/s 结果 正确率%时间/S RAS International Conference on Humanoid Robots.Gen- 手势1 85 0.032 手势6 88 0.033 ova,Italy,2006:462-467. 手势2 [4]KAPUSCINSKI T,OSZUST M,WYSOCKI M.Hand ges- 86 0.030 手势7 89 0.032 ture recognition using time-of-flight camera and viewpoint 手势3 导 0.033 手势8 84 0.033 feature histogram[M]//KORBICZ J,KOWAL M(eds).In- 手势4 0.032 手势9 87 0.033 telligent Systems in Technical and Medical Diagnostics. 手势5 0.031 Berlin,Germany:Springer,2014:403-414 [S]谭台哲，韩亚伟，邵阳.基于RGB-D图像的手势识别方 采用径向基核函数的识别结果如表4所示。 法).计算机工程与设计，2018,39(2：511-515. 由表4得出，线性核函数的平均正确率为90.33%， TAN Taizhe,HAN Yawei,SHAO Yang.Gesture recogni- 平均识别时间为0.026s。 tion method based on RGB-D image[J].Computer engin- 通过实验得出，选择径向基核函数的识别率 eering and design,2018,39(2):511-515
样本优选过程进行二维可视化后，如图 6 所示。 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.2 0.3 0.4 0.5 0.6 0.7 0.8 x y 图 6 优选的训练样本 Fig. 6 Preferred training samples 圈内的样本为优选后的样本，作为新的训练 集，挑选出 46 个新的训练样本。 对于每个核函数，输出识别精度和识别时间， 最后计算平均正确率和平均识别时间。采用线性 核函数的识别结果如表 2 所示。 表 2 线性核函数识别结果 Table 2 Linear kernel function recognition result 结果 正确率/% 时间/s 结果 正确率/% 时间/s 手势 1 82 0.021 手势 6 81 0.022 手势 2 84 0.023 手势 7 80 0.022 手势 3 86 0.021 手势 8 83 0.024 手势 4 87 0.021 手势 9 88 0.021 手势 5 85 0.023 由表 2 得出，线性核函数的平均正确率为 84%， 平均识别时间为 0.022 s。 采用多项式核函数的识别结果如表 3 所示。 由表 3 得出，线性核函数的平均正确率为 86.67%， 平均识别时间为 0.032 s。 表 3 多项式核函数识别结果 Table 3 Polynomial kernel function recognition result 结果 正确率/% 时间/s 结果 正确率/% 时间/s 手势 1 85 0.032 手势 6 88 0.033 手势 2 86 0.030 手势 7 89 0.032 手势 3 88 0.033 手势 8 84 0.033 手势 4 87 0.032 手势 9 87 0.033 手势 5 86 0.031 采用径向基核函数的识别结果如表 4 所示。 由表 4 得出，线性核函数的平均正确率为 90.33%， 平均识别时间为 0.026 s。 通过实验得出，选择径向基核函数的识别率 最高，运算速度也较快，因此，进行静态手势识 别，采用径向基核函数。 表 4 径向基核函数识别结果 Table 4 Radial basis kernel function recognition result 结果 正确率/% 时间/s 结果 正确率/% 时间/s 手势 1 90 0.027 手势 6 89 0.027 手势 2 89 0.028 手势 7 88 0.025 手势 3 92 0.026 手势 8 90 0.028 手势 4 93 0.026 手势 9 91 0.025 手势 5 91 0.027 4 结束语 本文主要采用空域特征和对偶树复小波相融 合的特征，空域特征包含水平位置、竖直位置、长 宽比、矩形度、Hu 矩 7 个分量，计 11 维特征，频 域特征采用对偶树复小波变换的 16 维特征，特征 融合后，共计 27 维特征；采用 BD 算法进行训练 样本优选，优选出 46 个新的训练样本，再将新的 训练样本进行 SVM 分类器的训练，实验表明，采 用径向基核函数识别精度最高，速度最快，“1~9” 的静态手势识别效果最好。 参考文献： BARROS P, PARISI G I, JIRAK D, et al. Real-time gesture recognition using a humanoid robot with a deep neural architecture[C]//2014 14th IEEE-RAS International Conference on Humanoid Robots. Madrid, Spain, 2014: 646–651. [1] DAVIS C C. Chronicler of the cavaliers: Some letters from and to William Alexander Caruthers, M. D. (1802-1846) [J]. The Virginia magazine of history and biography, 1947, 55(3): 213–232. [2] MIYASHITA T, SHINOZAWA K, HAGITA N. Gesture translation for heterogeneous robots[C]//2006 6th IEEERAS International Conference on Humanoid Robots. Genova, Italy, 2006: 462–467. [3] KAPUŚCIŃSKI T, OSZUST M, WYSOCKI M. Hand gesture recognition using time-of-flight camera and viewpoint feature histogram[M]//KORBICZ J, KOWAL M (eds). Intelligent Systems in Technical and Medical Diagnostics. Berlin, Germany: Springer, 2014: 403–414 [4] 谭台哲, 韩亚伟, 邵阳. 基于 RGB-D 图像的手势识别方 法[J]. 计算机工程与设计, 2018, 39(2): 511–515. TAN Taizhe, HAN Yawei, SHAO Yang. Gesture recognition method based on RGB-D image[J]. Computer engineering and design, 2018, 39(2): 511–515. [5] 第 4 期 贾鹤鸣，等：对偶树复小波与空域信息的手势识别分类研究 ·623·
·624· 智能系统学报 第13卷 [6]刘淑萍，刘羽，於俊，等.结合手指检测和HOG特征的分 Computer Science and Information Technology.Cheng- 层静态手势识别[.中国图象图形学报，2015,20(6)： du,China,2010:347-350. 781-788. [12]周字晴，秦梦芝，马志宏.支持向量机和BP神经网络在 LIU Shuping,LIU Yu,YU Jun,et al.Hierarchical static 可见-近红外光谱检测药品中的比较与应用.天津农 hand gesture recognition by combining finger detection 学院学报，2016,232)：49-52. and HOG features[J].Journal of image and graphics,2015, ZHOU Yuqing,QIN Mengzhi,MA Zhihong.Comparis- 20(6):781-788. on and application of support vector machine and BP [7]赵磊，周亦敏.一种基于改进DTW-MP算法的手势识 neural network in visible-near infrared spectroscopy de- 别[.软件导刊，2017,16(11)少：12-15,21. tection of drugs[J].Journal of Tianjin agricultural uni- ZHAO Lei,ZHOU Yimin.A gesture recognition based on versity,2016,23(2):49-52 improved DTW-IMP algorithm[J].Software guide,2017, 16(11)少12-15,21. 作者简介： [8]薛乐，李立轻，汪军.应用频谱图的机织物纹理分析) 贾鹤鸣，男，1983年，副教授，博 纺织学报，2015,36(7)：55-60. 土，主要研究方向为非线性控制理论 XUE Le,LI Liqing,WANG Jun.Study on woven fabric 与信息检测技术。 texture using frequency spectrum[J].Journal of textile re- search,2015,36(7):55-60. [9]汪丹，张亚非.SVM和BP算法在气体识别中的对比研 究U.传感技术学报，2005,18(1)：201-204 WAN Dan,ZHANG Yafei.Research of Gas Classification 朱传旭，男，1993年，硕土研究 生，主要研究方向为智能控制与信息 Based on SVM Compared with BP[J].Journal of transcluc- 处理技术。 tion technology,2005,18(1):201-204. [10]陈浩，陈立辉，毕笃彦，等.BP网络和支持向量机在非 线性函数逼近中的应用[).航空计算技术，2004,34(3)： 27-30. CHEN Hao,CHEN Lihui,BI Duyan,et al.The appliance 张森，男，1994年，硕士研究生， of BP-network and SVM in approach of non-linear func- 主要研究方向为智能控制与检测技术。 tion[J].Aeronautical Computer Technique,2004,34(3): 27-30. [11]LIANG Haonan,ZHANG Hanqi.Identification of slope stability based on the contrast of BP neural network and SVM[C]//2010 3rd IEEE International Conference on
刘淑萍, 刘羽, 於俊, 等. 结合手指检测和 HOG 特征的分 层静态手势识别[J]. 中国图象图形学报, 2015, 20(6): 781–788. LIU Shuping, LIU Yu, YU Jun, et al. Hierarchical static hand gesture recognition by combining finger detection and HOG features[J]. Journal of image and graphics, 2015, 20(6): 781–788. [6] 赵磊, 周亦敏. 一种基于改进 DTW-IMP 算法的手势识 别[J]. 软件导刊, 2017, 16(11): 12–15, 21. ZHAO Lei, ZHOU Yimin. A gesture recognition based on improved DTW-IMP algorithm[J]. Software guide, 2017, 16(11): 12–15, 21. [7] 薛乐, 李立轻, 汪军. 应用频谱图的机织物纹理分析[J]. 纺织学报, 2015, 36(7): 55–60. XUE Le, LI Liqing, WANG Jun. Study on woven fabric texture using frequency spectrum[J]. Journal of textile research, 2015, 36(7): 55–60. [8] 汪丹, 张亚非. SVM 和 BP 算法在气体识别中的对比研 究[J]. 传感技术学报, 2005, 18(1): 201–204. WAN Dan, ZHANG Yafei. Research of Gas Classification Based on SVM Compared with BP[J]. Journal of transcluction technology, 2005, 18(1): 201–204. [9] 陈浩, 陈立辉, 毕笃彦, 等. BP 网络和支持向量机在非 线性函数逼近中的应用[J]. 航空计算技术, 2004, 34(3): 27–30. CHEN Hao, CHEN Lihui, BI Duyan, et al. The appliance of BP-network and SVM in approach of non-linear function[J]. Aeronautical Computer Technique, 2004, 34(3): 27–30. [10] LIANG Haonan, ZHANG Hanqi. Identification of slope stability based on the contrast of BP neural network and SVM[C]//2010 3rd IEEE International Conference on [11] Computer Science and Information Technology. Chengdu, China, 2010: 347–350. 周宇晴, 秦梦芝, 马志宏. 支持向量机和 BP 神经网络在 可见-近红外光谱检测药品中的比较与应用[J]. 天津农 学院学报, 2016, 23(2): 49–52. ZHOU Yuqing, QIN Mengzhi, MA Zhihong. Comparison and application of support vector machine and BP neural network in visible-near infrared spectroscopy detection of drugs[J]. Journal of Tianjin agricultural university, 2016, 23(2): 49–52. [12] 作者简介： 贾鹤鸣，男，1983 年，副教授，博 士，主要研究方向为非线性控制理论 与信息检测技术。 朱传旭，男，1993 年，硕士研究 生，主要研究方向为智能控制与信息 处理技术。 张森，男，1994 年，硕士研究生， 主要研究方向为智能控制与检测技术。 ·624· 智 能 系 统 学 报 第 13 卷