第10卷第3期 智能系统学报 Vol.10 No.3 2015年6月 CAAI Transactions on Intelligent Systems Jun.2015 D0:10.3969/j.issn.1673-4785.201405054 网络出版地址：http://www.cnki.net/kcms/detail/23.1538.tp.20150604.0838.001.html 基于空间金字塔特征包的手势识别算法 余思泉，曹江涛，李平1，姬晓飞2 (1.辽宁石油化工大学信息与控制工程学院，辽宁抚顺113001：2.沈阳航空航天大学自动化学院，辽宁沈阳 110136) 摘要：为了解决基于尺度不变特征变换的特征包(BF-SFT)算法在描述手势图像特征时对特征点分布情况无法 确定的问题，提出了空间金字塔特征包算法提取手势图像特征。该算法通过构造图像金字塔改善了传统的BF ST算法，生成的描述子能有效表征手势图像的局部特征和全局特征，并能表示图像特征点的分布特性。采用直方 图相交核支持向量机进行手势识别。在标准数据库上的测试表明，该算法对于10种手语得到了92.92%的正确识别 率，验证了算法的有效性。 关键词：手势识别：手势图像：尺度不变特征变换；空间金字塔：特征包：直方图相交核：支持向量机 中图分类号：TP319文献标志码：A文章编号：1673-4785(2015)03-0429-07 中文引用格式：余思泉，曹江涛，李平，等.基于空间金字塔特征包的手势识别算法[J].智能系统学报，2015,10(3)：429-435. 英文引用格式：YU Siquan,CAO Jiangtao,LI Ping,etal.Hand gesture recognition based on the spatial pyramid bag of features [J].CAAI Transactions on Intelligent Systems,2015,10(3):429-435. Hand gesture recognition based on the spatial pyramid bag of features YU Siquan',CAO Jiangtao',LI Ping',JI Xiaofei2 (1.School of Information and Control Engineering,Liaoning Shihua University,Fushun 113001,China;2.School of Automation, Shenyang Aerospace University,Shenyang 110136,China) Abstract:A novel algorithm based on the spatial pyramid bag of features is proposed to describe the hand im- age.It is proposed in order to solve the problem that the distribution of feature points cannot be ascertained when using the hand gesture descriptor based on bag of feature of scale invariant feature transform BoF- SIFT).The capability of the BoF-SIFT can be improved by generating image spatial pyramid.The descriptor can effectively represent the posture by combining the global features and local features of the gesture image,as well as the distribution character of image feature points.Finally,the hand posture recognition is achieved by using the histogram intersection kernel support vector machine (SVM).The experiment on standard database demonstrates the average recognition rate can reach 92.92%for 10 kinds of gestures recognition,verifying the efficiency and effectiveness of the proposed algorithm. Keywords:hand gesture recognition;hand gesture image;scale invariant feature transform(SIFT);spatial pyra- mid;bag of features;histogram intersection kernel;support vector machines (SVM) 随着计算机和人工智能技术的发展，人机交互 人类能够利用包括自然语言、手势语言、面部表情在 的研究方向正朝实现拟人化的方向发展。目的是使 内的人类自然、直观的方式实现人机交互。手势作 收稿日期：2014-05-26.网络出版日期：2015-06-04 为一种智能的人机交互接口，十分适用于对复杂的 基金项目：国家自然科学基金资助项目(61103123). 交互系统做出反应。基于视觉的手势识别算法研 通信作者：曹江涛.E-mail:jtcao@lpu.cdu.cmn.第 １０ 卷第 ３ 期 智 能 系 统 学 报 Ｖｏｌ．１０ №．３ ２０１５ 年 ６ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ｊｕｎ． ２０１５ ＤＯＩ：１０．３９６９ ／ ｊ．ｉｓｓｎ．１６７３⁃４７８５．２０１４０５０５４ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ｔｐ．２０１５０６０４．０８３８．００１．ｈｔｍｌ 基于空间金字塔特征包的手势识别算法 余思泉１ ，曹江涛１ ，李平１ ，姬晓飞２ （１．辽宁石油化工大学 信息与控制工程学院，辽宁 抚顺 １１３００１；２．沈阳航空航天大学 自动化学院，辽宁 沈阳 １１０１３６） 摘 要：为了解决基于尺度不变特征变换的特征包（ＢｏＦ⁃ＳＩＦＴ）算法在描述手势图像特征时对特征点分布情况无法 确定的问题，提出了空间金字塔特征包算法提取手势图像特征。 该算法通过构造图像金字塔改善了传统的 ＢｏＦ⁃ ＳＩＦＴ 算法，生成的描述子能有效表征手势图像的局部特征和全局特征，并能表示图像特征点的分布特性。 采用直方 图相交核支持向量机进行手势识别。 在标准数据库上的测试表明，该算法对于 １０ 种手语得到了 ９２．９２％的正确识别 率，验证了算法的有效性。 关键词：手势识别；手势图像；尺度不变特征变换；空间金字塔；特征包；直方图相交核；支持向量机 中图分类号：ＴＰ３１９ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１５）０３⁃０４２９⁃０７ 中文引用格式：余思泉，曹江涛，李平，等． 基于空间金字塔特征包的手势识别算法［Ｊ］． 智能系统学报， ２０１５， １０（３）： ４２９⁃４３５． 英文引用格式：ＹＵ Ｓｉｑｕａｎ， ＣＡＯ Ｊｉａｎｇｔａｏ， ＬＩ Ｐｉｎｇ， ｅｔ ａｌ． Ｈａｎｄ ｇｅｓｔｕｒｅ ｒｅｃｏｇｎｉｔｉｏｎ ｂａｓｅｄ ｏｎ ｔｈｅ ｓｐａｔｉａｌ ｐｙｒａｍｉｄ ｂａｇ ｏｆ ｆｅａｔｕｒｅｓ ［Ｊ］． ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ， ２０１５， １０（３）： ４２９⁃４３５． Ｈａｎｄ ｇｅｓｔｕｒｅ ｒｅｃｏｇｎｉｔｉｏｎ ｂａｓｅｄ ｏｎ ｔｈｅ ｓｐａｔｉａｌ ｐｙｒａｍｉｄ ｂａｇ ｏｆ ｆｅａｔｕｒｅｓ ＹＵ Ｓｉｑｕａｎ １ ， ＣＡＯ Ｊｉａｎｇｔａｏ １ ， ＬＩ Ｐｉｎｇ １ ， ＪＩ Ｘｉａｏｆｅｉ ２ （１． Ｓｃｈｏｏｌ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｃｏｎｔｒｏｌ Ｅｎｇｉｎｅｅｒｉｎｇ， Ｌｉａｏｎｉｎｇ Ｓｈｉｈｕａ Ｕｎｉｖｅｒｓｉｔｙ， Ｆｕｓｈｕｎ １１３００１， Ｃｈｉｎａ； ２． Ｓｃｈｏｏｌ ｏｆ Ａｕｔｏｍａｔｉｏｎ， Ｓｈｅｎｙａｎｇ Ａｅｒｏｓｐａｃｅ Ｕｎｉｖｅｒｓｉｔｙ， Ｓｈｅｎｙａｎｇ １１０１３６， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ａ ｎｏｖｅｌ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ ｔｈｅ ｓｐａｔｉａｌ ｐｙｒａｍｉｄ ｂａｇ ｏｆ ｆｅａｔｕｒｅｓ ｉｓ ｐｒｏｐｏｓｅｄ ｔｏ ｄｅｓｃｒｉｂｅ ｔｈｅ ｈａｎｄ ｉｍ⁃ ａｇｅ． Ｉｔ ｉｓ ｐｒｏｐｏｓｅｄ ｉｎ ｏｒｄｅｒ ｔｏ ｓｏｌｖｅ ｔｈｅ ｐｒｏｂｌｅｍ ｔｈａｔ ｔｈｅ ｄｉｓｔｒｉｂｕｔｉｏｎ ｏｆ ｆｅａｔｕｒｅ ｐｏｉｎｔｓ ｃａｎｎｏｔ ｂｅ ａｓｃｅｒｔａｉｎｅｄ ｗｈｅｎ ｕｓｉｎｇ ｔｈｅ ｈａｎｄ ｇｅｓｔｕｒｅ ｄｅｓｃｒｉｐｔｏｒ ｂａｓｅｄ ｏｎ ｂａｇ ｏｆ ｆｅａｔｕｒｅ ｏｆ ｓｃａｌｅ ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ （ ＢｏＦ⁃ ＳＩＦＴ） ． Ｔｈｅ ｃａｐａｂｉｌｉｔｙ ｏｆ ｔｈｅ ＢｏＦ⁃ＳＩＦＴ ｃａｎ ｂｅ ｉｍｐｒｏｖｅｄ ｂｙ ｇｅｎｅｒａｔｉｎｇ ｉｍａｇｅ ｓｐａｔｉａｌ ｐｙｒａｍｉｄ． Ｔｈｅ ｄｅｓｃｒｉｐｔｏｒ ｃａｎ ｅｆｆｅｃｔｉｖｅｌｙ ｒｅｐｒｅｓｅｎｔ ｔｈｅ ｐｏｓｔｕｒｅ ｂｙ ｃｏｍｂｉｎｉｎｇ ｔｈｅ ｇｌｏｂａｌ ｆｅａｔｕｒｅｓ ａｎｄ ｌｏｃａｌ ｆｅａｔｕｒｅｓ ｏｆ ｔｈｅ ｇｅｓｔｕｒｅ ｉｍａｇｅ， ａｓ ｗｅｌｌ ａｓ ｔｈｅ ｄｉｓｔｒｉｂｕｔｉｏｎ ｃｈａｒａｃｔｅｒ ｏｆ ｉｍａｇｅ ｆｅａｔｕｒｅ ｐｏｉｎｔｓ． Ｆｉｎａｌｌｙ， ｔｈｅ ｈａｎｄ ｐｏｓｔｕｒｅ ｒｅｃｏｇｎｉｔｉｏｎ ｉｓ ａｃｈｉｅｖｅｄ ｂｙ ｕｓｉｎｇ ｔｈｅ ｈｉｓｔｏｇｒａｍ ｉｎｔｅｒｓｅｃｔｉｏｎ ｋｅｒｎｅｌ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ （ ＳＶＭ） ． Ｔｈｅ ｅｘｐｅｒｉｍｅｎｔ ｏｎ ｓｔａｎｄａｒｄ ｄａｔａｂａｓｅ ｄｅｍｏｎｓｔｒａｔｅｓ ｔｈｅ ａｖｅｒａｇｅ ｒｅｃｏｇｎｉｔｉｏｎ ｒａｔｅ ｃａｎ ｒｅａｃｈ ９２．９２％ ｆｏｒ １０ ｋｉｎｄｓ ｏｆ ｇｅｓｔｕｒｅｓ ｒｅｃｏｇｎｉｔｉｏｎ， ｖｅｒｉｆｙｉｎｇ ｔｈｅ ｅｆｆｉｃｉｅｎｃｙ ａｎｄ ｅｆｆｅｃｔｉｖｅｎｅｓｓ ｏｆ ｔｈｅ ｐｒｏｐｏｓｅｄ ａｌｇｏｒｉｔｈｍ． Ｋｅｙｗｏｒｄｓ：ｈａｎｄ ｇｅｓｔｕｒｅ ｒｅｃｏｇｎｉｔｉｏｎ； ｈａｎｄ ｇｅｓｔｕｒｅ ｉｍａｇｅ； ｓｃａｌｅ ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ （ＳＩＦＴ）； ｓｐａｔｉａｌ ｐｙｒａ⁃ ｍｉｄ； ｂａｇ ｏｆ ｆｅａｔｕｒｅｓ； ｈｉｓｔｏｇｒａｍ ｉｎｔｅｒｓｅｃｔｉｏｎ ｋｅｒｎｅｌ； ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅｓ （ＳＶＭ） 收稿日期：２０１４⁃０５⁃２６． 网络出版日期：２０１５⁃０６⁃０４． 基金项目：国家自然科学基金资助项目（６１１０３１２３）． 通信作者：曹江涛． Ｅ⁃ｍａｉｌ： ｊｔｃａｏ＠ ｌｎｐｕ．ｅｄｕ．ｃｎ． 随着计算机和人工智能技术的发展，人机交互 的研究方向正朝实现拟人化的方向发展。 目的是使 人类能够利用包括自然语言、手势语言、面部表情在 内的人类自然、直观的方式实现人机交互。 手势作 为一种智能的人机交互接口，十分适用于对复杂的 交互系统做出反应。 基于视觉的手势识别算法研