第10卷第4期 智能系统学报 Vol.10 No.4 2015年8月 CAAI Transactions on Intelligent Systems Feh.2015 D0:10.3969/j.issn.1673-4785.201403032 网s络出版地址：http:/www.cnki.net/kcms/detail/23.1538.TP.20150720.0911.002.html 基于改进逆向运动学的人体运动跟踪 赵军2，於俊2，汪增福23 (1.中国科学技术大学信息学院自动化系，安徽合肥230026：2.语音及语言信息处理国家工程实验室，安徽合肥 230026:3.中国科学院合肥智能机械研究所，安徽合肥230026) 摘要：随着人们对智能系统需求逐年增高，基于视觉的运动研究引起计算机视觉领域工作者更多的关注。这使它 成为模式识别、行为学、行为处理分析与处理等学科的研究热门。现存算法存在需要标记、相机标定等各种约束条 件，不能满足人们对人体运行跟踪的需求。论述了一种结合改进逆向运动学和图像模板匹配算法的人体运动位置 的跟踪方法。该算法以改进逆向运动学为框架，首先依据逆向运动学知识与正向运动学知识计算出的关节点的粗 略位置，对外观模型的各个模块进行模板匹配，接着确定关节点的最优位置，然后确定关节点的三维坐标值，最后重 构得到三维动作序列。实验表明，在主观视觉感受与客观衡量标准两方面，此算法获得的实验结果都能够逼近乃至 达到人体运动跟踪领域的最佳水准。 关键词：改进逆向运动学；基于视觉人体运动跟踪：模板匹配；计算机视觉；用户接口 中图分类号：TH186文献标志码：A文章编号：1673-4785(2015)04-0548-07 中文引用格式：赵军，於俊，汪增福.基于改进逆向运动学的人体运动跟踪[J].智能系统学报，2015,10(4)：548-554. 英文引用格式：.ZHAO Jun,YUJun,WANG Zengfu..Human motion tracking based on an improved inverse kinematics[J】.CAAl Transactions on Intelligent Systems,2015,10(4):548-554. Human motion tracking based on an improved inverse kinematics ZHAO Jun'2,YU Jun'.2,WANG Zengfu'.2.3 (1.Department of Automation,University of Science and Technology of China,Hefei 230027,China;2.National Laboratory of Speech and Language Information Processing,Hefei 230027,China;3.Institute of Intelligent Machine,Chinese Academy of Sciences,Hefei 230027.China) Abstract:With the rising demand for intelligent systems,the study of vision-based human motion is drawing the machine vision investigators,making it become the research focus of pattern recognition,behavioral science,be- havior analyzing and processing.The existing algorithms have many kinds of restriction conditions,such as marking and camera calibration,not being able to meet people's demand for tracking human motion.Therefore,this article proposes a human motion position tracking algorithm on the basis of video,combining the template matching and improved inverse kinematics.It first calculates the coarse position of joint point according to the inverse kinematics and forward kinematics then applies template matching to each module of the appearing-model,and then deter- mines the optimal location of joints and the 3D coordinates of joints,and finally obtains the 3D action sequences by reconstruction.Experimental results show that this algorithm can be close to and even reach the best level in both subjective visual feel and objective weighing standard in the field of human motion tracking. Keywords:improved inverse kinematics;human motion tracking;template matching;computer vision;user inter- face 随着日渐成熟的计算机水平的发展，根据视觉 领域的研究。 的人体的运动跟踪和运动剖析逐渐成为当今计算机 本文在综合考虑跟踪效果和计算效率的情况 视觉学科的科研热门，同时人机交互、基于运动的识 下，提出了一种简单高效、且不牺牲跟踪结果质量的 别、虚拟现实等有关领域[]的迫切需求也推动此 基于棍状模型的算法。 方向的飞速进展，推动了大量的研究人员加入这个 1)本文对基于逆向运动跟踪算法的关节位置 预测方法和旋转角计算方法进行了改进。关节位置 收稿日期：2014-03-12.网络出版日期：2015-07-20 预测方法的优劣会影响跟踪算法效率和有效性。基 基金项目：国家自然科学基金资助项目(61303150) 通信作者：赵军.E-mail:zhuyihangl123@hotmail.com. 于逆向运动跟踪算法做了关节的运行模式是速度不
第 １０ 卷第 ４ 期 智 能 系 统 学 报 Ｖｏｌ．１０ №．４ ２０１５ 年 ８ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ｆｅｂ． ２０１５ ＤＯＩ：１０．３９６９ ／ ｊ．ｉｓｓｎ．１６７３⁃４７８５．２０１４０３０３２ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ＴＰ．２０１５０７２０．０９１１．００２．ｈｔｍｌ 基于改进逆向运动学的人体运动跟踪 赵军１，２ ， 於俊１，２ ，汪增福１，２，３ （１．中国科学技术大学 信息学院自动化系，安徽 合肥 ２３００２６；２．语音及语言信息处理国家工程实验室，安徽 合肥 ２３００２６；３．中国科学院 合肥智能机械研究所，安徽 合肥 ２３００２６） 摘 要：随着人们对智能系统需求逐年增高，基于视觉的运动研究引起计算机视觉领域工作者更多的关注。 这使它 成为 模式识别、行为学、行为处理分析与处理等学科的研究热门。 现存算法存在需要标记、相机标定等各种约束条 件，不能满足人们对人体运行跟踪的需求。 论述了一种结合改进逆向运动学和图像模板匹配算法的人体运动位置 的跟踪方法。 该算法以改进逆向运动学为框架，首先依据逆向运动学知识与正向运动学知识计算出的关节点的粗 略位置，对外观模型的各个模块进行模板匹配，接着确定关节点的最优位置，然后确定关节点的三维坐标值，最后重 构得到三维动作序列。 实验表明，在主观视觉感受与客观衡量标准两方面，此算法获得的实验结果都能够逼近乃至 达到人体运动跟踪领域的最佳水准。 关键词：改进逆向运动学；基于视觉人体运动跟踪；模板匹配；计算机视觉；用户接口 中图分类号：ＴＨ１８６ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１５）０４⁃０５４８⁃０７ 中文引用格式：赵军，於俊，汪增福．基于改进逆向运动学的人体运动跟踪［Ｊ］． 智能系统学报， ２０１５， １０（４）： ５４８⁃５５４． 英文引用格式：．ＺＨＡＯ Ｊｕｎ， ＹＵ Ｊｕｎ， ＷＡＮＧ Ｚｅｎｇｆｕ．Ｈｕｍａｎ ｍｏｔｉｏｎ ｔｒａｃｋｉｎｇ ｂａｓｅｄ ｏｎ ａｎ ｉｍｐｒｏｖｅｄ ｉｎｖｅｒｓｅ ｋｉｎｅｍａｔｉｃｓ ［Ｊ］． ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ， ２０１５， １０（４）： ５４８⁃５５４． Ｈｕｍａｎ ｍｏｔｉｏｎ ｔｒａｃｋｉｎｇ ｂａｓｅｄ ｏｎ ａｎ ｉｍｐｒｏｖｅｄ ｉｎｖｅｒｓｅ ｋｉｎｅｍａｔｉｃｓ ＺＨＡＯ Ｊｕｎ １， ２ ， ＹＵ Ｊｕｎ １， ２ ， ＷＡＮＧ Ｚｅｎｇｆｕ １， ２， ３ （１． Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ａｕｔｏｍａｔｉｏｎ， Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ ｏｆ Ｃｈｉｎａ， Ｈｅｆｅｉ ２３００２７， Ｃｈｉｎａ； ２． Ｎａｔｉｏｎａｌ Ｌａｂｏｒａｔｏｒｙ ｏｆ Ｓｐｅｅｃｈ ａｎｄ Ｌａｎｇｕａｇｅ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ， Ｈｅｆｅｉ ２３００２７， Ｃｈｉｎａ； ３． Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｉｎｔｅｌｌｉｇｅｎｔ Ｍａｃｈｉｎｅ， Ｃｈｉｎｅｓｅ Ａｃａｄｅｍｙ ｏｆ Ｓｃｉｅｎｃｅｓ， Ｈｅｆｅｉ ２３００２７， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｗｉｔｈ ｔｈｅ ｒｉｓｉｎｇ ｄｅｍａｎｄ ｆｏｒ ｉｎｔｅｌｌｉｇｅｎｔ ｓｙｓｔｅｍｓ， ｔｈｅ ｓｔｕｄｙ ｏｆ ｖｉｓｉｏｎ⁃ｂａｓｅｄ ｈｕｍａｎ ｍｏｔｉｏｎ ｉｓ ｄｒａｗｉｎｇ ｔｈｅ ｍａｃｈｉｎｅ ｖｉｓｉｏｎ ｉｎｖｅｓｔｉｇａｔｏｒｓ， ｍａｋｉｎｇ ｉｔ ｂｅｃｏｍｅ ｔｈｅ ｒｅｓｅａｒｃｈ ｆｏｃｕｓ ｏｆ ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ， ｂｅｈａｖｉｏｒａｌ ｓｃｉｅｎｃｅ， ｂｅ⁃ ｈａｖｉｏｒ ａｎａｌｙｚｉｎｇ ａｎｄ ｐｒｏｃｅｓｓｉｎｇ． Ｔｈｅ ｅｘｉｓｔｉｎｇ ａｌｇｏｒｉｔｈｍｓ ｈａｖｅ ｍａｎｙ ｋｉｎｄｓ ｏｆ ｒｅｓｔｒｉｃｔｉｏｎ ｃｏｎｄｉｔｉｏｎｓ， ｓｕｃｈ ａｓ ｍａｒｋｉｎｇ ａｎｄ ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ， ｎｏｔ ｂｅｉｎｇ ａｂｌｅ ｔｏ ｍｅｅｔ ｐｅｏｐｌｅ＇ｓ ｄｅｍａｎｄ ｆｏｒ ｔｒａｃｋｉｎｇ ｈｕｍａｎ ｍｏｔｉｏｎ． Ｔｈｅｒｅｆｏｒｅ， ｔｈｉｓ ａｒｔｉｃｌｅ ｐｒｏｐｏｓｅｓ ａ ｈｕｍａｎ ｍｏｔｉｏｎ ｐｏｓｉｔｉｏｎ ｔｒａｃｋｉｎｇ ａｌｇｏｒｉｔｈｍ ｏｎ ｔｈｅ ｂａｓｉｓ ｏｆ ｖｉｄｅｏ， ｃｏｍｂｉｎｉｎｇ ｔｈｅ ｔｅｍｐｌａｔｅ ｍａｔｃｈｉｎｇ ａｎｄ ｉｍｐｒｏｖｅｄ ｉｎｖｅｒｓｅ ｋｉｎｅｍａｔｉｃｓ． Ｉｔ ｆｉｒｓｔ ｃａｌｃｕｌａｔｅｓ ｔｈｅ ｃｏａｒｓｅ ｐｏｓｉｔｉｏｎ ｏｆ ｊｏｉｎｔ ｐｏｉｎｔ ａｃｃｏｒｄｉｎｇ ｔｏ ｔｈｅ ｉｎｖｅｒｓｅ ｋｉｎｅｍａｔｉｃｓ ａｎｄ ｆｏｒｗａｒｄ ｋｉｎｅｍａｔｉｃｓ ， ｔｈｅｎ ａｐｐｌｉｅｓ ｔｅｍｐｌａｔｅ ｍａｔｃｈｉｎｇ ｔｏ ｅａｃｈ ｍｏｄｕｌｅ ｏｆ ｔｈｅ ａｐｐｅａｒｉｎｇ⁃ｍｏｄｅｌ， ａｎｄ ｔｈｅｎ ｄｅｔｅｒ⁃ ｍｉｎｅｓ ｔｈｅ ｏｐｔｉｍａｌ ｌｏｃａｔｉｏｎ ｏｆ ｊｏｉｎｔｓ ａｎｄ ｔｈｅ ３Ｄ ｃｏｏｒｄｉｎａｔｅｓ ｏｆ ｊｏｉｎｔｓ， ａｎｄ ｆｉｎａｌｌｙ ｏｂｔａｉｎｓ ｔｈｅ ３Ｄ ａｃｔｉｏｎ ｓｅｑｕｅｎｃｅｓ ｂｙ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ． Ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｔｈｉｓ ａｌｇｏｒｉｔｈｍ ｃａｎ ｂｅ ｃｌｏｓｅ ｔｏ ａｎｄ ｅｖｅｎ ｒｅａｃｈ ｔｈｅ ｂｅｓｔ ｌｅｖｅｌ ｉｎ ｂｏｔｈ ｓｕｂｊｅｃｔｉｖｅ ｖｉｓｕａｌ ｆｅｅｌ ａｎｄ ｏｂｊｅｃｔｉｖｅ ｗｅｉｇｈｉｎｇ ｓｔａｎｄａｒｄ ｉｎ ｔｈｅ ｆｉｅｌｄ ｏｆ ｈｕｍａｎ ｍｏｔｉｏｎ ｔｒａｃｋｉｎｇ． Ｋｅｙｗｏｒｄｓ：ｉｍｐｒｏｖｅｄ ｉｎｖｅｒｓｅ ｋｉｎｅｍａｔｉｃｓ； ｈｕｍａｎ ｍｏｔｉｏｎ ｔｒａｃｋｉｎｇ； ｔｅｍｐｌａｔｅ ｍａｔｃｈｉｎｇ； ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ； ｕｓｅｒ ｉｎｔｅｒ⁃ ｆａｃｅ 收稿日期：２０１４⁃０３⁃１２． 网络出版日期：２０１５⁃０７⁃２０． 基金项目：国家自然科学基金资助项目（６１３０３１５０）． 通信作者：赵军． Ｅ⁃ｍａｉｌ：ｚｈｕｙｉｈａｎｇ１１２３＠ ｈｏｔｍａｉｌ．ｃｏｍ． 随着日渐成熟的计算机水平的发展，根据视觉 的人体的运动跟踪和运动剖析逐渐成为当今计算机 视觉学科的科研热门，同时人机交互、基于运动的识 别、虚拟现实等有关领域［１⁃２］ 的迫切需求也推动此 方向的飞速进展，推动了大量的研究人员加入这个 领域的研究。 本文在综合考虑跟踪效果和计算效率的情况 下，提出了一种简单高效、且不牺牲跟踪结果质量的 基于棍状模型的算法。 １）本文对基于逆向运动跟踪算法的关节位置 预测方法和旋转角计算方法进行了改进。 关节位置 预测方法的优劣会影响跟踪算法效率和有效性。 基 于逆向运动跟踪算法做了关节的运行模式是速度不
第4期 赵军，等：基于改进逆向运动学的人体运动跟踪 ·549. 变的假设，而真实的跟踪过程中关节运动模型是变 2)人体外观模型。人体外观模型由外观形状 速且带有随机性的，会导致局部寻优较慢：当预测位 模型及外观纹理模型构成。如图2所示，人体外观 置出现较大偏差，关节不在寻优区域时，会导致找不 模型共由一些矩形块构成。每个矩形对应人体的一 到准确的关节位置。因此，采用了粒子滤波的方式 节身体片段。矩形由人体段内部的像素值构成，其 对关节位置进行预测，提高了跟踪的有效性。 中相对坐标是形状模型及像素值是纹理模型。 2)文中同时提出了利用3dmax生成序列图片 作为测试样本，将跟踪结果与3dmax得到的真实数 据进行比较的验证方法。其中，图片序列的生成过 程采用根据已知运动目标的关节位置，生成人体的 动作序列，进而生成实验所需视频。然后，使用传统 算法与本文算法在生成所得视频基础上进行运动目 标的跟踪，从而获得运动目标的最优估计值。最后 将估计值与原始的真实值比较，通过计算人体各关 节图像空间的像素值偏差，说明本文算法的有效性。 1人体骨骼及外观模型 图2人体外观模型 Fig.2 Rep of human body's appearance model 本节介绍本文所用的人体骨骼模型和人体外观 3)摄像机成像模型。三维空间中某点的坐标 模型及对相关名称进行解释。 值与该点在二维投影平面上的坐标(，)满足以 1)人体骨骼模型如图1所示。本文将人体看 下方程： 成是一种棍状树型模型，其包含15节身体片与8对 关节。其中，根节点J1对应人体骨骼结构的盆骨： 10 (1) J:对应的人体位置，如图1所示。文中在人体骨骼 01 模型上定义了2种坐标系：(a)局部坐标系，坐标系 的原点为相应关节，坐标系方向，如图2右上方所 参数：是反比例因子，根据公式：=子计算得 示：(b)基坐标系。此坐标系的中心点为J1关节。 到6。此公式中，∫是相机的焦距，：是此点的相机 它的轴向与系统开始状态下J,局部坐标系的轴向 透视空间深度坐标。从式(1)可知，△s=T(4z),即 保持相同。文中用欧拉角[来标识关节的旋转，它 △s与Az成正比例。 的公式是（α，B,y),其中a表示绕x轴旋转角度，B 表示绕y轴旋转角度，y表示绕z轴旋转角度。 2算法框架 不失一般性，本文讨论人身体各个关节运动的 问题。本文算法框图如图3所示，包含下面4步。 1)跟踪系统初始化。使用者根据跟踪系统提 z坐标正方向指向纸背 供的输入界面来确定人体骨骼模型和外观模型。如 图4，外观模型是人体各段的像素信息。该部分输 入为视频第一帧图像，由使用者在其上标识出的关 节点位置计算出人体外观模型及人体骨架模型[) 中各身体部分的相对尺寸。 2)求旋转欧拉角。按照树形化方式[8]，如图1 右图。由待计算关节的预测的在二维图像中的位 置，借助逆向运动学模型计算出此关节所在人体片 段的旋转角度。第一步依据人体各部分相对比值计 算出此关节在透视相机模型下相应的立体空间坐 右 标。第2步根据改进的逆向运动学计算出旋转角。 图1人体骨骼和关节模型 3)求关节在图像中的位置。根据上一步获得 Fig.1 The human bone model and joint model 的关节旋转欧拉角依照正向运动学劉计算出此关
变的假设，而真实的跟踪过程中关节运动模型是变 速且带有随机性的，会导致局部寻优较慢；当预测位 置出现较大偏差，关节不在寻优区域时，会导致找不 到准确的关节位置。 因此，采用了粒子滤波的方式 对关节位置进行预测，提高了跟踪的有效性。 ２）文中同时提出了利用 ３ｄｍａｘ 生成序列图片 作为测试样本，将跟踪结果与 ３ｄｍａｘ 得到的真实数 据进行比较的验证方法。 其中，图片序列的生成过 程采用根据已知运动目标的关节位置，生成人体的 动作序列，进而生成实验所需视频。 然后，使用传统 算法与本文算法在生成所得视频基础上进行运动目 标的跟踪，从而获得运动目标的最优估计值。 最后 将估计值与原始的真实值比较，通过计算人体各关 节图像空间的像素值偏差，说明本文算法的有效性。 １ 人体骨骼及外观模型 本节介绍本文所用的人体骨骼模型和人体外观 模型及对相关名称进行解释。 １）人体骨骼模型如图 １ 所示。 本文将人体看 成是一种棍状树型模型，其包含 １５ 节身体片与 ８ 对 关节。 其中，根节点 Ｊ１ 对应人体骨骼结构的盆骨； Ｊｉ 对应的人体位置，如图 １ 所示。 文中在人体骨骼 模型上定义了 ２ 种坐标系：（ ａ）局部坐标系，坐标系 的原点为相应关节，坐标系方向，如图 ２ 右上方所 示；（ｂ）基坐标系。 此坐标系的中心点为 Ｊ１ 关节。 它的轴向与系统开始状态下 Ｊ１ 局部坐标系的轴向 保持相同。 文中用欧拉角［１５］来标识关节的旋转，它 的公式是 (α，β，γ) ，其中 α 表示绕 ｘ 轴旋转角度， β 表示绕 ｙ 轴旋转角度， γ 表示绕 ｚ 轴旋转角度。 图 １ 人体骨骼和关节模型 Ｆｉｇ．１ Ｔｈｅ ｈｕｍａｎ ｂｏｎｅ ｍｏｄｅｌ ａｎｄ ｊｏｉｎｔ ｍｏｄｅｌ ２）人体外观模型。 人体外观模型由外观形状 模型及外观纹理模型构成。 如图 ２ 所示，人体外观 模型共由一些矩形块构成。 每个矩形对应人体的一 节身体片段。 矩形由人体段内部的像素值构成，其 中相对坐标是形状模型及像素值是纹理模型。 图 ２ 人体外观模型 Ｆｉｇ．２ Ｒｅｐ ｏｆ ｈｕｍａｎ ｂｏｄｙ’ｓ ａｐｐｅａｒａｎｃｅ ｍｏｄｅｌ ３）摄像机成像模型。 三维空间中某点的坐标 值与该点在二维投影平面上的坐标 (ｕ，ｖ) 满足以 下方程： ｕ ｖ æ è ç ö ø ÷ ＝ １ ｓ １ ０ ０ ０ ０ １ æ è ç ö ø ÷ ｘ ｙ ｚ æ è ç ç ç ö ø ÷ ÷ ÷ （１） 参数 ｓ 是反比例因子，根据公式 ｓ ＝ ｚ ｆ 计算得 到［１６］ 。 此公式中， ｆ 是相机的焦距， ｚ 是此点的相机 透视空间深度坐标。 从式（１）可知， Δｓ ＝ Ｔ(Δｚ) ，即 Δｓ 与 Δｚ 成正比例。 ２ 算法框架 不失一般性，本文讨论人身体各个关节运动的 问题。 本文算法框图如图 ３ 所示，包含下面 ４ 步。 １）跟踪系统初始化。 使用者根据跟踪系统提 供的输入界面来确定人体骨骼模型和外观模型。 如 图 ４，外观模型是人体各段的像素信息。 该部分输 入为视频第一帧图像，由使用者在其上标识出的关 节点位置计算出人体外观模型及人体骨架模型［１７］ 中各身体部分的相对尺寸。 ２）求旋转欧拉角。 按照树形化方式［１８］ ，如图 １ 右图。 由待计算关节的预测的在二维图像中的位 置，借助逆向运动学模型计算出此关节所在人体片 段的旋转角度。 第一步依据人体各部分相对比值计 算出此关节在透视相机模型下相应的立体空间坐 标。 第 ２ 步根据改进的逆向运动学计算出旋转角。 ３）求关节在图像中的位置。 根据上一步获得 的关节旋转欧拉角依照正向运动学［８］ 计算出此关 第 ４ 期 赵军，等：基于改进逆向运动学的人体运动跟踪 ·５４９·
.550 智能系统学报 第10卷 节所在的人体片段中所有像素旋转后的立体坐标 值时，我们把相应的关节位置当做计算出的最准确 值。最后根据摄像机投影模型把人体片段投影到二 的关节位置。同时，此时由所有人体关节位置重构 维平面。从而计算出待计算的关节点相应的人体片 的人体形态为实验最准确的形态。 段在二维平面上的坐标值。因此，获得形变身体段。 本文不对步骤1)~4)进行详细叙述，如有需要 4)直方图匹配。将形变身体段与系统初始化 请参考邹北骥[4的相关文章。 时得到的外观模型做直方图匹配。在相似度为极大 输出相似度 最大值所对 应的欧拉角 正运行学求的对 外观模型 模板匹配 应骨骼段像素在当慚 图像上的坐植值 旋转欧拉角十 关节在图像 关节点手 局部搜索进行 逆向运动学求 上的二维 得该关节的旋转 工标注 坐标值 关系节匹配 待匹配 欧拉角 关节 人体骨骼 坐标 比例 摄像机成像 模型求解 图3算法框架图 Fig.3 Diagram of the ALG framework cos a sin a 0 R= sin a cos a 0 0 cos B 0 sin B7[1 0 0 0 1 0 0 cos y -sin y (2) L-sin B 0 cos B0 sin y cos y 如图5所示，在三维空间中，可以知道旋转可以 通过3个欧拉角（α，B,y)来定义，欧拉旋转定理表 明，任意2个具有相同原点的三维空间坐标系变换， 可以通过绕一包含原，点的固定轴进行相应旋转来实 现。这里的转动参量是由旋转角度和那条固定的旋 转轴（即欧拉角和欧拉轴）来表示的。 图4标注后的视频首帧 如图6所示，三维空间中有一初始矢量为 Fig.4 The video's Fst-frame after annotation r(OP),绕欧拉轴转动后变为r',n为欧拉轴的单位 3算法改进 向量，p表示r(OP)到'(OQ)的旋转角，n与p的 求解方式是2个向量的叉乘为欧拉轴，点乘为旋转角 3.1计算旋转角方法的改进 的余弦。具体求解公式为 逆向运动学算法计算旋转欧拉角的方法，其假定 P·r 当J,∈{J4,J,Jo,J}时，绕y轴旋转分量α=0：否 n=nor(r×r'),cosp=rl可 (3) 则，绕x轴旋转分量B=0:即必须加上绕y轴或者绕其中，or()表示向量归一化。 x轴旋转分量为零的约束。在跟踪过程中，人体的主 现在由欧拉轴和旋转角，求得其对应的四元数， 要关节或多或少都会沿某个轴向发生旋转，上述约束设n=(m1,n2,),则四元数计算公式为 是不符合真实情况的，所以计算出的旋转角是有误差 q=[sin(p/2)×n1,sin(p/2)×n2, 的。基于此缺陷本文找到了一种精确计算旋转角的 sin(o/2)x ns,cos(/2)] (4) 方法[ 接下来由四元数求得欧拉角，设q= [x,y,z,w],欧拉角0=(a,B,Y),则欧拉角的计算
节所在的人体片段中所有像素旋转后的立体坐标 值。 最后根据摄像机投影模型把人体片段投影到二 维平面。 从而计算出待计算的关节点相应的人体片 段在二维平面上的坐标值。 因此，获得形变身体段。 ４）直方图匹配。 将形变身体段与系统初始化 时得到的外观模型做直方图匹配。 在相似度为极大 值时，我们把相应的关节位置当做计算出的最准确 的关节位置。 同时，此时由所有人体关节位置重构 的人体形态为实验最准确的形态。 本文不对步骤 １） ～４）进行详细叙述，如有需要 请参考邹北骥［１４］的相关文章。 图 ３ 算法框架图 Ｆｉｇ．３ Ｄｉａｇｒａｍ ｏｆ ｔｈｅ ＡＬＧ ｆｒａｍｅｗｏｒｋ 图 ４ 标注后的视频首帧 Ｆｉｇ．４ Ｔｈｅ ｖｉｄｅｏ’ｓ Ｆｓｔ⁃ｆｒａｍｅ ａｆｔｅｒ ａｎｎｏｔａｔｉｏｎ ３ 算法改进 ３．１ 计算旋转角方法的改进 逆向运动学算法计算旋转欧拉角的方法，其假定 当 Ｊｉ ∈ Ｊ４ ，Ｊ７ ，Ｊ１０ ，Ｊ１３ { } 时，绕 ｙ 轴旋转分量 α ＝ ０；否 则，绕 ｘ 轴旋转分量 β ＝ ０；即必须加上绕 ｙ 轴或者绕 ｘ 轴旋转分量为零的约束。 在跟踪过程中，人体的主 要关节或多或少都会沿某个轴向发生旋转，上述约束 是不符合真实情况的，所以计算出的旋转角是有误差 的。 基于此缺陷本文找到了一种精确计算旋转角的 方法［９］ 。 ｉ－１ ｉ Ｒ ＝ ｃｏｓ α － ｓｉｎ α ０ ｓｉｎ α ｃｏｓ α ０ ０ ０ １ é ë ê ê ê ù û ú ú ú ｃｏｓ β ０ ｓｉｎ β ０ １ ０ － ｓｉｎ β ０ ｃｏｓ β é ë ê ê ê ù û ú ú ú １ ０ ０ ０ ｃｏｓ γ － ｓｉｎ γ ０ ｓｉｎ γ ｃｏｓ γ é ë ê ê ê ù û ú ú ú （２） 如图 ５ 所示，在三维空间中，可以知道旋转可以 通过 ３ 个欧拉角 （α，β，γ） 来定义，欧拉旋转定理表 明，任意 ２ 个具有相同原点的三维空间坐标系变换， 可以通过绕一包含原点的固定轴进行相应旋转来实 现。 这里的转动参量是由旋转角度和那条固定的旋 转轴（即欧拉角和欧拉轴）来表示的。 如图 ６ 所 示， 三 维 空 间 中 有 一 初 始 矢 量 为 ｒ（ＯＰ） ，绕欧拉轴转动后变为 ｒ′，ｎ 为欧拉轴的单位 向量， φ 表示 ｒ（ＯＰ） 到 ｒ′ → （ＯＱ） 的旋转角， ｎ 与 φ 的 求解方式是 ２ 个向量的叉乘为欧拉轴，点乘为旋转角 的余弦。 具体求解公式为 ｎ ＝ ｎｏｒ（ｒ × ｒ′），ｃｏｓφ ＝ ｒ·ｒ′ ｒ ｒ′ （３） 其中，ｎｏｒ（）表示向量归一化。 现在由欧拉轴和旋转角，求得其对应的四元数， 设 ｎ ＝ （ｎ１ ，ｎ２ ，ｎ３ ） ，则四元数计算公式为 ｑ ＝ [ｓｉｎ（φ／ ２） × ｎ１ ，ｓｉｎ（φ／ ２） × ｎ２ ， ｓｉｎ（φ／ ２） × ｎ３ ，ｃｏｓ（φ／ ２） ] （４） 接 下 来 由 四 元 数 求 得 欧 拉 角， 设 ｑ ＝ [ｘ，ｙ，ｚ，ｗ] ，欧拉角 ｏ ＝ （α，β，γ） ，则欧拉角的计算 ·５５０· 智 能 系 统 学 报 第 １０ 卷
第4期 赵军，等：基于改进逆向运动学的人体运动跟踪 ·551. 公式为 较慢，即迭代次数会变多；当预测位置出现较大偏差 2(q293+9o91） 时，关节位置不在寻优区域导致找不到准确位置，会 a arctan(- 6-9-92+9后 将错误的位置当做关节位置，进而影响算法后面的部 arctan(-2(q193-9o92） 分，导致错误的跟踪。因此，本文采用了粒子滤波的 2(9192+9093） 方式[3]对关节位置进行预测。 y=acan（6+i-i-g 下面只对粒子滤波的自回归过程进行介绍，其他 部分请参考文献[13]。自回归过程是一种通过历史 数据来预测目前状态的时间序列建模策略。在这个 模型里，目前的状态x,是一个依赖于以前状态的确 定性函数并加上随机干扰，假如确定性函数是线性 的，则目前的状态依赖于以前的x。个状态，模型可以 写成 气=龙4+@ (7) i=1 {a:}-1是自回归系数；w,是随机干扰，一般情 况下是白噪声。自回归系数既可通过学习的方法得 图5欧拉角示意图 到，也可以由特别的方式指定6。由于跟踪目标 Fig.5 Euler Angle diagram 的连续性，采用变速模型更为适合一些，这里采用三 阶自回归模型： x=Ax-1+Bx-2+Cx-3+DN(0,∑）(8) 式中：{4，B,C,D}=1是自回归系数，N(O,∑)是 零均值、标准方差为1的Gaussian噪声。在试验中， 指定系数为A=2,B=-2,C=3,D=1。 由上述计算过程可知，文中引入了变速模型和噪 声，变速模型相对匀速模型能够更准确地表示关节的 运动模型：引入噪声符合关节的运动具有随机性的特 性，即关节有时会发生微小抖动。 因此，本文方法相对基于逆向运动学的方法能够 更加准确地表示运动模型，进而能够更加有效的预测 图6欧拉轴和旋转角示意图 关节的位置，从而为后续的局部寻优，提供一个有效 Fig.6 Euler axis and rotation Angle 的预测，进而更加迅速和准确地找到最优估计，同时 由上述计算过程可以看出，本文采用的计算旋转角的 也会减少准确位置在寻优区域外部的概率，最终能够 方法是准确值，包括αB、y等3个旋转分量，所以能 够获得比通过逆向运动学计算更加准确的旋转角。与分析部分。 提高跟踪的速度和有效性。具体结果参见实验结果 因此，最后的跟踪效果能够比基于逆向运动学的效果 3.3实验准则的改进 要好，具体结果参见实验结果与分析部分。 基于逆向运动学的实验准则，即通过手工标注的 3.2关节位置预测方法的改进 方式。手工标注的方式是通过人工标记获得实验图 计算旋转角的方法中有一步是预测关节在图像 片序列中运动目标关节的二维图像位置，通过这种方 中的位置，其利用X-1=[x,-1y-]T,X-2= 式获取的关节位置具有主观性，因此获得的关节位置 [x,-2水-2】T即在1-1与t-2时刻的最优估计位置 只能近似为真实的关节位置。 计算出V,-1=[x-1-x-2y-1-y-2]T关节在t-1 基于手工标注的主观性，提出了模拟仿真的方 时刻的速度，然后估计关节在t~1时刻的位置X,=式。模拟仿真的方式是通过某种方式根据运动目标 [x,少，]「。可以发现，该算法做了关节的运行模式是的关节位置，生成相应的图片序列并将其作为测试视 速度不变的假设，而真实的跟踪过程中关节的运动模频。此种方式获得的真实关节位置是相当可靠和准 型是变速的且带有随机性的，会导致他们的局部寻优确的。具体方法是测试图像序列由3DMax软件生
公式为 α ＝ ａｒｃｔａｎ（ ２（ｑ２ ｑ３ ＋ ｑ０ ｑ１ ） ｑ ２ ０ － ｑ ２ １ － ｑ ２ ２ ＋ ｑ ２ ３ ） ＝ ａｒｃｔａｎ（ － ２（ｑ１ ｑ３ － ｑ０ ｑ２ ）） γ ＝ ａｒｃｔａｎ（ ２（ｑ１ ｑ２ ＋ ｑ０ ｑ３ ） ｑ ２ ０ ＋ ｑ ２ １ － ｑ ２ ２ － ｑ ２ ３ ） 图 ５ 欧拉角示意图 Ｆｉｇ．５ Ｅｕｌｅｒ Ａｎｇｌｅ ｄｉａｇｒａｍ 图 ６ 欧拉轴和旋转角示意图 Ｆｉｇ．６ Ｅｕｌｅｒ ａｘｉｓ ａｎｄ ｒｏｔａｔｉｏｎ Ａｎｇｌｅ 由上述计算过程可以看出，本文采用的计算旋转角的 方法是准确值，包括 α、β、γ 等 ３ 个旋转分量，所以能 够获得比通过逆向运动学计算更加准确的旋转角。 因此，最后的跟踪效果能够比基于逆向运动学的效果 要好，具体结果参见实验结果与分析部分。 ３．２ 关节位置预测方法的改进 计算旋转角的方法中有一步是预测关节在图像 中 的 位 置， 其 利 用 Ｘｔ－１ ＝ ｘｔ－１ ，ｙｔ－１ [ ] Ｔ ，Ｘｔ－２ ＝ ｘｔ－２ ，ｙｔ－２ [ ] Ｔ 即在 ｔ － １ 与 ｔ － ２ 时刻的最 优估计位置 计算出 Ｖｔ－１ ＝ ｘｔ－１ － ｘｔ－２ ，ｙｔ－１ － ｙｔ－２ [ ] Ｔ 关节在 ｔ －１ 时刻的速度，然后估计关节在 ｔ－１ 时刻的位置 Ｘｔ ＝ ｘｔ，ｙｔ [ ] Ｔ 。 可以发现，该算法做了关节的运行模式是 速度不变的假设，而真实的跟踪过程中关节的运动模 型是变速的且带有随机性的，会导致他们的局部寻优 较慢，即迭代次数会变多；当预测位置出现较大偏差 时，关节位置不在寻优区域导致找不到准确位置，会 将错误的位置当做关节位置，进而影响算法后面的部 分，导致错误的跟踪。 因此，本文采用了粒子滤波的 方式［１３］对关节位置进行预测。 下面只对粒子滤波的自回归过程进行介绍，其他 部分请参考文献［１３］。 自回归过程是一种通过历史 数据来预测目前状态的时间序列建模策略。 在这个 模型里，目前的状态 ｘｔ 是一个依赖于以前状态的确 定性函数并加上随机干扰，假如确定性函数是线性 的，则目前的状态依赖于以前的 ｘｐ 个状态，模型可以 写成 ｘｔ ＝ ∑ ｐ ｉ ＝ １ ∂ｉ ｘｔ－ｉ ＋ ωｔ （７） ∂ｉ { } ｐ ｉ ＝ １ 是自回归系数； ωｔ 是随机干扰，一般情 况下是白噪声。 自回归系数既可通过学习的方法得 到［１５］ ，也可以由特别的方式指定［１６］ 。 由于跟踪目标 的连续性，采用变速模型更为适合一些，这里采用三 阶自回归模型： ｘｔ ＝ Ａｘｔ－１ ＋ Ｂｘｔ－２ ＋ Ｃｘｔ－３ ＋ ＤＮ(０，∑) （８） 式中： {Ａ，Ｂ，Ｃ，Ｄ} ｐ ｉ ＝ １ 是自回归系数， Ｎ(０，∑) 是 零均值、标准方差为 １ 的 Ｇａｕｓｓｉａｎ 噪声。 在试验中， 指定系数为 Ａ ＝ ２，Ｂ ＝ － ２，Ｃ ＝ ３，Ｄ＝ １。 由上述计算过程可知，文中引入了变速模型和噪 声，变速模型相对匀速模型能够更准确地表示关节的 运动模型；引入噪声符合关节的运动具有随机性的特 性，即关节有时会发生微小抖动。 因此，本文方法相对基于逆向运动学的方法能够 更加准确地表示运动模型，进而能够更加有效的预测 关节的位置，从而为后续的局部寻优，提供一个有效 的预测，进而更加迅速和准确地找到最优估计，同时 也会减少准确位置在寻优区域外部的概率，最终能够 提高跟踪的速度和有效性。 具体结果参见实验结果 与分析部分。 ３．３ 实验准则的改进 基于逆向运动学的实验准则，即通过手工标注的 方式。 手工标注的方式是通过人工标记获得实验图 片序列中运动目标关节的二维图像位置，通过这种方 式获取的关节位置具有主观性，因此获得的关节位置 只能近似为真实的关节位置。 基于手工标注的主观性，提出了模拟仿真的方 式。 模拟仿真的方式是通过某种方式根据运动目标 的关节位置，生成相应的图片序列并将其作为测试视 频。 此种方式获得的真实关节位置是相当可靠和准 确的。 具体方法是测试图像序列由 ３ＤＭａｘ 软件生 第 ４ 期 赵军，等：基于改进逆向运动学的人体运动跟踪 ·５５１·
.552. 智能系统学报 第10卷 成，3DMax可以记录图像序列中的每个目标关节点 的位置，包括空间三维坐标位置和二维图像坐标位 置。然后，通过运动跟踪算法获得运动目标估计的图 像关节位置。最后，将运动跟踪算法获得的关节二维 图像坐标与3DMax中的关节二维图像坐标值进行比较。 由于实验条件与实验环境的限制，没有采用激光 扫描仪等精准测量位置的工具。从而，不能通过激光 扫描仪来获得运动对象的真实位置作为比较的基准。 图8120-160帧源视频与仿真效果图 但是，可以用计算机图形学和运动合成技术来间接获 Fig.8 120-160 frame renderings of source video and simulation 得运动目标的关节位置的真实值。因此，在给定人体 运动关节位置的情况下绘制了人体图像，然后对绘制 10m 的人体图像进行人体运动跟踪，最后将通过运动跟踪 算法获得的估计值与真实值进行比较以验证跟踪算 987 法的精确性。 6 这种间接获得目标真实数据的方式不仅成本低 廉，而且比通过激光扫描仪获得的数据更精确、更可 2 靠，也更简单。模拟仿真方式能够比手工标注方式获 得更准确的关节真实坐标，而且相对于通过激光扫描 02040 6080100120140160 帧数 仪等工具，具有更准确、更可靠、也更简单的优势，因 图9关节J7跟踪结果与手工标注关节位置的误差 此，此实验准则相对于基于逆向运动学的实验准则， Fig.9 Tracking results with manually labeled J7 joint position 有明显的优势，衡量实验结果也更加客观。 10 4实验与分析 9 8 6 5 4 0 020406080100120140160 帧数 图10关节J12跟踪结果与手工标注关节位置的误差 图61~40帧源视频与仿真效果图 Fig.10 Tracking results with manually labeled J12 joint position Fig.6 1~40 frame renderings of source video and simulation 表1测试视频3种算法误差对比 Table 1 The error comparison of the test video's three algorithm 平均像素值误差 关节 比例正交投影 逆向运动学 本文算法 右肘 14.3734 10.4659 7.2345 右腕 15.6743 12.3498 8.4532 右膝 14.7864 12.5455 5.4545 右踝 15.4355 11.5433 6.9065 左肘 13.3456 9.4556 7.3424 左腕 14.3434 11.4790 8.3242 图761~100帧源视频与仿真效果图 左膝 13.9764 11.2355 5.8974 Fig.7 61~100 frame renderings of source video and simulation 左踝 15.8960 12.4359 7.3243
成，３ＤＭａｘ 可以记录图像序列中的每个目标关节点 的位置，包括空间三维坐标位置和二维图像坐标位 置。 然后，通过运动跟踪算法获得运动目标估计的图 像关节位置。 最后，将运动跟踪算法获得的关节二维 图像坐标与 ３ＤＭａｘ 中的关节二维图像坐标值进行比较。 由于实验条件与实验环境的限制，没有采用激光 扫描仪等精准测量位置的工具。 从而，不能通过激光 扫描仪来获得运动对象的真实位置作为比较的基准。 但是，可以用计算机图形学和运动合成技术来间接获 得运动目标的关节位置的真实值。 因此，在给定人体 运动关节位置的情况下绘制了人体图像，然后对绘制 的人体图像进行人体运动跟踪，最后将通过运动跟踪 算法获得的估计值与真实值进行比较以验证跟踪算 法的精确性。 这种间接获得目标真实数据的方式不仅成本低 廉，而且比通过激光扫描仪获得的数据更精确、更可 靠，也更简单。 模拟仿真方式能够比手工标注方式获 得更准确的关节真实坐标，而且相对于通过激光扫描 仪等工具，具有更准确、更可靠、也更简单的优势，因 此，此实验准则相对于基于逆向运动学的实验准则， 有明显的优势，衡量实验结果也更加客观。 ４ 实验与分析 图 ６ １～ ４０ 帧源视频与仿真效果图 Ｆｉｇ．６ １～４０ ｆｒａｍｅ ｒｅｎｄｅｒｉｎｇｓ ｏｆ ｓｏｕｒｃｅ ｖｉｄｅｏ ａｎｄ ｓｉｍｕｌａｔｉｏｎ 图 ７ ６１～ １００ 帧源视频与仿真效果图 Ｆｉｇ．７ ６１～１００ ｆｒａｍｅ ｒｅｎｄｅｒｉｎｇｓ ｏｆ ｓｏｕｒｃｅ ｖｉｄｅｏ ａｎｄ ｓｉｍｕｌａｔｉｏｎ 图 ８ １２０～ １６０ 帧源视频与仿真效果图 Ｆｉｇ．８ １２０～１６０ ｆｒａｍｅ ｒｅｎｄｅｒｉｎｇｓ ｏｆ ｓｏｕｒｃｅ ｖｉｄｅｏ ａｎｄ ｓｉｍｕｌａｔｉｏｎ 图 ９ 关节 Ｊ７ 跟踪结果与手工标注关节位置的误差 Ｆｉｇ．９ Ｔｒａｃｋｉｎｇ ｒｅｓｕｌｔｓ ｗｉｔｈ ｍａｎｕａｌｌｙ ｌａｂｅｌｅｄ Ｊ７ ｊｏｉｎｔ ｐｏｓｉｔｉｏｎ 图 １０ 关节 Ｊ１２ 跟踪结果与手工标注关节位置的误差 Ｆｉｇ．１０ Ｔｒａｃｋｉｎｇ ｒｅｓｕｌｔｓ ｗｉｔｈ ｍａｎｕａｌｌｙ ｌａｂｅｌｅｄ Ｊ１２ ｊｏｉｎｔ ｐｏｓｉｔｉｏｎ 表 １ 测试视频 ３ 种算法误差对比 Ｔａｂｌｅ １ Ｔｈｅ ｅｒｒｏｒ ｃｏｍｐａｒｉｓｏｎ ｏｆ ｔｈｅ ｔｅｓｔ ｖｉｄｅｏ＇ｓ ｔｈｒｅｅ ａｌｇｏｒｉｔｈｍ 关节 平均像素值误差 比例正交投影 逆向运动学 本文算法 右肘 １４．３７３ ４ １０．４６５ ９ ７．２３４ ５ 右腕 １５．６７４ ３ １２．３４９ ８ ８．４５３ ２ 右膝 １４．７８６ ４ １２．５４５ ５ ５．４５４ ５ 右踝 １５．４３５ ５ １１．５４３ ３ ６．９０６ ５ 左肘 １３．３４５ ６ ９．４５５ ６ ７．３４２ ４ 左腕 １４．３４３ ４ １１．４７９ ０ ８．３２４ ２ 左膝 １３．９７６ ４ １１．２３５ ５ ５．８９７ ４ 左踝 １５．８９６ ０ １２．４３５ ９ ７．３２４ ３ ·５５２· 智 能 系 统 学 报 第 １０ 卷
第4期 赵军，等：基于改进逆向运动学的人体运动跟踪 ·553. 4.1实验数据与评价准则 本文算法在VS2008上实现，电脑配置为ntel (R)Coe(TM)2,E7300,2.66GHz,内存2GB。此方 法有效性的测试方式如下： 1)根据实验实际的人体运动视频来证明此方法 的可行性。 2)将此算法与传统算法做对比，以此来定量说 明本文算法的有效性。 本文测试视频为用松下HDC-HS20DV在普通 室内光照下获得的视频。视频数据信息如图2所示。 图1241~80帧3dmax动画视频与仿真效果图 表2视频数据信息 Fig.12 41~80 frame renderings of 3dmax ani- Table 2 The video information mation video and simulation 帧数 帧率/f·8 宽 高 168 30 720 1280 图6~8为一部分实验结果，实验结果显示了人 体骨骼结构的运动，从所有帧中每10幅图像取出一 幅图像。评价准则采用实验获得的关节位置与手动 获得的实际位置的像素级偏移：同时与比例正交投影 算法、普通逆向运动学算法的像素误差进行比较。 =20-0+U0-0 式中：E:表示第i个关节在测试视频中的像素误差， 图1381-120帧3dmax动画视频与仿真效果图 Fig.13 81~120 frame renderings of 3dmax ani- J(),J)表示第i个关节在第j帧的跟踪图像坐 mation video and simulation 标，N表示测试视频的帧数，J(),J)表示第i个 表33dmax生成视频3种算法误差对比 关节在第j帧的手工标注图像坐标。 Table 3 Three algorithm error comparison of generated vid- 由于实验条件所限，没有激光扫描仪来获得真实 eo with 3dmax 值作为比较的基准，但是可以用计算机图形学的技术 平均像素值误差 来间接获得真实值，即在给定人体运动值下绘制人体 关节 比例正交投影 逆向运动学 本文算法 图像，然后对绘制的人体图像进行人体运动跟踪，最 右肘 16.1482 11.9701 9.0479 后将估计出来的运动值与真实值进行比较。测试图 右腕 17.3190 13.8241 10.6179 像序列由3dmax软件生成，将本文算法获得的二维 右膝 16.2902 14.2542 9.2714 图像坐标与3dmax中的二维图像坐标值进行比较。 右踝 17.2590 13.0164 8.6381 实验效果图如图11~13所示 左肘 15.5891 10.9381 9.5810 左腕 16.2881 13.7824 10.6371 左膝 16.0034 13.0278 7.3629 左踝 17.6483 14.3681 9.5581 4.2实验结果与分析 由图6~8可以看出，恢复出的每帧三维人体运 动姿态与准确的人体运动姿态之间，误差还是存在 的，然而实验恢复的人体运动姿态也还比较准确。实 验恢复的误差很大成分是因为环境改变引起的，而且 与根关节具有较大的偏离的关节恢复的偏差较大，例 如，右腕的恢复偏差要比右肘的恢复偏差大。分析原 图111~40帧3dmax动画视频与仿真效果图 因。因为子关节的恢复是以父关节的恢复为基础的， Fig.11 1~40 frame renderings of 3dmax ani- 所以父关节恢复偏差影响它的所有的子关节的恢复。 mation video and simulation 基于定量偏差的计算的需求，计算了实验的关节
４．１ 实验数据与评价准则 本文算法在 ＶＳ２００８ 上实现，电脑配置为 Ｉｎｔｅｌ （Ｒ） Ｃｏｒｅ（ＴＭ）２，Ｅ７３００，２．６６ ＧＨｚ，内存 ２ ＧＢ。 此方 法有效性的测试方式如下： １）根据实验实际的人体运动视频来证明此方法 的可行性。 ２）将此算法与传统算法做对比，以此来定量说 明本文算法的有效性。 本文测试视频为用松下 ＨＤＣ－ＨＳ２０ＤＶ 在普通 室内光照下获得的视频。 视频数据信息如图 ２ 所示。 表 ２ 视频数据信息 Ｔａｂｌｅ ２ Ｔｈｅ ｖｉｄｅｏ ｉｎｆｏｒｍａｔｉｏｎ 帧数 帧率／ ｆ·ｓ －１ 宽 高 １６８ ３０ ７２０ １ ２８０ 图 ６～８ 为一部分实验结果，实验结果显示了人 体骨骼结构的运动，从所有帧中每 １０ 幅图像取出一 幅图像。 评价准则采用实验获得的关节位置与手动 获得的实际位置的像素级偏移；同时与比例正交投影 算法、普通逆向运动学算法的像素误差进行比较。 Ｅｉ ＝ １ Ｎ∑ Ｎ ｊ ＝ １ Ｊ ｉ ｘ (ｊ) － Ｊ ｉ ｘ ( ＇(ｊ) ) ２ ＋ Ｊ ｉ ｙ (ｊ) － Ｊ ｉ ｙ ( ＇(ｊ) ) ２ 式中： Ｅｉ 表示第 ｉ 个关节在测试视频中的像素误差， Ｊ ｉ ｘ (ｊ) ，Ｊ ｉ ｙ (ｊ) 表示第 ｉ 个关节在第 ｊ 帧的跟踪图像坐 标， Ｎ 表示测试视频的帧数， Ｊ ｉ ｘ (ｊ) ，Ｊ ｉ ｙ (ｊ) 表示第 ｉ 个 关节在第 ｊ 帧的手工标注图像坐标。 由于实验条件所限，没有激光扫描仪来获得真实 值作为比较的基准，但是可以用计算机图形学的技术 来间接获得真实值，即在给定人体运动值下绘制人体 图像，然后对绘制的人体图像进行人体运动跟踪，最 后将估计出来的运动值与真实值进行比较。 测试图 像序列由 ３ｄｍａｘ 软件生成，将本文算法获得的二维 图像坐标与 ３ｄｍａｘ 中的二维图像坐标值进行比较。 实验效果图如图 １１～１３ 所示。 图 １１ １～ ４０ 帧 ３ｄｍａｘ 动画视频与仿真效果图 Ｆｉｇ．１１ １ ～ ４０ ｆｒａｍｅ ｒｅｎｄｅｒｉｎｇｓ ｏｆ ３ｄｍａｘ ａｎｉ⁃ ｍａｔｉｏｎ ｖｉｄｅｏ ａｎｄ ｓｉｍｕｌａｔｉｏｎ 图 １２ ４１～ ８０ 帧 ３ｄｍａｘ 动画视频与仿真效果图 Ｆｉｇ．１２ ４１ ～ ８０ ｆｒａｍｅ ｒｅｎｄｅｒｉｎｇｓ ｏｆ ３ｄｍａｘ ａｎｉ⁃ ｍａｔｉｏｎ ｖｉｄｅｏ ａｎｄ ｓｉｍｕｌａｔｉｏｎ 图 １３ ８１～ １２０ 帧 ３ｄｍａｘ 动画视频与仿真效果图 Ｆｉｇ．１３ ８１～ １２０ ｆｒａｍｅ ｒｅｎｄｅｒｉｎｇｓ ｏｆ ３ｄｍａｘ ａｎｉ⁃ ｍａｔｉｏｎ ｖｉｄｅｏ ａｎｄ ｓｉｍｕｌａｔｉｏｎ 表 ３ ３ｄｍａｘ 生成视频 ３ 种算法误差对比 Ｔａｂｌｅ ３ Ｔｈｒｅｅ ａｌｇｏｒｉｔｈｍ ｅｒｒｏｒ ｃｏｍｐａｒｉｓｏｎ ｏｆ ｇｅｎｅｒａｔｅｄ ｖｉｄ⁃ ｅｏ ｗｉｔｈ ３ｄｍａｘ 关节 平均像素值误差 比例正交投影 逆向运动学 本文算法 右肘 １６．１４８ ２ １１．９７０ １ ９．０４７ ９ 右腕 １７．３１９ ０ １３．８２４ １ １０．６１７ ９ 右膝 １６．２９０ ２ １４．２５４ ２ ９．２７１ ４ 右踝 １７．２５９ ０ １３．０１６ ４ ８．６３８ １ 左肘 １５．５８９ １ １０．９３８ １ ９．５８１ ０ 左腕 １６．２８８ １ １３．７８２ ４ １０．６３７ １ 左膝 １６．００３ ４ １３．０２７ ８ ７．３６２ ９ 左踝 １７．６４８ ３ １４．３６８ １ ９．５５８ １ ４．２ 实验结果与分析 由图 ６ ～ ８ 可以看出，恢复出的每帧三维人体运 动姿态与准确的人体运动姿态之间，误差还是存在 的，然而实验恢复的人体运动姿态也还比较准确。 实 验恢复的误差很大成分是因为环境改变引起的，而且 与根关节具有较大的偏离的关节恢复的偏差较大，例 如，右腕的恢复偏差要比右肘的恢复偏差大。 分析原 因。 因为子关节的恢复是以父关节的恢复为基础的， 所以父关节恢复偏差影响它的所有的子关节的恢复。 基于定量偏差的计算的需求，计算了实验的关节 第 ４ 期 赵军，等：基于改进逆向运动学的人体运动跟踪 ·５５３·
·554 智能系统学报 第10卷 的位置与手动获取的相对准确关节位置之间的偏差。 [7]GAVRILA D M.The visual analysis of human movement:a 其中，右肩位置J,、右膝位置J的图像计算偏差分别 survey [J].Computer Vision and Image Understanding, 1999,73(1):82-98. 是图9~10。依照图9~10，偏差相对较小，一般在10 [8]JIANG Zhuolin,LIN Zhe,DAVIS L S.Recognizing human 之内。环境的改变使得一部分图像会出现偏离准确 actions by learning and matching shape-motion prototype 值的情况，而前一图像的偏离不影响后面的计算，因 trees[J].IEEE Transactions on Pattern Analysis and Ma- 此跟踪偏差只对当前帧有影响，故此方法有自修复的 chine Intelligence,2012,34(3):533-547. 能力。表1给出了本文跟踪算法的像素误差在测试 [9]ELGAMMAL A,SHET V,YACOOB Y,et al.Learning dy- namics for exemplar-based gesture recognition [C]//2003 视频中与比例正交投影和逆向运动学的比较结果；表 IEEE Computer Society Conference on Computer Vision and 2给出了本文跟踪算法与比例正交投影、逆向运动学 Pattern Recognition.Madison,WI,USA:IEEE,2003,1: 方法与由计算机图形绘制技术间接得到的真实值的 571-578. 像素误差。由表2分析得，本文算法的像素误差基本 [10]AN K H,CHUNG M J.3D head tracking and pose-robust 2D texture map-based face recognition using a simple ellip- 在10像素以内，相对其他几种算法有较好的结果。 soid model[C]//IEEE/RSJ International Conference on In- 因此，本文算法的有效性得到有力的证明。 telligent Robots and Systems,2008.Nice:IEEE,2008: 307.312. 5 结论 [11]MORI G,MALIK J.Recovering 3D human body configura- tions using shape contexts[J].IEEE Transactions on Pattern 本文在综合考虑跟踪效果和计算效率的情况下， Analysis and Machine Intelligence,2006,28(7):1052- 提出了一种简单高效，且不牺牲跟踪结果质量的基于 1062. 棍状模型的高效方法。此运动跟踪流程根据摄像机 [12]苟靖翔.基于视觉信息特征和机器学习的人体运动跟踪 拍摄图像的流程更新形变外观模型，全部跟踪方法是 与三维姿势恢复[D].西安：西安电子科技大学，2012： 10-12. 由图像局部坐标映射相机立体空间坐标，之后反映射 GOU Jingxiang.Human pose estimation and 3D recovery 到图像局部坐标的方式。因此，为虚拟动画、基于视 based on visual geometric features and machine learning 频的人机交互提供了一种新的方法。 [D].Xi'an:Xidian University,2012:10-12. [13]刘琼，彭光正，刘吴.基于粒子滤波算法的三维关节型 参考文献： 人体运动跟踪[J].北京理工大学学报，2011,31(2)： 163-167 [1]阮涛涛，姚明海，翟心显，等.基于视觉的人体运动分析 LIU Qiong,PENG Guangzheng,LIU Hao.3D articulated 综述[J].计算机系统应用，2010,20(2)：245-253. human body tracking by particle filter[J].Journal of Beijing RUAN Taotao,YAO Minghai,QU Xinyu,et al.A survey of Institute of Technology,2011,31(2):163-167. vision-based human motion analysis[J].Computer Systems [14]邹北骥，陈姝.适用于单目视频的无标记三维人体运动 Applications,2010,20(2):245-253. 跟踪[J】.计算机辅助设计与图形学学报，2008,20(8)： [2]李豪杰，林守勋，张勇东.基于视频的人体运动捕捉综述 1047-1055. [J].计算机辅助设计与图形学学报，2006,18(11)： ZOU Beiji,CHEN Shu.Markerless 3D human motion track- 1645-1650 ing for monocular video sequences[J].Joumal of Computer- LI Haojie,LIN Shouxun,ZHANG Yongdong.A survey of video Aided Design Computer Graphics,2008,20(8):1047- based human motion capture[J].Journal of Computer-Aided De- 1055. sign Computer Graphics,2006,18(11):1645-1650. [15]蔡杰，郑江滨.双目视觉下三维人体运动跟踪算法[J] [3]龚文凌，王洪澄，孙敏.视频交通监控系统中运动车辆捕 计算机应用研究，2009,26(4)：1279-1281. 捉算法的研究[J].微型机与应用，2004,23(3)：45-46. CAl Jie,ZHENG Jiangbin.3D human motion tracking algo- GONG Wenling,WANG Hongcheng,SUN Min.The research rithm in binocular camera system[J].Application Research of motorial vehicle capture arithmetic on vision-based traffic of Computers,2009,26(4):1279-1281. monitor system[J].Microcomputer&Its Applications,[l6]陶霖密，于亚鹏.摄像机几何约束及人体定位[J].中国 2004.23(3):45-46. 图象图形学报，2012,17(9)：1150-1157. [4]万成凯.无标记人体运动捕捉及姿态估计的研究[D].北 TAO Linmi,YU Yapeng.Geometric constraints of locating 京：北京交通大学，2009：2-10. cameras and people[J].Journal of Image and Graphics, WAN Chengkai.Research on marker-less human body motion 2012,17(9):1150-1157. capture and pose estimation[D].Beijing:Beijing Jiaotong[I7]陈坚，吴恩华.单目视频中人体三维运动的迭代优化估 University,2009:2-10. 计[J刀].计算机辅助设计与图形学学报，2005,17(7)： [5]MULTON F,KULPA R,HOYET L,et al.Interactive animation 1523-1528. of virtual humans based on motion capture data[J].Computer CHEN Jian,WU Enhua.3D human motion reconstruction Animation and Virtual Worlds,2009.20(5/6):491-500. from monocular videos through iterative optimization [J]. [6]伍星.基于第二代Bandelet变换的人体检测方法研究 Journal of Computer-Aided Design Computer Graphics, [D].西安：西安电子科技大学，2010：5-10. 2005,17(7):1523-1528. WU Xing.Research on method in human detection based on[18]马颂德，张正友.计算机视觉一计算机理论与算法基 second generation Bandelet transform [D].Xi'an:Xidian U. 础[M].北京：科学出版社，1998：52. niversity,2010:5-10. [责任编辑：李雪莲]
的位置与手动获取的相对准确关节位置之间的偏差。 其中，右肩位置 Ｊ７ 、右膝位置 Ｊ１１ 的图像计算偏差分别 是图 ９～１０。 依照图 ９～１０，偏差相对较小，一般在 １０ 之内。 环境的改变使得一部分图像会出现偏离准确 值的情况，而前一图像的偏离不影响后面的计算，因 此跟踪偏差只对当前帧有影响，故此方法有自修复的 能力。 表 １ 给出了本文跟踪算法的像素误差在测试 视频中与比例正交投影和逆向运动学的比较结果；表 ２ 给出了本文跟踪算法与比例正交投影、逆向运动学 方法与由计算机图形绘制技术间接得到的真实值的 像素误差。 由表 ２ 分析得，本文算法的像素误差基本 在 １０ 像素以内，相对其他几种算法有较好的结果。 因此，本文算法的有效性得到有力的证明。 ５ 结论 本文在综合考虑跟踪效果和计算效率的情况下， 提出了一种简单高效，且不牺牲跟踪结果质量的基于 棍状模型的高效方法。 此运动跟踪流程根据摄像机 拍摄图像的流程更新形变外观模型，全部跟踪方法是 由图像局部坐标映射相机立体空间坐标，之后反映射 到图像局部坐标的方式。 因此，为虚拟动画、基于视 频的人机交互提供了一种新的方法。 参考文献： ［１］阮涛涛， 姚明海， 瞿心昱， 等． 基于视觉的人体运动分析 综述［Ｊ］． 计算机系统应用， ２０１０， ２０（２）： ２４５－２５３． ＲＵＡＮ Ｔａｏｔａｏ， ＹＡＯ Ｍｉｎｇｈａｉ， ＱＵ Ｘｉｎｙｕ， ｅｔ ａｌ． Ａ ｓｕｒｖｅｙ ｏｆ ｖｉｓｉｏｎ⁃ｂａｓｅｄ ｈｕｍａｎ ｍｏｔｉｏｎ ａｎａｌｙｓｉｓ［Ｊ］． Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍｓ ＆ Ａｐｐｌｉｃａｔｉｏｎｓ， ２０１０， ２０（２）： ２４５⁃２５３． ［２］李豪杰， 林守勋， 张勇东． 基于视频的人体运动捕捉综述 ［Ｊ］． 计算机辅助设计与图形学学报， ２００６， １８ （ １１）： １６４５⁃１６５０． ＬＩ Ｈａｏｊｉｅ， ＬＩＮ Ｓｈｏｕｘｕｎ， ＺＨＡＮＧ Ｙｏｎｇｄｏｎｇ． Ａ ｓｕｒｖｅｙ ｏｆ ｖｉｄｅｏ ｂａｓｅｄ ｈｕｍａｎ ｍｏｔｉｏｎ ｃａｐｔｕｒｅ［Ｊ］． Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ⁃Ａｉｄｅｄ Ｄｅ⁃ ｓｉｇｎ ＆ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ， ２００６， １８（１１）： １６４５⁃１６５０． ［３］龚文凌， 王洪澄， 孙敏． 视频交通监控系统中运动车辆捕 捉算法的研究［Ｊ］． 微型机与应用， ２００４， ２３（３）： ４５⁃４６． ＧＯＮＧ Ｗｅｎｌｉｎｇ， ＷＡＮＧ Ｈｏｎｇｃｈｅｎｇ， ＳＵＮ Ｍｉｎ． Ｔｈｅ ｒｅｓｅａｒｃｈ ｏｆ ｍｏｔｏｒｉａｌ ｖｅｈｉｃｌｅ ｃａｐｔｕｒｅ ａｒｉｔｈｍｅｔｉｃ ｏｎ ｖｉｓｉｏｎ⁃ｂａｓｅｄ ｔｒａｆｆｉｃ ｍｏｎｉｔｏｒ ｓｙｓｔｅｍ ［ Ｊ ］． Ｍｉｃｒｏｃｏｍｐｕｔｅｒ ＆ Ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎｓ， ２００４， ２３（３）： ４５⁃４６． ［４］万成凯． 无标记人体运动捕捉及姿态估计的研究［Ｄ］． 北 京： 北京交通大学， ２００９： ２⁃１０． ＷＡＮ Ｃｈｅｎｇｋａｉ． Ｒｅｓｅａｒｃｈ ｏｎ ｍａｒｋｅｒ⁃ｌｅｓｓ ｈｕｍａｎ ｂｏｄｙ ｍｏｔｉｏｎ ｃａｐｔｕｒｅ ａｎｄ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ［ Ｄ］． Ｂｅｉｊｉｎｇ： Ｂｅｉｊｉｎｇ Ｊｉａｏｔｏｎｇ Ｕｎｉｖｅｒｓｉｔｙ， ２００９： ２⁃１０． ［５］ＭＵＬＴＯＮ Ｆ， ＫＵＬＰＡ Ｒ， ＨＯＹＥＴ Ｌ ， ｅｔ ａｌ． Ｉｎｔｅｒａｃｔｉｖｅ ａｎｉｍａｔｉｏｎ ｏｆ ｖｉｒｔｕａｌ ｈｕｍａｎｓ ｂａｓｅｄ ｏｎ ｍｏｔｉｏｎ ｃａｐｔｕｒｅ ｄａｔａ［Ｊ］． Ｃｏｍｐｕｔｅｒ Ａｎｉｍａｔｉｏｎ ａｎｄ Ｖｉｒｔｕａｌ Ｗｏｒｌｄｓ， ２００９， ２０（５／ ６）： ４９１⁃５００． ［６］伍星． 基于第二代 Ｂａｎｄｅｌｅｔ 变换的人体检测方法研究 ［Ｄ］． 西安： 西安电子科技大学， ２０１０： ５⁃１０． ＷＵ Ｘｉｎｇ． Ｒｅｓｅａｒｃｈ ｏｎ ｍｅｔｈｏｄ ｉｎ ｈｕｍａｎ ｄｅｔｅｃｔｉｏｎ ｂａｓｅｄ ｏｎ ｓｅｃｏｎｄ ｇｅｎｅｒａｔｉｏｎ Ｂａｎｄｅｌｅｔ ｔｒａｎｓｆｏｒｍ ［Ｄ］． Ｘｉ’ａｎ： Ｘｉｄｉａｎ Ｕ⁃ ｎｉｖｅｒｓｉｔｙ， ２０１０： ５⁃１０． ［７］ＧＡＶＲＩＬＡ Ｄ Ｍ． Ｔｈｅ ｖｉｓｕａｌ ａｎａｌｙｓｉｓ ｏｆ ｈｕｍａｎ ｍｏｖｅｍｅｎｔ： ａ ｓｕｒｖｅｙ ［ Ｊ ］． Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ， １９９９， ７３（１）： ８２⁃９８． ［８］ ＪＩＡＮＧ Ｚｈｕｏｌｉｎ， ＬＩＮ Ｚｈｅ， ＤＡＶＩＳ Ｌ Ｓ． Ｒｅｃｏｇｎｉｚｉｎｇ ｈｕｍａｎ ａｃｔｉｏｎｓ ｂｙ ｌｅａｒｎｉｎｇ ａｎｄ ｍａｔｃｈｉｎｇ ｓｈａｐｅ⁃ｍｏｔｉｏｎ ｐｒｏｔｏｔｙｐｅ ｔｒｅｅｓ［ Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａ⁃ ｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， ２０１２， ３４（３）： ５３３⁃５４７． ［９］ＥＬＧＡＭＭＡＬ Ａ， ＳＨＥＴ Ｖ， ＹＡＣＯＯＢ Ｙ， ｅｔ ａｌ． Ｌｅａｒｎｉｎｇ ｄｙ⁃ ｎａｍｉｃｓ ｆｏｒ ｅｘｅｍｐｌａｒ⁃ｂａｓｅｄ ｇｅｓｔｕｒｅ ｒｅｃｏｇｎｉｔｉｏｎ ［ Ｃ］ ／ ／ ２００３ ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． Ｍａｄｉｓｏｎ， ＷＩ， ＵＳＡ： ＩＥＥＥ， ２００３， １： ５７１⁃５７８． ［１０］ＡＮ Ｋ Ｈ， ＣＨＵＮＧ Ｍ Ｊ． ３Ｄ ｈｅａｄ ｔｒａｃｋｉｎｇ ａｎｄ ｐｏｓｅ⁃ｒｏｂｕｓｔ ２Ｄ ｔｅｘｔｕｒｅ ｍａｐ⁃ｂａｓｅｄ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ ａ ｓｉｍｐｌｅ ｅｌｌｉｐ⁃ ｓｏｉｄ ｍｏｄｅｌ［Ｃ］ ／ ／ ＩＥＥＥ／ ＲＳＪ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎ⁃ ｔｅｌｌｉｇｅｎｔ Ｒｏｂｏｔｓ ａｎｄ Ｓｙｓｔｅｍｓ， ２００８． Ｎｉｃｅ： ＩＥＥＥ， ２００８： ３０７⁃３１２． ［１１］ＭＯＲＩ Ｇ， ＭＡＬＩＫ Ｊ． Ｒｅｃｏｖｅｒｉｎｇ ３Ｄ ｈｕｍａｎ ｂｏｄｙ ｃｏｎｆｉｇｕｒａ⁃ ｔｉｏｎｓ ｕｓｉｎｇ ｓｈａｐｅ ｃｏｎｔｅｘｔｓ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， ２００６， ２８ （ ７）： １０５２⁃ １０６２． ［１２］苟靖翔． 基于视觉信息特征和机器学习的人体运动跟踪 与三维姿势恢复［Ｄ］． 西安： 西安电子科技大学， ２０１２： １０⁃１２． ＧＯＵ Ｊｉｎｇｘｉａｎｇ． Ｈｕｍａｎ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ａｎｄ ３Ｄ ｒｅｃｏｖｅｒｙ ｂａｓｅｄ ｏｎ ｖｉｓｕａｌ ｇｅｏｍｅｔｒｉｃ ｆｅａｔｕｒｅｓ ａｎｄ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ［Ｄ］． Ｘｉ’ａｎ： Ｘｉｄｉａｎ Ｕｎｉｖｅｒｓｉｔｙ， ２０１２： １０⁃１２． ［１３］刘琼， 彭光正， 刘昊． 基于粒子滤波算法的三维关节型 人体运动跟踪［ Ｊ］． 北京理工大学学报， ２０１１， ３１（ ２）： １６３⁃１６７． ＬＩＵ Ｑｉｏｎｇ， ＰＥＮＧ Ｇｕａｎｇｚｈｅｎｇ， ＬＩＵ Ｈａｏ． ３Ｄ ａｒｔｉｃｕｌａｔｅｄ ｈｕｍａｎ ｂｏｄｙ ｔｒａｃｋｉｎｇ ｂｙ ｐａｒｔｉｃｌｅ ｆｉｌｔｅｒ［Ｊ］． Ｊｏｕｒｎａｌ ｏｆ Ｂｅｉｊｉｎｇ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ， ２０１１， ３１（２）： １６３⁃１６７． ［１４］邹北骥， 陈姝． 适用于单目视频的无标记三维人体运动 跟踪［Ｊ］． 计算机辅助设计与图形学学报， ２００８， ２０（８）： １０４７⁃１０５５． ＺＯＵ Ｂｅｉｊｉ， ＣＨＥＮ Ｓｈｕ． Ｍａｒｋｅｒｌｅｓｓ ３Ｄ ｈｕｍａｎ ｍｏｔｉｏｎ ｔｒａｃｋ⁃ ｉｎｇ ｆｏｒ ｍｏｎｏｃｕｌａｒ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅｓ［Ｊ］． Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ⁃ Ａｉｄｅｄ Ｄｅｓｉｇｎ ＆ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ， ２００８， ２０（８）： １０４７⁃ １０５５． ［１５］蔡杰， 郑江滨． 双目视觉下三维人体运动跟踪算法［ Ｊ］． 计算机应用研究， ２００９， ２６（４）： １２７９⁃１２８１． ＣＡＩ Ｊｉｅ， ＺＨＥＮＧ Ｊｉａｎｇｂｉｎ． ３Ｄ ｈｕｍａｎ ｍｏｔｉｏｎ ｔｒａｃｋｉｎｇ ａｌｇｏ⁃ ｒｉｔｈｍ ｉｎ ｂｉｎｏｃｕｌａｒ ｃａｍｅｒａ ｓｙｓｔｅｍ［ Ｊ］． Ａｐｐｌｉｃａｔｉｏｎ Ｒｅｓｅａｒｃｈ ｏｆ Ｃｏｍｐｕｔｅｒｓ， ２００９， ２６（４）： １２７９⁃１２８１． ［１６］陶霖密， 于亚鹏． 摄像机几何约束及人体定位［Ｊ］． 中国 图象图形学报， ２０１２， １７（９）： １１５０⁃１１５７． ＴＡＯ Ｌｉｎｍｉ， ＹＵ Ｙａｐｅｎｇ． Ｇｅｏｍｅｔｒｉｃ ｃｏｎｓｔｒａｉｎｔｓ ｏｆ ｌｏｃａｔｉｎｇ ｃａｍｅｒａｓ ａｎｄ ｐｅｏｐｌｅ ［ Ｊ］． Ｊｏｕｒｎａｌ ｏｆ Ｉｍａｇｅ ａｎｄ Ｇｒａｐｈｉｃｓ， ２０１２， １７（９）： １１５０⁃１１５７． ［１７］陈坚， 吴恩华． 单目视频中人体三维运动的迭代优化估 计［Ｊ］． 计算机辅助设计与图形学学报， ２００５， １７（ ７）： １５２３⁃１５２８． ＣＨＥＮ Ｊｉａｎ， ＷＵ Ｅｎｈｕａ． ３Ｄ ｈｕｍａｎ ｍｏｔｉｏｎ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｆｒｏｍ ｍｏｎｏｃｕｌａｒ ｖｉｄｅｏｓ ｔｈｒｏｕｇｈ ｉｔｅｒａｔｉｖｅ ｏｐｔｉｍｉｚａｔｉｏｎ ［ Ｊ ］． Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ⁃Ａｉｄｅｄ Ｄｅｓｉｇｎ ＆ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ， ２００５， １７（７）： １５２３⁃１５２８． ［１８］马颂德， 张正友． 计算机视觉———计算机理论与算法基 础［Ｍ］． 北京： 科学出版社， １９９８： ５２． ［责任编辑：李雪莲］ ·５５４· 智 能 系 统 学 报 第 １０ 卷