第4期 赵军，等：基于改进逆向运动学的人体运动跟踪 ·549. 变的假设，而真实的跟踪过程中关节运动模型是变 2)人体外观模型。人体外观模型由外观形状 速且带有随机性的，会导致局部寻优较慢：当预测位 模型及外观纹理模型构成。如图2所示，人体外观 置出现较大偏差，关节不在寻优区域时，会导致找不 模型共由一些矩形块构成。每个矩形对应人体的一 到准确的关节位置。因此，采用了粒子滤波的方式 节身体片段。矩形由人体段内部的像素值构成，其 对关节位置进行预测，提高了跟踪的有效性。 中相对坐标是形状模型及像素值是纹理模型。 2)文中同时提出了利用3dmax生成序列图片 作为测试样本，将跟踪结果与3dmax得到的真实数 据进行比较的验证方法。其中，图片序列的生成过 程采用根据已知运动目标的关节位置，生成人体的 动作序列，进而生成实验所需视频。然后，使用传统 算法与本文算法在生成所得视频基础上进行运动目 标的跟踪，从而获得运动目标的最优估计值。最后 将估计值与原始的真实值比较，通过计算人体各关 节图像空间的像素值偏差，说明本文算法的有效性。 1人体骨骼及外观模型 图2人体外观模型 Fig.2 Rep of human body's appearance model 本节介绍本文所用的人体骨骼模型和人体外观 3)摄像机成像模型。三维空间中某点的坐标 模型及对相关名称进行解释。 值与该点在二维投影平面上的坐标(，)满足以 1)人体骨骼模型如图1所示。本文将人体看 下方程： 成是一种棍状树型模型，其包含15节身体片与8对 关节。其中，根节点J1对应人体骨骼结构的盆骨： 10 (1) J:对应的人体位置，如图1所示。文中在人体骨骼 01 模型上定义了2种坐标系：(a)局部坐标系，坐标系 的原点为相应关节，坐标系方向，如图2右上方所 参数：是反比例因子，根据公式：=子计算得 示：(b)基坐标系。此坐标系的中心点为J1关节。 到6。此公式中，∫是相机的焦距，：是此点的相机 它的轴向与系统开始状态下J,局部坐标系的轴向 透视空间深度坐标。从式(1)可知，△s=T(4z),即 保持相同。文中用欧拉角[来标识关节的旋转，它 △s与Az成正比例。 的公式是（α，B,y),其中a表示绕x轴旋转角度，B 表示绕y轴旋转角度，y表示绕z轴旋转角度。 2算法框架 不失一般性，本文讨论人身体各个关节运动的 问题。本文算法框图如图3所示，包含下面4步。 1)跟踪系统初始化。使用者根据跟踪系统提 z坐标正方向指向纸背 供的输入界面来确定人体骨骼模型和外观模型。如 图4，外观模型是人体各段的像素信息。该部分输 入为视频第一帧图像，由使用者在其上标识出的关 节点位置计算出人体外观模型及人体骨架模型[) 中各身体部分的相对尺寸。 2)求旋转欧拉角。按照树形化方式[8]，如图1 右图。由待计算关节的预测的在二维图像中的位 置，借助逆向运动学模型计算出此关节所在人体片 段的旋转角度。第一步依据人体各部分相对比值计 算出此关节在透视相机模型下相应的立体空间坐 右 标。第2步根据改进的逆向运动学计算出旋转角。 图1人体骨骼和关节模型 3)求关节在图像中的位置。根据上一步获得 Fig.1 The human bone model and joint model 的关节旋转欧拉角依照正向运动学劉计算出此关变的假设，而真实的跟踪过程中关节运动模型是变 速且带有随机性的，会导致局部寻优较慢；当预测位 置出现较大偏差，关节不在寻优区域时，会导致找不 到准确的关节位置。 因此，采用了粒子滤波的方式 对关节位置进行预测，提高了跟踪的有效性。 ２）文中同时提出了利用 ３ｄｍａｘ 生成序列图片 作为测试样本，将跟踪结果与 ３ｄｍａｘ 得到的真实数 据进行比较的验证方法。 其中，图片序列的生成过 程采用根据已知运动目标的关节位置，生成人体的 动作序列，进而生成实验所需视频。 然后，使用传统 算法与本文算法在生成所得视频基础上进行运动目 标的跟踪，从而获得运动目标的最优估计值。 最后 将估计值与原始的真实值比较，通过计算人体各关 节图像空间的像素值偏差，说明本文算法的有效性。 １ 人体骨骼及外观模型 本节介绍本文所用的人体骨骼模型和人体外观 模型及对相关名称进行解释。 １）人体骨骼模型如图 １ 所示。 本文将人体看 成是一种棍状树型模型，其包含 １５ 节身体片与 ８ 对 关节。 其中，根节点 Ｊ１ 对应人体骨骼结构的盆骨； Ｊｉ 对应的人体位置，如图 １ 所示。 文中在人体骨骼 模型上定义了 ２ 种坐标系：（ ａ）局部坐标系，坐标系 的原点为相应关节，坐标系方向，如图 ２ 右上方所 示；（ｂ）基坐标系。 此坐标系的中心点为 Ｊ１ 关节。 它的轴向与系统开始状态下 Ｊ１ 局部坐标系的轴向 保持相同。 文中用欧拉角［１５］来标识关节的旋转，它 的公式是 (α，β，γ) ，其中 α 表示绕 ｘ 轴旋转角度， β 表示绕 ｙ 轴旋转角度， γ 表示绕 ｚ 轴旋转角度。 图 １ 人体骨骼和关节模型 Ｆｉｇ．１ Ｔｈｅ ｈｕｍａｎ ｂｏｎｅ ｍｏｄｅｌ ａｎｄ ｊｏｉｎｔ ｍｏｄｅｌ ２）人体外观模型。 人体外观模型由外观形状 模型及外观纹理模型构成。 如图 ２ 所示，人体外观 模型共由一些矩形块构成。 每个矩形对应人体的一 节身体片段。 矩形由人体段内部的像素值构成，其 中相对坐标是形状模型及像素值是纹理模型。 图 ２ 人体外观模型 Ｆｉｇ．２ Ｒｅｐ ｏｆ ｈｕｍａｎ ｂｏｄｙ’ｓ ａｐｐｅａｒａｎｃｅ ｍｏｄｅｌ ３）摄像机成像模型。 三维空间中某点的坐标 值与该点在二维投影平面上的坐标 (ｕ，ｖ) 满足以 下方程： ｕ ｖ æ è ç ö ø ÷ ＝ １ ｓ １ ０ ０ ０ ０ １ æ è ç ö ø ÷ ｘ ｙ ｚ æ è ç ç ç ö ø ÷ ÷ ÷ （１） 参数 ｓ 是反比例因子，根据公式 ｓ ＝ ｚ ｆ 计算得 到［１６］ 。 此公式中， ｆ 是相机的焦距， ｚ 是此点的相机 透视空间深度坐标。 从式（１）可知， Δｓ ＝ Ｔ(Δｚ) ，即 Δｓ 与 Δｚ 成正比例。 ２ 算法框架 不失一般性，本文讨论人身体各个关节运动的 问题。 本文算法框图如图 ３ 所示，包含下面 ４ 步。 １）跟踪系统初始化。 使用者根据跟踪系统提 供的输入界面来确定人体骨骼模型和外观模型。 如 图 ４，外观模型是人体各段的像素信息。 该部分输 入为视频第一帧图像，由使用者在其上标识出的关 节点位置计算出人体外观模型及人体骨架模型［１７］ 中各身体部分的相对尺寸。 ２）求旋转欧拉角。 按照树形化方式［１８］ ，如图 １ 右图。 由待计算关节的预测的在二维图像中的位 置，借助逆向运动学模型计算出此关节所在人体片 段的旋转角度。 第一步依据人体各部分相对比值计 算出此关节在透视相机模型下相应的立体空间坐 标。 第 ２ 步根据改进的逆向运动学计算出旋转角。 ３）求关节在图像中的位置。 根据上一步获得 的关节旋转欧拉角依照正向运动学［８］ 计算出此关 第 ４ 期 赵军，等：基于改进逆向运动学的人体运动跟踪 ·５４９·