182 智能系统学报 第11卷 2.1示教者骨骼点信息采集 2.2Nao机器人关节自由度与骨骼点的映射关系 Kinect for windows v2是微软专为开发者发布的 推导 一款3D体感摄影机，包含RGB彩色摄像机及由红 仿人机器人Nao是Aldebaran Robotics公司开 外线发射器和红外线CMOS摄像机所构成的3D深 发机器人平台，具有25个自由度，共13个关节，右 度传感器，利用彩色摄像头采集到的彩色图像与红 上肢的自由度如图4所示。由于Kinect采集的骨骼 外摄像头采集到的深度图像，导入即时动态捕捉、影 信息中均认定所有关节为质点，故末端关节的转动 像辨识功能，能够提取25个关节点，从而得到人体 信息无法从Kinect提取的骨架信息中计算得到，因 的骨架信息，S=[s1,52,…,s,…,25],其中5= 此忽略各关节的转动信息，推导出各关节对应的自 (x,y,a;),如图2，Kinect的空间坐标系如图3。 由度及所需的Kinect骨骼点如表1所示。 579 78 0g :o 图3 Kinect的空间坐标系 图4Nao机器人右上肢自由度 Fig.3 The space coordinate system of Kinect Fig.4 The DOF of right upper limb of Nao robot 表I各关节对应的自由度及所需的Kinect骨骼点信息 Table 1 The DOFs corresponding to each joint and the skeleton point of information needed to be accessed 关节 自由度 Kinect骨骼点 头部(Head) HeadPitch Head、Neck、,Spine Shoulder 手部(Hand) LHand、RHand None 左肩(LShoulder) LShoulderPitch LShoulderRoll Elbow_.L、Shoulder_L、Spine_Shoulder、Spine_.Mid 右肩(RShoulder) RShoulderPitch RShoulderRoll Elbow._R、Shoulder_.R、Spine_.Shoulder、Spine_.Mid 左肘(LElbow) LElbow Yaw LElbowRoll Wrist_.L、Elbow_.L、Shoulder_.L、Spine_Shoulder 右肘(RElbow) RElbow Yaw ,RElbowRoll Wrist_R,Elbow_R,Shoulder_R,Spine_Shoulder 左大腿(LHip) LHipPitch、,LHipRoll Knee_L、Hip_L、Spine_.Base、Spine_Mid 右大腿(RHip) RHipPitch、RHipRoll Knee_R、Hip_R,Spine_Base、Spine_.Mid 左膝(LKnee) LKneePitch Ankle_.L、Knee_L、,Hip_L 右膝(RKnee) RKneePitch Ankle_R,Knee_R,Hip_R 2.3关节示教信息的获取 P2P1=P1-P2=(x1-x2,y1-y2,1-22) 利用Kinect获取骨骼点三维坐标信息，生成关节 P2P3=P3-P2=（x3-x2y3-y23-2） 向量，通过计算关节向量的夹角得到各关节控制角， P3P4=P4-P3=（x4-x3y4-y3,之4-23） 以右肘翻滚角RElbowRoll和偏航角RElbowYaw(图4 (1) 中方框部分)为例，对关节角的计算过程进行说明。 则关节角RElbowRoll为 由表1知，为求RElbowRoll和RElbowYaw的关节角 0REIbowRoll =p2 P1,P2 P3 > 需要Kinect提取的骨骼点有Wrist_R、Elbow_R、Shoul-. (2) derR,Spine_Shoulder,.如图2所示，分别用p1P2P3、 P2P1·P2P3 arccos P2 PIP2 P3 P4表示，设其三维坐标信息分别为(x少1，)、(x2: 记向量P3.4P2.3=P3P4×P2P3,则关节角RElbow- y222）、(3,y3,3)、(x4,y4,24)则有向量： Yaw为２．１ 示教者骨骼点信息采集 Ｋｉｎｅｃｔ ｆｏｒ ｗｉｎｄｏｗｓ ｖ２ 是微软专为开发者发布的 一款 ３Ｄ 体感摄影机，包含 ＲＧＢ 彩色摄像机及由红 外线发射器和红外线 ＣＭＯＳ 摄像机所构成的 ３Ｄ 深 度传感器，利用彩色摄像头采集到的彩色图像与红 外摄像头采集到的深度图像，导入即时动态捕捉、影 像辨识功能，能够提取 ２５ 个关节点，从而得到人体 的骨架信息， Ｓ ＝ ［ ｓ１ ， ｓ２ ，…， ｓｉ，…， ｓ２５ ］ ，其中 ｓｉ ＝ （ｘｉ，ｙｉ，ｚｉ） ，如图 ２，Ｋｉｎｅｃｔ 的空间坐标系如图 ３。 图 ３ Ｋｉｎｅｃｔ 的空间坐标系 Ｆｉｇ．３ Ｔｈｅ ｓｐａｃｅ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ ｏｆ Ｋｉｎｅｃｔ ２．２ Ｎａｏ 机器人关节自由度与骨骼点的映射关系 推导 仿人机器人 Ｎａｏ 是 Ａｌｄｅｂａｒａｎ Ｒｏｂｏｔｉｃｓ 公司开 发机器人平台，具有 ２５ 个自由度，共 １３ 个关节，右 上肢的自由度如图 ４ 所示。 由于 Ｋｉｎｅｃｔ 采集的骨骼 信息中均认定所有关节为质点，故末端关节的转动 信息无法从 Ｋｉｎｅｃｔ 提取的骨架信息中计算得到，因 此忽略各关节的转动信息，推导出各关节对应的自 由度及所需的 Ｋｉｎｅｃｔ 骨骼点如表 １ 所示。 图 ４ Ｎａｏ 机器人右上肢自由度 Ｆｉｇ．４ Ｔｈｅ ＤＯＦ ｏｆ ｒｉｇｈｔ ｕｐｐｅｒ ｌｉｍｂ ｏｆ Ｎａｏ ｒｏｂｏｔ 表 １ 各关节对应的自由度及所需的 Ｋｉｎｅｃｔ 骨骼点信息 Ｔａｂｌｅ １ Ｔｈｅ ＤＯＦｓ ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｔｏ ｅａｃｈ ｊｏｉｎｔ ａｎｄ ｔｈｅ ｓｋｅｌｅｔｏｎ ｐｏｉｎｔ ｏｆ ｉｎｆｏｒｍａｔｉｏｎ ｎｅｅｄｅｄ ｔｏ ｂｅ ａｃｃｅｓｓｅｄ 关节 自由度 Ｋｉｎｅｃｔ 骨骼点 头部（Ｈｅａｄ） ＨｅａｄＰｉｔｃｈ Ｈｅａｄ、Ｎｅｃｋ、Ｓｐｉｎｅ＿Ｓｈｏｕｌｄｅｒ 手部（Ｈａｎｄ） ＬＨａｎｄ、ＲＨａｎｄ Ｎｏｎｅ 左肩（ＬＳｈｏｕｌｄｅｒ） ＬＳｈｏｕｌｄｅｒＰｉｔｃｈ、ＬＳｈｏｕｌｄｅｒＲｏｌｌ Ｅｌｂｏｗ＿Ｌ、Ｓｈｏｕｌｄｅｒ＿Ｌ、Ｓｐｉｎｅ＿Ｓｈｏｕｌｄｅｒ、Ｓｐｉｎｅ＿Ｍｉｄ 右肩（ＲＳｈｏｕｌｄｅｒ） ＲＳｈｏｕｌｄｅｒＰｉｔｃｈ、ＲＳｈｏｕｌｄｅｒＲｏｌｌ Ｅｌｂｏｗ＿Ｒ、Ｓｈｏｕｌｄｅｒ＿Ｒ、Ｓｐｉｎｅ＿Ｓｈｏｕｌｄｅｒ、Ｓｐｉｎｅ＿Ｍｉｄ 左肘（ＬＥｌｂｏｗ） ＬＥｌｂｏｗＹａｗ、ＬＥｌｂｏｗＲｏｌｌ Ｗｒｉｓｔ＿Ｌ、Ｅｌｂｏｗ＿Ｌ、Ｓｈｏｕｌｄｅｒ＿Ｌ、Ｓｐｉｎｅ＿Ｓｈｏｕｌｄｅｒ 右肘（ＲＥｌｂｏｗ） ＲＥｌｂｏｗＹａｗ、ＲＥｌｂｏｗＲｏｌｌ Ｗｒｉｓｔ＿Ｒ、Ｅｌｂｏｗ＿Ｒ、Ｓｈｏｕｌｄｅｒ＿Ｒ、Ｓｐｉｎｅ＿Ｓｈｏｕｌｄｅｒ 左大腿（ＬＨｉｐ） ＬＨｉｐＰｉｔｃｈ、ＬＨｉｐＲｏｌｌ Ｋｎｅｅ＿Ｌ、Ｈｉｐ＿Ｌ、Ｓｐｉｎｅ＿Ｂａｓｅ、Ｓｐｉｎｅ＿Ｍｉｄ 右大腿（ＲＨｉｐ） ＲＨｉｐＰｉｔｃｈ、ＲＨｉｐＲｏｌｌ Ｋｎｅｅ＿Ｒ、Ｈｉｐ＿Ｒ、Ｓｐｉｎｅ＿Ｂａｓｅ、Ｓｐｉｎｅ＿Ｍｉｄ 左膝（ＬＫｎｅｅ） ＬＫｎｅｅＰｉｔｃｈ Ａｎｋｌｅ＿Ｌ、Ｋｎｅｅ＿Ｌ、Ｈｉｐ＿Ｌ 右膝（ＲＫｎｅｅ） ＲＫｎｅｅＰｉｔｃｈ Ａｎｋｌｅ＿Ｒ、Ｋｎｅｅ＿Ｒ、Ｈｉｐ＿Ｒ ２．３ 关节示教信息的获取 利用 Ｋｉｎｅｃｔ 获取骨骼点三维坐标信息，生成关节 向量，通过计算关节向量的夹角得到各关节控制角， 以右肘翻滚角 ＲＥｌｂｏｗＲｏｌｌ 和偏航角 ＲＥｌｂｏｗＹａｗ（图 ４ 中方框部分）为例，对关节角的计算过程进行说明。 由表 １ 知，为求 ＲＥｌｂｏｗＲｏｌｌ 和 ＲＥｌｂｏｗＹａｗ 的关节角 需要 Ｋｉｎｅｃｔ 提取的骨骼点有 Ｗｒｉｓｔ＿Ｒ、Ｅｌｂｏｗ＿Ｒ、Ｓｈｏｕｌ⁃ ｄｅｒ＿Ｒ，Ｓｐｉｎｅ＿Ｓｈｏｕｌｄｅｒ，如图 ２ 所示，分别用 ｐ１ 、ｐ２ 、ｐ３ 、 ｐ４ 表示，设其三维坐标信息分别为 （ｘ１ ，ｙ１ ，ｚ１ ）、（ｘ２ ， ｙ２ ，ｚ２ ）、（ｘ３ ，ｙ３ ，ｚ３ ）、（ｘ４ ，ｙ４ ，ｚ４ ） 则有向量： ｐ２ ｐ１ ＝ ｐ１ － ｐ２ ＝ （ｘ１ － ｘ２ ，ｙ１ － ｙ２ ，ｚ１ － ｚ２ ） ｐ２ ｐ３ ＝ ｐ３ － ｐ２ ＝ （ｘ３ － ｘ２ ，ｙ３ － ｙ２ ，ｚ３ － ｚ２ ） ｐ３ ｐ４ ＝ ｐ４ － ｐ３ ＝ （ｘ４ － ｘ３ ，ｙ４ － ｙ３ ，ｚ４ － ｚ３ ） ì î í ï ï ï ï （１） 则关节角 ＲＥｌｂｏｗＲｏｌｌ 为 θＲＥｌｂｏｗＲｏｌｌ ＝ ＜ ｐ２ ｐ１ ，ｐ２ ｐ３ ＞ ＝ ａｒｃｃｏｓ ｐ２ ｐ１·ｐ２ ｐ３ ｐ２ ｐ１ ｐ２ ｐ３ æ è ç ö ø ÷ （（２） 记向量 ｐ３，４ ｐ２，３ ＝ ｐ３ ｐ４ × ｐ２ ｐ３ ，则关节角 ＲＥｌｂｏｗ⁃ Ｙａｗ 为 ·１８２· 智 能 系 统 学 报 第 １１ 卷