第4卷第3期 智能系统学报 Vol.4 No.3 2009年6月 CAAI Transactions on Intelligent Systems Jn.2009 doi:10.3969/j.issn.16734785.2009.03.012 平行线约束下的视角无关步态识别算法 张元元，吴晓娟，李秀媛，阮秋琦 (1.山东大学信息科学与工程学院，山东济南250100：2.北京交道大学信息科学研究所，北京100044) 摘要：提出了一种满足一定约束条件的与视角无关的步态识别算法.首先给出了与视角无关步态特征的定义及约束条 件，进而探讨了在单目平行线约束下空间点的坐标重建方法，利用相应的坐标转换因子可以从拍极到的二维图像恢复出关 键点的空间三维坐标.然后将人体建模成一个相互连接的三棍模型，利用这种坐标重建方法可以恢复出模型的参数，并定 义了由模型参数表示的步态特征向量，即与视角无关的步态特征.理论推导和实验结果表明，这种方法在理想情况下能克 服视角因素的影响.虽然得到的正确识别率不高，但它提供了多种视角交叉进行识别的可能性。 关键词：单目摄像机；平行线约束；三维重建；视角无关；步态识别 中图分类号：TP391.4文献标识码：A文章编号：16734785(2009)030264-06 Viewpoint-independent gait recognition with parallel line constraints ZHANG Yuan-yuan',WU Xiao-juan',LI Xiu-yuan',RUAN Qiu-qi2 (1.School of Information Science and Technology,Shandong University,Ji'nan 250100,China;2.Institute of Information Science, Beijing Jiaotong University,Beijing 100044,China) Abstract:This paper proposes a novel gait recognition algorithm that is independent of viewpoints under certain constraints.First,we described the definition of the proposed gait feature and its constraints.Then we discussed a coordinate reconstruction method for spatial points under the constraints of monocular parallel lines.With this we could employ the relevant coordinate conversion factor to recover 3D coordinates of some key points from 2D monoc- ular camera images.The human body was modeled and simplified as three connected sticks,and the parameters of that model were estimated using the proposed reconstruction method.Thus,we obtained viewpoint-independent gait features represented by those parameters.Both theoretical calculations and experimental results revealed that the proposed gait features partially avoid the influence of viewpoint under ideal circumstances.Though correct classifi- cation rates are not high enough,it provides a useful tool for the identification of human gaits at arbitrary viewing angles. Keywords:monocular camera;parallel restriction;3D reconstruction;viewpoint independent;gait recognition 步态，即人的行走方式医学研究表明步态具有 模型无关的方法，它通过分析目标侧影并从中得到 良好的特异性，它依赖于个体的身体特征和行走习 一定的步态表示.由于只需分析侧影图像的某些性 惯，具有良好的非侵犯性及难于隐藏等优点.因此， 质，避免了复杂的人体结构建模与运动建模，因此处 可认为步态是一种理想的、独特的可用于身份识别 理起来相对比较容易.典型的算法有南安普敦大学 的生物特征.随着安全敏感场合对视觉监控系统的 的研究者提出的主成分分析2]和正则分析)的方 需求越来越迫切，非接触式远距离的身份识别研 法以及中科院王亮等人提出的轮廓解卷绕的方 究)近来引起了计算机视觉学者们的浓厚兴趣. 法4和Procrustes统计步态分析[5J等.虽然这种基 目前，步态识别方法大体可分为2类.第一类是 于侧影的方法取得了较好的跟踪与识别效果，但它 始终无法克服遮挡以及视角因素带来的不利影响. 另一类是基于模型的方法，这类方法对人体结构进 收稿日期：200806-03. 基金项目：国家自然科学基金资助项目(60675024) 行建模，并试图从图像序列中恢复运动参数，它包含 通信作者：吴晓娟.E-mail:xiaojwu@du.edu.cm. 运动跟踪及运动建模，要求模型能够很好地模拟人
第3期 张元元，等：平行线约束下的视角无关步态识别算法 .265 的运动.例如，Yam6]等人提出了连接钟摆建模腿部 为相邻2个左（右）支撑最近距离姿态的间隔时间， 的方法，以及麻省理工[)、瑞士联邦技术学院别的 如图2所示 学者研究了通过计算机视觉90的方法恢复人体的 结构模型并进行识别.这些方法中一般都采用多个 摄像机并辅助特殊设备进行三维结构重建与参数恢 复，计算复杂度很高， 考虑真实场景中所拍摄的目标，其行走方向往 往是随机的，尤其是在犯罪现场或者公共监控场所， 这无法保证拍摄的视频满足特定的视角条件，而且 通常只有1个摄像机.因此，一种与拍摄视角无关的 图2步态周期的定义 步态识别方法，对于步态识别系统的实用化显得尤 Fig.2 The definition of gait cycle 为重要.这种新的步态识别方法应该具有以下特点： 为了简化处理，进一步假设如下： 1)不受视角因素和遮挡等因素的影响；2)避免过于 1)将小孔成像作为摄像机的成像原理.摄像机 复杂的建模，并且最好在步态采集过程中使用单目 成像一般遵循透镜成像原理，但是在物距较大时可 摄像机，因为这样最符合实际情况 以使用小孔成像来近似分析问题.另外，这种假设也 本文对上述新方法作了一定的尝试：首先给出 无需考虑镜头曲率对成像过程造成的影响， 了视角无关步态特征的定义；然后利用平行线约束 2)相邻2个左（右）支撑最近距离姿态之间，目 求解像点所对应物点在三维空间中的坐标；在此基 标沿直线运动，该方向称为步行方向. 础上提出了一种视角无关的特征提取方法，并实现 3)相邻2个左（右）支撑最近距离姿态之间，头 了多视角交叉情况下的步态识别；此外还给出了遮 部点与脚部点的运动轨迹在同一平面上，且该平面 挡出现时的处理策略：最后，给出了实验结果 与地面垂直.这种近似是与视角相关的.以NLPR数 1 相关定义 据库门为例，在侧面90°视角下的计算结果较为准 确，近似也较为合理；在135°视角下计算的时候将 视角无关的步态特征是指从视频序列中提取并 出现误差，这种误差在迎面180°视角的情况下达到 在一定程度上反映人体步态内在特征的数学表达. 最大.如图3所示， 该特征在各种拍摄视角情况下都可通过图像处理技 术获得，不会因为拍摄视角的变化而产生畸变.如 图1所示，将特定姿态下的人体高度定义为该姿态 下头顶部到脚底部在竖直方向上的距离.尽管人在 行走时由于姿势的不同，身高会略有不同，但差异较 (a)90视宿 j135视 (c)180°月 小.为了简化计算，假定人在行走过程中身高始终保 图33个不同拍摄视角步态示例 持为H.将左（右）脚支撑，右（左）脚摆动，且两脚距 Fig.3 The person's gaits towards three different directions 离最近时的人体姿态称为左（右）支撑最远距离姿 因此，本文所指的视角无关步态特征并非完全 态，如图1(a)所示；而将两脚几乎同时支撑，且两 不受拍摄视角的制约，而是通过弱化某些条件来实 脚距离最近时的人体姿态称为左（右）支撑最近距 现的.然而现实情况中，这样的处理可以简化计算并 离姿态，如图1(b)所示 得到近似精确的结果 2特征提取 为了从单目摄像机拍摄的步态序列中提取视角 无关的步态特征，首先讨论了一种基于平行线约束 {a)姿念上 (b)姿叁2 的三维空间点的重建方法]，并对人体进行基于平 图12个不同姿态下的人体高度 行线约束的三维运动分析：进而将人体建模成相互 Fig.1 The heights of a person at two different stances 连接的三棍模型，并得到了利用模型参数表示的视 根据上述关键姿态的定义，可将步态周期定义 角无关步态特征
.266 智能系统学报 第4卷 2.1空间点的三维重建 5=o8B=|8m-6l+8n-dl-l8m-6l 如图2所示，在世界坐标系中，平面X02表示 2√/Tδm-δMIl6m-8MI 地平面，Y轴表示高度.设步态周期为T.基于前文 式中：大写P代表空间中的三维点，小写p为P在 的假设2)，在步行过程中人体2个相邻的左（右）支 像平面上的像点. 撑最近距离姿态可以确定空间中的一对平行线。各 定义向量V=[”1234,]T.在理想的情况 姿态下头部顶点的连线LH和脚底部分的连线，是 下，向量V仅与模型参数以及模型在像平面上的投 平行的，其距离近似等于人体高度H.基于假设3)， 影有关，而与摄像机和目标之间的相对位置无关.因 2条lH和所确定的平面S垂直于地面XO2,头部 此，向量V具有视角无关的性质.从。时刻过渡到 和脚部的运动轨迹均在平面S内. r时刻，假定共有N帧图像，则可得到N个的视角 对于摄像机所得的图像中任一点P(x,y)(即 无关向量V1,V2,…,Vw,将其表示成矩阵形式为 像点)所对应的物点P在世界坐标系中的坐标(X, Fy =[V V2.Vy]"=[ff fs fa fs]. Y,Z)可由如下公式求得 式中f(i=1,2,…,5)为列向量.此时，Fv满足本 [X Y Z]=mlx y f]=(H/h)[x y f]". 文对于视角无关步态特征的定义，因此F就是提 式中：？=H/h,是像平面到空间三维坐标的转换系 出的视角无关的步态特征 数，称为坐标转换因子；H是两平行线la与l之间 2.3特征提取过程 的距离即人体身高；h为这2条平行线在像平面中 可按以下步骤来提取视角无关的步态特征Fx: 的距离：∫是摄像机焦距 1)利用文献[12]的方法确定摄像机的焦距∫ 2.2视角无关的步态特征 2)确定起始左（右）支撑最近距离姿态，并将其 将人体结构建模为1个相互连接的三棍模型， 作为起始时刻；确定下一个左（右）支撑最近距离 如图4所示.该模型的4个质点PH、Pm、Pm和PM 姿态，将其作为终止时刻 分别为代表头部质心、左脚质心、右脚质心以及人体 3)根据上一步中确定的2个相邻的左（右）支 中部质心.设起始时刻为。，考虑1个周期的步态序 撑最近距离姿态，确定头部连接线和脚部连接线 列，即终止时刻为坏如图4所示，P、pLB分别是 ,及头部质心、左脚质心、右脚质心以及人体中部质 各质心点连线间的夹角. 心在像平面中的坐标。 4)确定6到r之间各时刻头部点Pu脚部点Pn 和P以及直线点P的空间坐标，并计算该时刻对应 的视角无关向量V,进而获得步态特征矩阵F 5)对特征矩阵Fw的各个列向量幅度与长度进 行归则化处理.将F￥的每一列都除以该列元素的 均值即可将幅度规则化由于每个步态序列的周期 图4人体结构的三棍模型 各不相同，因此需将所有的列向量的长度使用插值 Fig.4 Three-stick model of human body 法归一化到同一指定长度. 假定6=P,(i=FL,FR,M,H),其中：= 3遮挡处理策略 H:/h则可以定义并计算下列5个由模型参数表示 的量： 由于使用单目摄像机拍摄，不可避免地会受到 遮挡的影响.对于被遮挡的部分，须采用适当的方法 1三 PnPM PALTAL PMTIM 6m-δM PEPM PHTH PMTM δH-6M 进行估计.为了简化运算，根据步态的特点，提出了 以下的运动估计算法. 2= PmPu PmIm一PMIM δm-8M PHPM I PHTH PMTM 8H-6M 1)取连续的3帧I1、I2和3，通过目标点（头部点、 1 8H-5M1+1 5mR-8MI-1 8m-8H 脚点和直线点)在各顿中的位置(x1,y1)、(名2，y2)、(, =C08P= 2√/TδH-δMII8m-δMI y⅓)，可以计算其在I时刻水平方向上的速度”✉和加速 I 88-5v l +l 6n.-8M I-1 5n.-88I 度ag,竖直方向上的速度v,g和加速度ag 4=C08pL三 2T8H-δMIl6nm-6wl 2)目标点在第4帧I4中的位置(x4,y4)可以通 过下式进行估计：
第3期 张元元，等：平行线约束下的视角无关步态识别算法 .267. x4=+a△t+0.5ag()2, 标A和B在3个视角下所获得的步态特征，横坐标 y4=y3+"g△t+0.5aa3(△)2 代表步态特征向量的长度即步态序列所包含的帧 式中，△为从，到I4所经历的时间，即步态视频帧 数，而纵坐标代表了f,…方5个特征向量，为方 率的倒数，一般为1/25. 便比较，将向量长度通过插值法归一化到统一值。 从图5可以很直观地看出，对于同一目标(A或B) 4 实验结果 所提取的步态特征在90°、135°和180°视角时均具 实验中采用中科院自动化所提供的NLPR数据 有较好的相似性，说明本文的方法的确能够在一定 库中6个人的视频数据，每人3个拍摄视角分别为 程度上克服视角因素的影响，具有视角无关的特性 90°、135°和180°，每个视角4个序列，共计72个步 另外对于不同目标在同一视角时也具有一定的差异 态序列.将实验所得的特征F的列向量∫到，绘 性，说明可以将该特征用于基于步态的身份识别 制在一张图上，如图5所示.图中所示为2个不同目 1. 5 0. 口 -0. 5 5 10 15 2025 30 1015202530 步态序列顿数 步态序列懒数 (a)H标A(90) (b)H标B(90》 0. 0. 0 5 0 1520 50 25 10 1520 25 30 步念序列帧数 少态序列顿数 (c)日标A(135°)》 (d)日标B(135) 0.5 10 1520 25 30 101520 23 30 态序列颜数 步态序列航数 (e)日标A(180°) ()日标B(180) 图52个不同目标(A与B)在3个不同视角下的步态持征 Fig.5 The extracted gait features of different targets at three different viewpoints
.268 智能系统学报 第4卷 为了验证该算法所提取的步态特征用于身份识 gait challenge problem:data scts,performance,and analy- 别的有效性，设计了2组实验.第一组实验是将6个 sis[J].IEEE Transactions on Pattern Analysis and Machine 人的任意2个视角的步态序列混合在一起，再对其 Intelligence,2005,27(2):162-177. 进行分类.例如将24个90°视角的序列与135°视角 [2]KIRBY M,SIROVICH L.Application of the KL procedure 的序列合在一起共计48个样本序列，利用留一交叉 for the characterization of human faces[J].IEEE Transac- tions on Pattern Analysis and Machine Intelligence,1990 校验(leave-one-out cross validation)来划分样本并获 12(1):103-108 取识别率的无偏估计.留一交叉校验是指对于所有 [3]HUANG P S,HARRIS C J,NIXON M S.Recognizing hu- 步态序列，每次留出一个样本作为测试样本，剩下的 mans by gait via parametric canonical space[J].Journal of 样本全部作为训练样本；进而通过相似性度量进行 Artificial Intelligence in Engineering,1999,13(4):359- 分类，并记录正确分类的次数.实验中使用经典的欧 366. 式距离作为相似性度量，所得的正确分类率(correct [4]王亮，胡卫明，谭铁牛.基于步态的身份识别[」].计 clas8 ification rate,CCR)如表1所示. 算机学报，2003,26(3)：353-360. 表1不同视角两两混合所得的正确识别率 WANG Liang,HU Weiming,TAN Tieniu.Gait-based hu- Table 1 CCR in every two of different viewpoints mixed man identification[J].Chinese Journal of Computer,2003, 训练样本 26(3):353-360. 测试样本 90°视角/%135°视角/%180°视角/% [5]WANG Liang,TAN Tieniu,HU Weiming,et al.Automatic 90°视角 91.67 72.92 64.58 gait recognition based on statistical shape analysis [J]. 135°视角 72.92 87.50 68.75 IEEE Transaction on Image Processing,2003,12(9): 180°视角 64.58 68.75 87.50 1120-1131 另一组实验是将所有3个视角的序列混合在一 [6]YAM C Y,NIXON M S,CARTER N J.Gait recognition by 起共计72个样本，同样利用留一交叉校验获取识别 walking and running:a model-based approach [C]//Pro- 率的无偏估计，实验所得的CCR为63.89%.虽然2 ceedings of the 5th Asian Conference on Computer Vision. Melboume,Australia,2002:23-25. 组实验所得的正确分类率并不高；但是本文的方法 [7]SHAKHNAROVICH G,LEE L,DARRELL T.Integrated 将不同视角的样本序列混合并进行交叉识别，在一 face and gait recognition from multiple views[C]//Proceed- 定程度上克服了视角因素对步态识别的影响，并提 ings of CS Conference on Computer Vision and Pattern Rec- 供了一种从任意角度识别同一个体的可能性. ognition.Kauai:Hawaii,USA,2001,1:439446. 5结束语 [8]URTASUN R,FUA P.3D tracking for gait characterization and recognition[C]//Proceedings of the Sixth IEEE Inter- 本文尝试了一种与视角无关步态识别算法，它 national Conference on Automatic Face and Gesture Recog- 需要满足一定的约束条件，即目标在行走过程中头 nition.Seoul,Korea,2004:17-22. 部顶点连线与脚点连线需满足平行关系.这样的约 [9]AVIDAN S,SHASHUA A.Trajectory triangulation:3D re- 束条件是为了简化空间点的坐标重建过程.通过空 construction of moving points from a monocular image se- 间点坐标恢复方法可以估计人体三棍简化模型的参 quence[J].IEEE Transactions on Pattern Analysis and Ma- 数.本文抽取了其中5个模型参数来构成与视角无 chine Intelligence,2000,22(4):348-357. 关的步态特征向量.实验结果表明新算法能在一定 [10]PONSA D,LOPEZ A,LUMBRERAS F,ct al.3D vehicle sensor bascd on monocular vision [C]//Proceedings of 程度上克服视角因素的影响，提供了多种视角交叉 IEEE Intelligent Transportation Systems.Vienna,Austria, 进行识别的可能性.未来的方向将集中于建立更好 2005：1096-1101. 的骨架模型来模拟人的姿态，以求更准确地表述人 [11]生物识别与安全技术研究中心.NLPR步态数据库 体运动特性，并进一步要在更大规模的数据库上测 [EB/0L].(2001-12-10)[2008-06-01].htp:/www 试算法的有效性. sinobiometrics.com/china/Gait%20Databases%20CH. 参考文献： asp. Center for Biometrics and Security Research.NLPR Data- [1]SARKAR S,PHILLIPS P J,LIU Z,et al.The humanID ba3e[EB/0L].(2001-12-10)[2008-06-01].h:/
第3期 张元元，等：平行线约束下的视角无关步态识别算法 ·269 www.sinobiometrics.com/english/Gait%20Databases. 吴晓娟，女，1944年生，教授，博士 asp. 生导师，山东大学信息科学与工程学院 [12]OI Lei,WU Xiaojuan,ZHANG Yuanyuan,et al.New 图像处理与模式识别方向的学科带头 method of 3D point reconstruction from monocular camera 人.主要研究方向为智能信息处理、图 [C]//MAYBANK S J,DING Mingyue,WAHL F,et al. 像处理、模式识别、计算机视觉等.近儿 MIPPR (Multispectral Image Processing and Pattern Rec- 年来，主持了国家自然科学基金、军工、 ognition)2007:Pattern Recognition and Computer Vision. 国际合作、教育部、省自然科学基金、省科技攻关等项目20 Bellingham,USA:SPIE,2007,6788:688808. 余项.发表学术论文100余篇，其中有近30篇被SC1、检 作者简介： 索 张元元，男，1984年生，博士研究 李秀媛，女，1972年生，博士研究 生，主要研究方向计算机视党、图像处 生，主要研究方向为无线通信、计算机 理和模式识别等 网络等. 两本机器人学新著介绍一《机器人学基础》与《机器人学》 蔡自兴教授编著的《机器人学基础》和《机器人学》（第二版）两本教材，已分别由机械工业出版社和清华大学 出版社出版.该教材作为国家级《智能科学基础系列课程教学团队》机器人学课程的配套教材使用.其中，《机器 人学》曾获2002年全国普通高校优秀教材一等奖，被国家教育部推荐“优先选用的获奖优秀教材”，并被广大高校 师生誉为“经典著作”，主要面向研究生和重点高校高年级学生.而《机器人学基础》则是首次出版的面向本科生 的机器人学导论性教材. 两教材主要内容相似，但深度、篇幅和使用对象不同.该教材介绍机器人学的基本原理及其应用，涉及机器人 学的概况、数理基础、运动学、动力学、控制、规划、编程、应用和展望等内容.该教材简述机器人学的起源与发展， 讨论机器人学的意义，分析机器人的特点、结构与分类，探讨机器人学与人工智能的关系、机器人学的研究领域和 人工智能争论对机器人学的影响：讨论机器人学的数学基础，包括空间任意点的位置和姿态变换、坐标变换、齐次 坐标变换、物体的变换和逆变换，以及通用旋转变换等；阐述机器人运动方程的表示与求解，包括机械手运动姿 态、方向角、运动位置和坐标的运动方程以及连杆变换短阵的表示，欧拉变换、滚-仰-偏变换和球面变换等求解方 法等；着重分析机械手动力学方程的2种求法，即拉格朗日功能平衡法和牛顿-欧拉动态平衡法，然后总结出建立 拉格朗日方程的步骤；研究机器人的控制原则和控制方法，包括机器人的位置伺服控制、力和位置混合控制和智 能控制等；介绍机器人传感器的特点与分类、各种典型的机器人内传感器和外传感器的工作原理；讨论机器人轨 迹规划问题，着重研究关节空间和笛卡儿空间中机器人运动的轨迹规划和轨迹生成方法：此较概括地论述机器人 的程序设计，研究对机器人编程的要求和分类、机器人语言系统的结构和基本功能，几种重要的专用机器人语言， 以及机器人的离线编程等：探讨机器人的应用问题，论述应用机器人必须考虑的因素和采用机器人的步骤，分析 机器人的应用领域，介绍工业机器人的应用实例；分析机器人学的现状，展望机器人学的未来，包括国内外机器人 技术和市场的发展现状和预测、21世纪机器人技术的发展趋势等 《机器人学》第二版对第一版进行较大的修订与补充，例如增加了“机器人传感器”一章，把“机器人控制”一 章改编为“机器人位置和力控制”与“机器人高级控制”各一章，把“机器人规划”一章扩展为“机器人高层规划”和 “机器人轨迹规划”2章，并增加了“机器人路径规划”新内容等. 除了用作本科生和研究生的机器人学教材外，该书也适合从事机器人学研究、开发和应用的科技人员学习参考. (周智星季奇人)