第8卷第1期 智能系统学报 Vol.8 No.1 2013年2月 CAAI Transactions on Intelligent Systems Feh.2013 D0I:10.3969/j.issn.16734785.201209033 网络出版地址：htp:/nw.cmki.net/kcms/detail/23.1538.TP.20130125.1430.002.html 双视角下多特征信息融合的步态识别 李一波，李昆 (沈阳航空航天大学自动化学院，辽宁沈阳110136) 摘要：针对步态识别研究中单视角识别率低、多视角算法复杂等问题，开展了双视角下的步态识别研究.考察正面 视角人体的轮廓特征和侧面视角人体行走的动态特征，利用多视角步态信息互补性强的特点，分别从正面视角和侧 面视角获取步态序列，预处理得到单连通人体轮廓图形，然后对正面视角提取Procrustes均值形状，侧面视角计算动 作能量图(AEI)并经二维局部保留映射(2D-LPP)降维，最后将2个视角下的识别结果进行融合从而获得最终的识 别结果.在中科院自动化所的DatasetB数据库上进行了实验，获得了较高的识别率，达到了预期的识别效果. 关键词：步态识别；多特征信息融合；双视角；Procrustes均值形状；动作能量图；二维局部保留映射 中图分类号：TP391.41文献标志码：A文章编号：16734785(2013)01-0074-05 Gait recognition based on dual-view and multiple feature information fusion LI Yibo,LI Kun (College of Automation,Shenyang Aerospace University,Shenyang 110136,China) Abstract:In view of low recognition rate of single-view and complexity of multi-view algorithm,a research was con- ducted examining the gait recognition under dual-view.Current research on the contour characteristic of the human body in frontal view and the dynamic characteristics of human walking in side view was examined using the comple- mentary features of the gait information under multi-view.Also the gait sequences were obtained utilizing the two views respectively,and then preprocessed to obtain simply connected body silhouettes.Next,the Procrustes mean shape was extracted from the front view,and the active energy images(AEI)was calculated by side view.Howev- er,each of the AEI was projected to a low-dimensional feature subspace via two-dimensional local preserving pro- jections (2D-LPP).The final recognition result was obtained by fusing recognition results of two perspectives.The experiments in CASIA dataset(Dataset B)obtained a high recognition rate and achieved the expected effect of rec- ognition. Keywords:gait recognition;multiple feature information fusion;dual-view;Procrustes mean shape;active energy image;two-dimensional partial preserving projections 步态识别是生物特征识别领域一个具有广阔应 态识别研究的深入，涌现出许多算法.根据视角数目 用前景的研究方向，旨在根据人们走路的姿势进行 的不同，步态研究可分为单视角和多视角.单视角研 身份的识别，具有远距离、非侵犯性、易于感知、难于 究是指对单个视角下的视频序列进行特征提取和识 伪装等特点.鉴于步态识别的诸多优势及其在智 别.由于单视角下的步态序列存在遮挡、视角局限性 能监控、人机交互等领域的应用前景，广大科研工作 等影响因素，所能提供的步态信息有限，因此特征选 者积极投入相关的研究当中2].近年来，随着对步 取至关重要.Kusakunniran等3]提出了加权二值模 式(weighted binary patter,WBP)的方法；张浩等 收稿日期：2012-09-15.网络出版日期：201301-25 基金项目：国家自然科学基金资助项目(61103123). 提出了加权动态时间规整（dynamic time warping, 通信作者：李昆.E-mail:likun565@163.com. DTW)距离的自动步态识别算法；Bashir等[5]提出了
第1期 李一波，等：双视角下多特征信息融合的步态识别 ·75· 基于光流场的步态特征表示方法.针对单视角研究 选用文献[9]中的方法进行差分和二值化： 存在的不足，人们发展出了基于多视角的步态识别 f(a,b)=1- 方法，对多个视角下的步态序列展开研究多视角能 2√(a+1)+(b+1)2√(256-a)+(256-b) 消除图像中的遮挡影响，提供更多的步态信息，形成 (a+1)+(b+1).(256-a)+(256-b) 不同视角之间的步态信息互补.Kusakunniran等[o 0≤fa,b)<1,0≤a(x,y),b(x,y)≤255. 为了解决视角变化对步态识别造成的影响，提出了 式中：a(x,y)与b(x,y)分别是当前图像和背景图 基于视角转换模型(view transformation model, 像在像素(x,y)处的灰度值，该函数可根据背景图 VTM)的交叉视觉和多视角步态识别算法；赵永伟 像的亮度来检测其敏感性变化9.对二值化处理后 等)提出了基于多特征和多视角信息融合的步态 得到的运动目标进行形态学处理即可得到单连通人 识别方法；刘海涛8]引人立体视觉的方法，构造了 体目标区域，如图2所示， 以三维人体轮廓的质心为参考中心的三维人体轮廓 描述子(3 body contour descriptor,3D-BCD) 多视角能提供更多的步态信息，但如何有效利 用这些信息是一个研究难点.本文尝试从双视角对 步态识别开展研究，选取正面视角和侧面视角的步 态序列作为研究对象，各自独立地获取特征，利用融 合策略进行双视角下的步态识别， 1 双视角步态识别算法 双视角步态识别的整体流程如图1所示.首先 a)正面视角 h)侧面视角 对正面视角和侧面视角的步态序列进行预处理，得 图2双视角下单连通人体目标区域 到单连通人体轮廓图形，然后针对正面视角的人体 Fig.2 The simply connected human target area of two 轮廓特征和侧面视角人体行走的动态特征分别进行 views Procrustes均值形状和动作能量图(active energy im- age,AEI)计算，并对动作能量图采用二维局部保留 1.2特征提取 two-dimensional locality preserving projections, 由于不同视角下所获取的步态序列所表达的信 2DLPP)进行降维，最后对2个视角的识别结果进行 息不同，因此对正面视角和侧面视角采用不同的特 决策融合达到最终识别的目的。 征进行表示. 1.2.1正面视角 正 正特 正面视角采用Procrustes均值形状对步态进行 表征.Procrustes均值形状分析法是方向统计学中一 角列 角取 取 侧特 宋 识别结果 种特别流行的方法，非常适用于编码二维形状，并提 供了一种好的工具来寻找一组形状的均值形状[] 角列 角取 图 正面视角的步态序列存在着从小到大的变化过 程1，需要进行归一化处理，以步态周期最后一帧 图1，双视角下多特征信息融合的步态识别 人体轮廓的大小作为归一化的标准.此外，从正面观 Fig.1 Flow chart of gait recognition of multiple fea- 察，人体质心存在周期性的左右偏离，因此采用质心 ture information fusion under dual-view 到人体轮廓外接矩形左右两侧的距离比进行周期检 1.1预处理 测.人体质心计算公式为： 预处理是步态识别中的重要步骤，它的目的在 ∑.xI(x,y) ∑yl(x,y) 于将人体轮廓从背景中提取出来.在构建背景时采 ∑I(x,y) ye I(x,y） 用中值法，选取连续N帧图像像素的中值作为背景 , 图像的像素值，即背景图像b可通过式(1)获取 对一段视频序列的周期检测如图3所示，从图 b(x,y）=median(Ik(x,y）),k=1,2,…,N.(1) 中可以看出该步态序列的步态周期在24帧左右
·76 智能系统学报 第8卷 1.6 8r*102 日标1 目标2 一目标3 3 1.0 6 0.9 -8 0.8%102030405060708090 视顺顿数 图3正面视角步态周期检测 图5正面视角Procrustes均值形状 Fig.3 Gait cycle detection of the front view Fig.5 The Procrustes mean shape of front-view 1.2.2侧面视角 由于Canny算子具有很好的边缘检测性能，不 选用动作能量图(AEI)4作为侧面视角的步 容易受噪声干扰，能够检测到真正的弱边缘，使用2 态特征.对于给定的步态序列F={f,…,fw-1}, 种不同的阈值能分别检测强边缘和弱边缘，并且当 ∫表示第t帧图像，N表示单周期步态序列的帧数， 弱边缘和强边缘相连时，才将弱边缘包含在输出图 首先计算相邻2帧间的帧差图： 像中1，因此采用Canny算子提取轮廓线.对提取 f(x,y）, t=0; 的轮廓线，用等角度间隔采样对选取的2个连续周 期的轮廓线进行采样.等角度间隔采样首先需要把 D,(x,W=1x,）-f(x,)l,6>0. N-1 轮廓点的直角坐标(x,y)转化成以人体质心为原点 AI的定义为：4(，)=名D,(,,锁差图和 1 的极坐标，然后以相同的角度0=360/N(N为预定 AEI如图6所示.AEI能够保留步态中的动态部分， 的采样点数)对轮廓点序列进行采样，轮廓线采样 它的每个像素点的强度表示行走过程中动态部分在 如图4(b), 该像素点出现的频率.不同目标的AEI如图7所示. (a)轮廊图 b)帧差图 (©)动作能量图 图6侧面视角动作能量图计算 Fig.6 The calculation of side-view active energy image (a)轮廓线 (6)采样后的轮廓线 图4正面视角轮廓线提取及采样 Fig.4 The contour extraction and sampling of front view 采样后的轮廓线可描述为k个复数组成的向 量，即Z=[z12…zk]T,其中：z=+jy,(x, y:)是轮廓线采样后的坐标.一个步态周期含有n帧 图7不同目标的动作能量图 图像，则可得到n个这样的复数向量，计算配置矩 Fig.7 Active energy image of different objectives 阵：S=三乙召，则S的最大特征值对应的特征向 对得到的AEI采用二维局部保留映射 台ZZ' (2DLPP)[15]1进行降维.2DLPP是基于矩阵的子空间 量即为所求的Procrustes均值形状U13],如图5所 学习方法，它能够保留原始图像中的空间结构并且 示，图中给出了3个不同目标的Procrustes均值 能缓解“维数灾难”问题 形状
第1期 李一波，等：双视角下多特征信息融合的步态识别 77. 对于给定的一组AEI图像A:(i=1,2,…,N), 包裹条件)采集得到 其大小为m×n,2DLPP的目标函数是 步态人体轮廓序列的提取采用背景减除法.正 咖多分男-I 面视角采用Canny算子对人体轮廓提取轮廓线，大 约420个点，并对轮廓线进行等角度间隔采样，得 式中：Y=A:y,’是n维转移向量；S是相似矩阵，其 到210个点的固定长度，然后利用2个周期的轮廓 定义为：当A:是A的k近邻或者A是A,的k近邻 采样点计算Procrustes均值形状；侧面视角利用轮廓 时，S=ex即{-‖A:-A‖2/e};否则Sg=0,t和k 的宽高比确定步态周期，计算一个完整周期的动作 是2个合适的常量.经过运算，目标函数可以转化为 能量图，在利用2DLPP对动作能量图进行降维时， 器IX-1S,=4(L®1)，其中A 选取前20个最小特征值对应的单一正交解向量作 为转换矩阵 [AA;…AW],L=D-S是一个拉普拉斯矩 实验选取普通行走条件的样本库对算法进行验 阵，D是一个对角矩阵，D:=∑S,⑧表示矩阵的 证.DatasetB数据库中普通行走条件的样本共有6 克罗内克乘积，I。是m阶单位矩阵.为了移除嵌入 组，选取正面视角和侧面视角下其中的任意3组作 中的任意缩放因子，添加限制条件： 为训练集，用剩下3组作为测试集分别进行测试.训 ∑DA=1→P'(∑D4A)P=A(D⑧1n)Ap=1, 练时，对相应视角提取对应的特征，存入训练样本库 中；识别时，先计算正面视角和侧面视角各自测试步 因此最小化问题转化为 态序列的隶属度，取2个视角下隶属度之和最大的 8ia”'4(L⑧)A. (2) 样本作为最终识别结果.分别采用数量为40和100 运用拉格朗日乘数法，将式(2)转化为 的样本进行实验，所获得的平均识别率如表1所示， g(a,A)=vA'LAy+A(1-vA'DAy).那么式(2) 本文所提方法与其他方法的识别率对比见表2.表2 的解可通过求g/=0得到，因此转换向量y可以 中文献[6]采用了神经网络构造视角转换模型；文 通过求解式(3)的特征值问题获得. 献[7]在每个视角下进行了3种特征融合，然后再 AT(L⑧Im)Ap=A(D☒In)A.(3) 进行多视角融合；文献[8]采用了立体视觉的研究 让"，2，…，"4表示式(3)的d个最小特征值 方法，构建了三维人体轮廓描述子 0≤A≤入2≤…≤Aa对应的单一正交解向量.那么 表1本文算法的正确识别率 转移矩阵v=[12…v],每一幅AEI图像 Table 1 The correct recognition of proposed algorithm% A:的投影为Y=Ay,i=1,2,…,N. 训练样本 测试样本识别率 1.3识别算法 序列456 序列1 序列2 序列3 首先计算步态特征X对各自训练步态序列c 正面视角 40.00 37.00 39.00 的隶属度，计算公式为 Procrustes均值形状 4,(X,c)=1/‖X-c12-0 侧面视角 90.00 91.00 92.00 ∑1/IX-XI2-0 AEI +2DLPP 双视角融合 95.50 93.25 97.75 式中：b>1是一个常数，可以控制聚类结果的模糊 程度.然后取2个视角下隶属度之和最大的样本作 表2识别结果对比 Table 2 Comparison of recognition results % 为最终的识别结果，即 算法出处 算法 识别率 ifg.(X)=max∑h4 thenX∈c. 三视角+视角转换模型 93.00 文献[6] 2实验结果与分析 四视角+视角转换模型 98.00 三视角+KNN融合 95.56 本文使用的是中科院自动化所提供的DatasetB 文献[7] 三视角+Rank融合 96.77 多视角数据库16]中的正面视角样本和侧面视角样 三视角+Fuz四融合 99.19 本进行实验.该数据库是一个大规模多视角的步态 库，共有124个人，每个人有11个视角(0°，18°，…， 文献[8] 双视角+三维人体轮廓描述子93.71 180°)，在3种行走条件下（普通条件、穿大衣、携带 本文算法 双视角融合 95.50
·78。 智能系统学报 第8卷 从表2中可以看出，本文方法的识别率高于文 WANG Kejun,HOU Benbo.A survey of gait recognition 献[8]双视角的识别率，与文献[6-7]的三视角识别 [J].Joumal of Image and Graphics,2007,12(7):1153- 率相当，这是因为动作能量图能很好地表征侧面视 1160 角的动态特征，而Procrustes均值形状又能够对正面 [3]KUSAKUNNIRAN W,WU Qiang,LI Hongdong,et al. 视角的轮廓整体特征进行较好的表示，通过对两者 Automatic gait recognition using weighted binary pattern on video[C]//Proceedings of the 2009 Sixth IEEE Internation- 的融合可以提升单视角下对应特征的识别率.同时 al Conference on Advanced Video and Signal Based Surveil- 本文的整个计算过程简单，计算量较小，3个测试序 lance.Genova,Italy,2009:49-54. 列从特征提取到最终识别的平均运算时间如图8 [4]张浩，刘志镜.加权DTW距离的自动步态识别[J].中国 所示 图象图形学报，2010,15(5)：830-836. ZHANG Hao,LIU Zhijing.Automated gait recognition u- sing weighted DTW distance[J].Journal of Image and Graphics,2010,15(5):830-836. [5]BASHIR K,XIANG Tao,GONG Shaogang.Gait represen- tation using flow fields[C]//The British Machine Vision Conference.London,UK,2009:113.1-113.11. [6]KUSAKUNNIRAN W,WU Qiang ZHANG Jian,et al. Cross-view and multi-view gait recognitions based on view 20 40 60 80 100 测试样本序号 transformation model using multi-layer perceptron[J].Pat- tem Recognition Letters,2012,33(7):882-889. 图8测试样本平均运算时间 [7]赵永伟，张二虎，鲁继文，等.多特征和多视角信息融合 Fig.8 The average computation time of test sample 的步态识别[J].中国图象图形学报，2009,14(3)：388 3结束语 393 ZHAO Yongwei,ZHANG Erhu,LU Jiwen,et al.Gait rec- 本文提出了一种在双视角下多特征融合的步态 ognition via multiple features and views information fusion 识别算法，实验数据证明了正面视角和侧面视角融 [J].Joural of Image and Graphics,2009,14(3):388- 合识别的有效性，也说明了对于双视角的步态识别， 393. 可以通过寻找合适的特征表示，来提高识别的快速 [8]刘海涛.基于立体视觉的步态识别研究[D].合肥：中国 科学技术大学，2010：47-52. 性和准确性，另外将多视角的步态识别研究具体化， LIU Haitao.Gait recognition based on stereo vision[D]. 更贴近实用，并且还提出了正面视角质心到人体轮 Hefei:University of Science and Technology of China, 廓最小外接矩形左右两侧的距离比进行周期检测的 2010:4752. 方法.在CASIA步态数据库上进行的实验验证了算 [9]王亮，胡卫明，谭铁牛.基于步态的身份识别[J].计算机 法的有效性，获得了较高的识别率，并且计算量较 学报，2003,26(3)：353-360. 小.但是该算法还存在许多需要改进的地方：正面视 WANG Liang,HU Weiming,TAN Tieniu.Gait based hu- 角的步态轮廓边缘线很容易受到噪声干扰，需要对 man identification [J].Chinese Journal of Computers, 预处理算法进行优化；2DLPP在求取转换矩阵时需 2003,26(3):353-360. 要所有训练样本参与计算，对训练样本数量的变化 [10]WANG Liang,NING Huazhong,HU Weiming.Gait rec- 较为敏感.未来的工作重点在于扩展算法的通用性， ognition based on Procrustes shape analysis[C]//Proceed- 使其能适应各种视角的情况，解决在背包、穿大衣等 ings of the International Conference on Image Processing. Rochester,New York,USA,2002,3:433-436. 复杂行走条件下的识别问题， [11]高海燕，阮秋琦.正面视角的步态识别[J].智能系统学 参考文献： 报，2011,6(2)：119-125. GAO Haiyan,RUAN Qiuqi.A gait recognition method [1]NIXON M S,CARTER J N,NASH J M,et al.Automatic based on front-view[J].CAAI Transactions on Intelligent gait recognition C]//IEEE Colloquium on Motion Analysis Systems,2011,6(2):119-125. and Tracking.London,UK,1999:1-6. [12]阮秋琦.数字图像处理[M].北京：电子工业出版社， [2]王科俊，侯本博.步态识别综述[J].中国图象图形学报， 2007:204-209 2007,12(7):1153-1160. [13]杨静，阮秋琦，李小利.基于频谱分析的Procrustes统计
第1期 李一波，等：双视角下多特征信息融合的步态识别 ·79. 步态识别算法[J].智能系统学报，2011,6(5)： 作者简介： 432439. 李一波，男，1963年生，教授，博士 YANG Jing,RUAN Qiuqi,LI Xiaoli.A Procrustes statis- 生导师.主要研究方向为图像处理与模 tical gait recognition algorithm based on spectrum analysis 式识别、颅像鉴定、飞行器自主控制技 [J].CAAI Transactions on Intelligent Systems,2011,6 术、工业自动化、电子与协同商务等.曾 (5):432439. 获省教学成果二等奖1项、省教学成果 [14]ZHANG Erhu,ZHAO Yongwei,XIONG Wei,et al.Ac- 三等奖1项、军队级科技进步三等奖1 tive energy image plus 2DLPP for gait recognition[J].Sig- 项、省国防工业办公室科技进步二等奖1项.发表学术论文 nal Processing,2010,90(7):2295-2302. 近百篇，其中被SCI检索1篇、EI检索32篇、STP检索13 [15]CHEN Sibo,ZHAO Haifeng,KONG Min,et al.2D-LPP: 篇，CA检紫8篇.出版专著1部、教材2部. a two-dimensional extension of locality preserving projec- ions[J].Neurocomputing,2007,70(4/5/6):912-921. 李昆，男，1986年生，硕士研究生， [16]WANG Yuan,YU Shiqi,WANG Yunhong,et al.Gait 主要研究方向为微智能执行器与自主 recognition based on fusion of multi-view gait sequences 控制. [C]//Proceedings of Interational Association of Pattem Recognition Interational Conference on Biometrics.Hong Kong,China,2006:605611. 第14届中国机器学习会议(CCML2013) The 14th China Conference on Machine Learning 第14届中国机器学习会议(CCML2013)由中国人工智能学会和中国计算机学会联合主办，中国人工智能学 会机器学习专业委员会和中国计算机学会人工智能与模式识别专业委员会协办，昆明理工大学承办，云南农业大 学、云南大学、云南师范大学、云南民族大学、云南财经大学、昆明学院联合承办.该系列会议每2年举行1次，现 已成为国内机器学习界最主要的学术活动.根据中国人工智能学会要求，该会议从2011年起改为每逢奇数年举 行.此次会议将为机器学习及相关研究领域的学者交流最新研究成果、进行广泛的学术讨论提供便利，并且将邀 请国内机器学习领域的著名学者做精彩报告.另外，在会议期间，中国人工智能学会机器学习专业委员会将举行 专委会工作会议并进行委员增补（委员增补流程拟于6月公布）： 论文出版 会议录用论文将被推荐到《软件学报》、《模式识别与人工智能》、《计算机科学与探索》、《计算机工程》、《计 算机科学》、《计算机工程与应用》、《南京大学学报》（自然科学版）、《山东大学学报》（自然科学版）、《昆明理工大 学学报》（自然科学版）等期刊的正刊发表. 投稿要求 论文必须未公开发表过，一般不超过6000字；只接受中文稿；论文应包括题目、作者姓名、作者单位、摘要、 关键字、正文和参考文献；另附作者通讯地址、邮编、电话或传真及E-mal地址；学生（不包括博士后和在职博士 生)第一作者的论文稿件请在首页脚注中注明，否则将不具有参选“优秀学生论文”的资格。 会议网站网址：htp:/www.liip.cn/CCML20l3/index..html,本会议采用在线投稿方式，在线投稿网址为：ht tps://www.easychair.org/conferences/?conf=ccml2013 会议咨询电话：+860871-5916929，+860871-5915616，+86-13577102026，+86-13888832386 邮件地址：ccml2013@hotmail.com;ccml2013@163.com(备用) 重要日期 征文截止日期：2013年3月31日 录用通知日期：2013年4月22日 会议召开日期：2013年8月16-18日