·450· 智能系统学报 第14卷 参数的提取过程较复杂。 生成过程如图1所示：第1行是水平方向的 一些研究人员通过融合不同的类能量图实现 GFI:第2行是垂直方向的GFI:第3行是水平和 特征完备表达。陈实等提出彩色步态运动历史 垂直方向合成的GFI;第4行是增强时序信息后 图(color gait history image,CGHD)表征时空步态序 的彩色类能量图；第5行是前一行生成的彩色类 列信息。CGH将3种灰度图像通过分配到 能量图，包含四幅四分之一周期的彩色类能量 RGB通道实现像素级融：单足站立为起点的前向 图；第六行是单周期的彩色类能量图。 单步运动历史图、对侧足站立为起点的前向单步 运动历史图和GEl。Hofmann等al通过决策级融 合实现步态表征：GEl和深梯度直方能量图(depth gradient histogram energy image,DGHEI),该方法仍 存在步态信息丢失的问题。CCA及其改进方法 在生物特征融合领域也有较多应用s1刀。采用串 行和并行的方式融合CCA可以得到两组步态特 征。但是，串行和并行融合方式的先天不足，使 图1彩色类能量图步态特征描述 得这种融合方式应用的普适性不是很好。 Fig.1 Colored class energy image gait feature representa 针对步态特征表达不完备问题，本文提出一 tion 种基于加权CCA的多信息融合的步态表征方 1.2基于步宽的时序信息 法。在GFI基础上，首先，将行走的步宽时序信 采用一种基于步宽信息的线性插值函数关 息编码到RGB颜色空间，提升GFI的时序表征能 系，将周期步态的时序信息编码到三通道RGB空 力，得到多通道彩色类能量图；然后，将R、G通 间，不仅能够提升步态时序特征表达能力，还实 道的步态特征进行CCA,对得到的两个新特征加 现了时序特征的可视化。以四分之一步态周期为 权融合，融合结果与B通道特征重复上述融合过 例，定义步宽信息P: 程。保留了初始特征关系属性，得到的新特征融 合了更有益识别的步态信息。本文采用彩色类能 P= Gi-Gmin Gmax -Gmin 量图保存步态特征，借助CCA去除特征间的冗余 1 信息，同时将多通道信息融合成单通道，最后采 Gi= 用最近邻分类器识别。 历-+西2a) 式中：4是每帧图像前景第j行的左右像素点位 1三通道彩色类能量图 置之差；图2标识了h和h2;G,表示第i帧腿部区 域宽度的平均值；Gax和Gmm为G,的两个最值。 步态流图(gait flow image,GFI)l提取的动、 静态信息更具区分度，将步态的非正面步宽特征 编码到RGB空间，增强了GFI的时序信息，得到 三通道彩色类能量图，克服了GFI蕴含的弱时序 H,=0.470H 1960=H 信息的缺点，包含更多的步态信息。 1.1生成三通道彩色类能量图 对非正面周期步态序列，步宽信息被编码到 RGB三通道，即投影到每帧图像的GFI中，生成 H=0.245H 三通道彩色类能量图，公式为 H,2 H=0.246H Ey)-F)xG(P 2 式中：p是四分之一周期的总帧数；F,(x,y)是第 图2人体测量学比例 i帧的GFI;P,是第i帧的步宽；RGB的3个通道分 Fig.2 Anthropometric percentages 别用B()、G()和R表示。 可视化技术能够表示某些随时序变化的数据 ·个步态周期的彩色类能量图定义为 特征，将人体步态的宽度投影到RGB通道进行 E(x,y）= 可视化，I是图像像素的最大值，比如1或255，公 式为参数的提取过程较复杂。 一些研究人员通过融合不同的类能量图实现 特征完备表达。陈实等[13]提出彩色步态运动历史 图 (color gait history image, CGHI) 表征时空步态序 列信息。CGHI[ 1 3 ]将 3 种灰度图像通过分配到 RGB 通道实现像素级融：单足站立为起点的前向 单步运动历史图、对侧足站立为起点的前向单步 运动历史图和 GEI。Hofmann 等 [14]通过决策级融 合实现步态表征：GEI 和深梯度直方能量图 (depth gradient histogram energy image, DGHEI)，该方法仍 存在步态信息丢失的问题。CCA 及其改进方法 在生物特征融合领域也有较多应用[15-17]。采用串 行和并行的方式融合 CCA 可以得到两组步态特 征。但是，串行和并行融合方式的先天不足，使 得这种融合方式应用的普适性不是很好。 针对步态特征表达不完备问题，本文提出一 种基于加权 CCA 的多信息融合的步态表征方 法。在 GFI 基础上，首先，将行走的步宽时序信 息编码到 RGB 颜色空间，提升 GFI 的时序表征能 力，得到多通道彩色类能量图；然后，将 R、G 通 道的步态特征进行 CCA，对得到的两个新特征加 权融合，融合结果与 B 通道特征重复上述融合过 程。保留了初始特征关系属性，得到的新特征融 合了更有益识别的步态信息。本文采用彩色类能 量图保存步态特征，借助 CCA 去除特征间的冗余 信息，同时将多通道信息融合成单通道，最后采 用最近邻分类器识别。 1 三通道彩色类能量图 步态流图 (gait flow image, GFI)[15]提取的动、 静态信息更具区分度，将步态的非正面步宽特征 编码到 RGB 空间，增强了 GFI 的时序信息，得到 三通道彩色类能量图，克服了 GFI 蕴含的弱时序 信息的缺点，包含更多的步态信息。 1.1 生成三通道彩色类能量图 对非正面周期步态序列，步宽信息被编码到 RGB 三通道，即投影到每帧图像的 GFI 中，生成 三通道彩色类能量图，公式为 E ′ (x,y) = ∑p |Fi(x, y)×G(Pi)| B(·) G(·) R(·) 式中：p 是四分之一周期的总帧数；Fi (x, y) 是第 i 帧的 GFI；Pi是第 i 帧的步宽；RGB 的 3 个通道分 别用 、 和 表示。 一个步态周期的彩色类能量图定义为 E(x, y) = 1 4 ∑4 i=1 E i (x, y) 生成过程如图 1 所示：第 1 行是水平方向的 GFI；第 2 行是垂直方向的 GFI；第 3 行是水平和 垂直方向合成的 GFI；第 4 行是增强时序信息后 的彩色类能量图；第 5 行是前一行生成的彩色类 能量图，包含四幅四分之一周期的彩色类能量 图；第六行是单周期的彩色类能量图。 + 文本 文本 文本 文本 文本 图 1 彩色类能量图步态特征描述 Fig. 1 Colored class energy image gait feature representa￾tion 1.2 基于步宽的时序信息 采用一种基于步宽信息的线性插值函数关 系，将周期步态的时序信息编码到三通道 RGB 空 间，不仅能够提升步态时序特征表达能力，还实 现了时序特征的可视化。以四分之一步态周期为 例，定义步宽信息 Pi ： Pi = Gi −Gmin Gmax −Gmin Gi = 1 (h2 −h1 +1) ∑h2 j=h1 (∆j) 式中： ∆j 是每帧图像前景第 j 行的左右像素点位 置之差；图 2 标识了 h1 和 h2；Gi 表示第 i 帧腿部区 域宽度的平均值；Gmax 和 Gmin 为 Gi 的两个最值。 H2=0.470 H H3=0.245 H H4=0.246 H h=H4 /2 h2 H1=0.961 H H 图 2 人体测量学比例 Fig. 2 Anthropometric percentages 可视化技术能够表示某些随时序变化的数据 特征[18] ，将人体步态的宽度投影到 RGB 通道进行 可视化，I 是图像像素的最大值，比如 1 或 255，公 式为 ·450· 智 能 系 统 学 报 第 14 卷