第3期 吕卓纹，等：加权CCA多信息融合的步态表征方法 ·451· (1-2Pl,0≤P≤ 求解式(4)，选取前d(d≤n)对映射向量组成投 B(P)= 1 Ps1 影矩阵W和W,提取X和Y之间的典型相关特征 0 u=WX和v=WY。 2P1, 1 2.2加权CCA融合彩色类能量图 G(P)= 0≤P:≤2 (2-2P)L, 2<P&1 彩色类能量图的3个通道特征分别为XR 1 0 0≤P:≤5 Xa、X,特征维数m×n,其中m≥n,m是特征向量 R(P)= 包含元素个数，n表示训练样本数。 (2P-1)L, 2P,s1 1 加权CCA融合彩色类能量图算法步骤如下： 1)对XR和XG执行CCA,得到X=WX和 2加权CCA融合多通道信息 X。=WGXGo 彩色类能量图是多通道图像，采用最近邻分 2)山为融合算子，对执行CCA得到的X:和 类器进行分类识别时需要先将其变为一维向量， X融合： 如像素级融合方法，即将彩色图像灰度化： XRG =(XR XG)=aXR+BXG (5) 式中：a、B是加权系数，满足a+B=1。 Er(x.y)=wE(x.y.1)+vEf(x.y,2)+uE(x.y.3)(1) 式中E(x,y,1)、E9(x,y,2)和E(x,y,3)分别表示三通 3)对XRG和XB执行CCA,对得到的Xc和 道类能量图的B、G和R分量。当u=0299、v=0.587、 Xs加权融合： XRGB =(XRG:XB)=6XRG+YX8 (6) w=0.114时，式(1)是彩色图像灰度化公式。 式中：6、y是加权系数，满足6+y=1。 像素级融合能够使一部分信息增强，与此同 这种融合方法的优点在于：可分性较好，初始 时，也使得一些对识别有益信息削弱。CCA及其 特征关系得到保留，加权融合得到的新特征具有 改进的算法将具有相关关系的特征接近，与其他 更多有益于识别的信息。另外，若XRGs的维数较 特征远离，可分性较好，能够应用到多通道特征 大，可对XRGB降维。在运算速度上，与其他融合 融合。 方式相比，如串行或并行融合，特征维数没有增 2.1CCA理论基础 加且在实数域运算，显然具有最低的运算量。 CCA1是常用的多元统计分析方法之一，旨 2.3计算复杂度分析 在研究变量间的相关关系。CCA旨在寻找两组 对于分辨率为y,包含步态图像帧数为的步 随机变量各自的线性变换，使得投影后的两组随 态序列，训练样本的数目是；生成三通道彩色类 机向量中对应元素之间的相关性最大。 能量图的计算复杂度为Onn(xy);加权CCA 定义均值是0的两组随机矩阵分别为X和 融合后得到的XRGB计算复杂度为O(xy))。采用 Y,矩阵中样本数均为n,即x1x2xn是X中的样 像素级融合后得到步态特征的计算复杂度为 本，y1y2yn是Y中的样本。CCA算法目的是求 On·(xy))。其他类能量图方法（如GEI),计算 得两个映射p和p,使得样本x,和y,映射后在新的 复杂度为Oxy),GFI计算复杂度为O(xy))。 空间相关度最大，公式为 3实验结果与分析 E[P,XYP,] P≈ (2) EIP!XX P.JE[PTYYP,] 本文所提算法的有效性实验在USF Human- 式中E()为期望。p,和p,的尺度对式(2)值没有影 D2o步态数据集上进行。实验的测试平台为In- 响，可以约束pXTp=PYYP,=1。式(2)改写为 telCore2.5GHz的CPU、4GB内存、Windows7操 maxr=max piXYp, 作系统，测试代码在MATLAB2016a上编译运行。 PrP,PP (3) 以双脚支撑为计算步态周期的起始点，一个 s.t.p:XX'p:=1,p:YY py =1 步态序列可得到几幅单周期的类能量图，然后将 利用拉格朗日乘子法可以解决式(3)的优化 这几幅平均成一幅进行分析。采用最近邻分类器 问题： 进行识别。本文进行了3组实验：第1组，与其他 L=p:XY p+A(1-p:XX'p)+(I-p:YY p,) 类能量图相比，本文提出算法的识别率；第2组， 得元-=0。令1==，p,=(YY)YXp)/a, 权值α、B、6、y取不同值时，本文提出算法的识别 p:可由求解广义特征值分解问题得到： 性能：第3组，生成各类能量图时间对比。 XY(YYYXP:=PXXP (4) 在执行CCA时，广义特征值分解会遇到“维B(Pi) =    (1−2Pi)I, 0 ⩽ Pi ⩽ 1 2 0, 1 2 ⩽ Pi ⩽ 1 G(Pi) =    2PiI, 0 ⩽ Pi ⩽ 1 2 (2−2Pi)I, 1 2 ⩽ Pi ⩽ 1 R(Pi) =    0, 0 ⩽ Pi ⩽ 1 2 (2Pi −1)I, 1 2 ⩽ Pi ⩽ 1 2 加权 CCA 融合多通道信息 彩色类能量图是多通道图像，采用最近邻分 类器进行分类识别时需要先将其变为一维向量， 如像素级融合方法，即将彩色图像灰度化： ET(x, y) = wEB T (x, y,1)+νE G T (x, y,2)+uER T (x, y,3) (1) E B T (x, y,1) E G T (x, y,2) E R CEI 式中 、 和 (x, y,3) 分别表示三通 道类能量图的 B、G 和 R 分量。当 u = 0.299、v = 0.587、 w = 0.114 时，式 (1) 是彩色图像灰度化公式。 像素级融合能够使一部分信息增强，与此同 时，也使得一些对识别有益信息削弱。CCA 及其 改进的算法将具有相关关系的特征接近，与其他 特征远离，可分性较好，能够应用到多通道特征 融合。 2.1 CCA 理论基础 CCA[19]是常用的多元统计分析方法之一，旨 在研究变量间的相关关系。CCA 旨在寻找两组 随机变量各自的线性变换，使得投影后的两组随 机向量中对应元素之间的相关性最大。 x1,x2,...,xn y1,y2,...,yn px py xi yi 定义均值是 0 的两组随机矩阵分别为 X 和 Y，矩阵中样本数均为 n，即 是 X 中的样 本， 是 Y 中的样本。CCA 算法目的是求 得两个映射 和 ，使得样本 和 映射后在新的 空间相关度最大，公式为 ρ = E[px TXYT py] √ E[p T x XXT px]E[p T yYYT py] (2) E(·) px py p T x XXT px = p T yYYT py = 1 式中 为期望。 和 的尺度对式 (2) 值没有影 响，可以约束 。式 (2) 改写为 max px ,py r = max px ,py p T x XYT py s.t. p T x XXT px = 1, p T yYYT py = 1 (3) 利用拉格朗日乘子法可以解决式 (3) 的优化 问题： L = p T x XYT py +λx(1− p T x XXT px)+λy(1− p T yYYT py) λx −λy = 0 λ = λx = λy py = ((YYT ) −1YXT px)/λ px 得 。 令 ， ， 可由求解广义特征值分解问题得到： XYT (YYT ) −1YXT px = λ 2XXT px (4) d(d ⩽ n) Wx Wy u = WxX v = WyY 求解式 (4)，选取前 对映射向量组成投 影矩阵 和 ，提取 X 和 Y 之间的典型相关特征 和 。 2.2 加权 CCA 融合彩色类能量图 m ≫ n 彩色类能量图的 3 个通道特征分别为 XR 、 XG、XB，特征维数 m×n，其中 ，m 是特征向量 包含元素个数，n 表示训练样本数。 加权 CCA 融合彩色类能量图算法步骤如下： X ′ R = WRXR X ′ G = WG XG 1) 对 XR 和 XG 执行 CCA，得到 和 。 ψ X ′ R X ′ G 2) 为融合算子，对执行 CCA 得到的 和 融合： XRG = ψ(X ′ R ,X ′ G ) = αX ′ R +βX ′ G (5) 式中：α、β 是加权系数，满足α+β = 1。 X ′ RG X ′ B 3) 对 XR G 和 XB 执行 CCA，对得到的 和 加权融合： XRGB = ψ(X ′ RG,X ′ B ) = δX ′ RG +γX ′ B (6) 式中： δ、γ 是加权系数，满足 δ+γ = 1。 这种融合方法的优点在于：可分性较好，初始 特征关系得到保留，加权融合得到的新特征具有 更多有益于识别的信息。另外，若 XRGB 的维数较 大，可对 XRGB 降维。在运算速度上，与其他融合 方式相比，如串行或并行融合，特征维数没有增 加且在实数域运算，显然具有最低的运算量。 2.3 计算复杂度分析 η O(n · η ·(x · y) 2 ) O((x · y) 6 ) O(n · η ·(x · y) 6 ) O(η · x · y) O(η ·(x · y) 2 ) 对于分辨率为 xy，包含步态图像帧数为 的步 态序列，训练样本的数目是 n；生成三通道彩色类 能量图的计算复杂度为 ；加权 CCA 融合后得到的 XRGB 计算复杂度为 。采用 像素级融合后得到步态特征的计算复杂度为 。其他类能量图方法 (如 GEI)，计算 复杂度为 ，GFI 计算复杂度为 。 3 实验结果与分析 本文所提算法的有效性实验在 USF Human￾ID[20]步态数据集上进行。实验的测试平台为 In￾telCore 2.5 GHz 的 CPU、4 GB 内存、Windows 7 操 作系统，测试代码在 MATLAB2016a 上编译运行。 α β δ γ 以双脚支撑为计算步态周期的起始点，一个 步态序列可得到几幅单周期的类能量图，然后将 这几幅平均成一幅进行分析。采用最近邻分类器 进行识别。本文进行了 3 组实验：第 1 组，与其他 类能量图相比，本文提出算法的识别率；第 2 组， 权值 、 、 、 取不同值时，本文提出算法的识别 性能；第 3 组，生成各类能量图时间对比。 在执行 CCA 时，广义特征值分解会遇到“维 第 3 期 吕卓纹，等：加权 CCA 多信息融合的步态表征方法 ·451·