·152· 智能系统学报 第14卷 Hd=(Zb.W+β%d) (2) 模态间相关性的参数P,即 式中：W和B分别代表随机矩阵和偏置；()是一 uEsyv 个可选择的非线性激活函数。将特征节点和增强 p=max Vurau vVTEyv (5) 节点相连得到的合并矩阵作为系统的实际输入， 式中∑、∑.和Σ，代表类间和类内协方差矩阵，即 并假设输出矩阵为Y∈RQ,则宽度模型可以由 式(3)求出： =1=2 yNxe =ANx(bd).Wbtdxe=[ZNxbHNx4].W(btdxe (3) 式中：A代表BLS的实际输人矩阵；W代表输出 Ee=E[xxT]= (6) 连接权值矩阵，且W是通过对A+的岭回归近似根 据式(4)计算得到的： 三=w1-2w i=1 A'=lim(+AAT)AT (4) 实际应用中，式（⑤）表示的优化问题可以转化 为了直观地展示出宽度学习系统，图2给出 为特征值求解问题进行相关计算。 了BLS平面结构的立体模型，详细描述了一个输 2基于双宽度学习的典型相关性分析 入样本X通过BLS网络进行学习的全过程。其 中，Z表示特征节点层，H表示增强节点层，输出 为了实现多模态信息的融合问题，本文对宽 层为Y,网络仅需要学习输出矩阵W即可。 度学习方法进行了一定程度的创新和改进，并提 输出层Y 出了一个可以有效学习两种模态特征的融合算法 框架。 特征节点层Z 2.1双宽度学习结构 双宽度学习结构是一个以BLS为基本单元 输人样本X 增强布点层H 的双宽度学习(double broad learning,DBL)框架， 如图4所示，此结构主要由两个BLS单元组成， 用于处理不同模态的融合问题。图中Z和H分 图2BLS的3D模型 别表示特征节点和增强节点，下标C、D、R代表 Fig.2 3D BLS model 彩色通道、深度通道和融合节点层。当两种模态 1.3典型相关性分析 数据输入系统时，模型训练的过程可分为以下 典型相关性分析(CCA)是对两个数据集合 3个部分： 进行联合与降维的经典算法。对于两个没有显性 1)利用宽度学习单元分别提取每个模态的高 关联的数据集，CCA可以把不同模态的数据点映 维特征，主要包括特征节点映射特征和增强节点 射到同一个特征空间来构造关联规则。图3为 映射特征； CCA的基本匹配过程，通过将两种模态的数据样 2)在融合节点层将两个模态的特征映射经过 本进行连接，就可以得到相关特征子空间内 个非线性变换抽象融合起来； 对应的特征表达。 3)通过学习输出权值矩阵，利用岭回归广义 逆直接求取全局最优解得到输出类别属性。 8 0 .△ △0 ot。 -0集合2 集合2 0 … CCA 464 集合间的 CCA 特征向量 融合节点层 彩色 深度 图3CCA的匹配方式 图像 图像 Fig.3 CCA match way 图4DBL基本结构 根据CCA的关联方式，假设两个分别属于不 Fig.4 Basic DBL structure 同模态，样本个数一一对应的n维数据集合X和 2.1.1特征提取 Y,其中X={x1,x2,…,x,Y=yy2,,yn}。通过映 假设DBL模型的输人样本个数为N,设DBL 射基向量“和y进行线性变换，重新为每个集合 的特征节点和增强节点个数分别为N,和N2,则彩 中的数据点寻找一个新的坐标空间，并得到度量 色图像的特征表达式为H N×d = ϕ(Z N×b ·Wb×d h +β N×d h ) (2) Wh βh ϕ(·) Y ∈ R N×Q 式中： 和 分别代表随机矩阵和偏置； 是一 个可选择的非线性激活函数。将特征节点和增强 节点相连得到的合并矩阵作为系统的实际输入， 并假设输出矩阵为 ，则宽度模型可以由 式 (3) 求出： Y N×Q = A N×(b+d) ·W(b+d)×Q = [Z N×b |H N×d ]·W(b+d)×Q (3) A + 式中：A 代表 BLS 的实际输入矩阵; W 代表输出 连接权值矩阵，且 W 是通过对 的岭回归近似根 据式 (4) 计算得到的： A + = lim λ→0 (λI+ AAT ) −1A T (4) 为了直观地展示出宽度学习系统，图 2 给出 了 BLS 平面结构的立体模型，详细描述了一个输 入样本 X 通过 BLS 网络进行学习的全过程。其 中，Z 表示特征节点层，H 表示增强节点层，输出 层为 Y，网络仅需要学习输出矩阵 W 即可。 输入样本 X 特征节点层 Z 增强节点层 H 输出层 Y 图 2 BLS 的 3D 模型 Fig. 2 3D BLS model 1.3 典型相关性分析 典型相关性分析 (CCA)[19]是对两个数据集合 进行联合与降维的经典算法。对于两个没有显性 关联的数据集，CCA 可以把不同模态的数据点映 射到同一个特征空间来构造关联规则。图 3 为 CCA 的基本匹配过程，通过将两种模态的数据样 本进行连接，就可以得到相关特征子空间内一一 对应的特征表达。 CCA 集合1 集合2 集合1 集合2 集合间的 CCA 特征向量 图 3 CCA 的匹配方式 Fig. 3 CCA match way X = {x1, x2,··· , xn},Y = {y1, y2,· · ·, yn} 根据 CCA 的关联方式，假设两个分别属于不 同模态，样本个数一一对应的 n 维数据集合 X 和 Y，其中 。通过映 射基向量 u 和 v 进行线性变换，重新为每个集合 中的数据点寻找一个新的坐标空间，并得到度量 模态间相关性的参数 ρ ，即 ρ = max u,v u TΣxyv √ u TΣxxu √ v TΣyyv (5) 式中 Σxy、Σxx 和 Σyy 代表类间和类内协方差矩阵，即 Σxy = E[xyT ] = 1 n ∑n i=1 xiyi T Σxx = E[xxT ] = 1 n ∑n i=1 xixi T Σyy = E[yyT ] = 1 n ∑n i=1 yiyi T (6) 实际应用中，式 (5) 表示的优化问题可以转化 为特征值求解问题进行相关计算。 2 基于双宽度学习的典型相关性分析 为了实现多模态信息的融合问题，本文对宽 度学习方法进行了一定程度的创新和改进，并提 出了一个可以有效学习两种模态特征的融合算法 框架。 2.1 双宽度学习结构 双宽度学习结构是一个以 BLS 为基本单元 的双宽度学习 (double broad learning, DBL) 框架， 如图 4 所示，此结构主要由两个 BLS 单元组成， 用于处理不同模态的融合问题。图中 Z 和 H 分 别表示特征节点和增强节点，下标 C、D、R 代表 彩色通道、深度通道和融合节点层。当两种模态 数据输入系统时，模型训练的过程可分为以下 3 个部分： 1) 利用宽度学习单元分别提取每个模态的高 维特征，主要包括特征节点映射特征和增强节点 映射特征； 2) 在融合节点层将两个模态的特征映射经过 一个非线性变换抽象融合起来； 3) 通过学习输出权值矩阵，利用岭回归广义 逆直接求取全局最优解得到输出类别属性。 彩色 图像 Y 深度 图像 A W 融合节点层 ZC HC ZD HD ZR HR … … … … 图 4 DBL 基本结构 Fig. 4 Basic DBL structure 2.1.1 特征提取 假设 DBL 模型的输入样本个数为 N，设 DBL 的特征节点和增强节点个数分别为 N1 和 N2，则彩 色图像的特征表达式为 ·152· 智 能 系 统 学 报 第 14 卷