·788· 智能系统学报 第15卷 性，比如仅通过视觉，观察不到物体的硬度和表 的信息。因此，开发能够集成来自多个传感器信 面粗糙度。多模态数据融合充分利用多种传感器 息的方法以提高机器人感知的性能是人们非常期 提供的信息，实现不同模态数据优势互补，提高 待的。如何有效融合多模态信息以提高感知能 了人机交互的多样性、鲁棒性和有效性回，多模态 力的问题对研究者来说具有很大的吸引力和挑战 特征融合被广泛应用在情感分析)、视频检索 性。文献[24]提出了一种视触觉交叉模态检索框 触觉物体分类1等领域。近年来，国内外很多学 架，将触觉信息与材料表面的视觉信息相关联， 者采用多模态融合的方法全面地分析和利用不同 用于机器人的感知估计。文献[25]基于宽度学习 模态提供的特性完成材质识别任务。文献[6]建 方法提出了一个能够学习和融合两种模态特征的 立了一种用于弱配对多模态数据融合的投影字典 框架用于机器人抓取实验。 学习框架，在包含视觉和触觉信息的53个家用物 然而，在实际应用中，多模态数据存在异构 品上证明了算法的有效性。除了视觉和触觉融合 性，不同模态数据具有相关性和模糊性，预处理 的情况，使用振动频率和热特征两种触觉模态的 数据也具有复杂性2，这些都是制约多模态学习 数据融合也可以提高材质识别的准确率)。文 的因素。 献[8]使用深度全卷积网络对图像数据与加速度 1.2宽度学习 数据进行了融合。文献[9]提出了一种半监督的 由陈俊龙教授于2017年提出的宽度学习系 材料识别方法，使机器人能在与家庭常见物体的 统是基于随机向量函数链神经网络(random vec- 交互中学习未标记的力、温度和振动声音3种模 tor functional link neural network.RVFLNN)的思想 态的触觉数据。 设计的，他为深度学习提供了一个替代的方案。 然而，上述研究大多基于深度学习算法，考虑 如图1所示，整个网络由4部分组成：输入、特征 到深度学习训练时间长，容易得到局部最优解， 节点、增强节点和输出。 难以收敛，并且在小样本数据的情况下无法发挥 其优势。另一方面，宽度学习io(broad learning, 输出层Y BRL)因其结构简单、训练速度快，泛化性能好等 优点为深度学习提供了可替代的方案而引起学术 界的广泛关注。众多学者针对具体问题的应用背 景对宽度学习进行了改进1”，并将其应用在图 特征节点层 强节点层 像识别1、分类和回归1以及数据建模等领 域。然而由于其单层前馈神经网络的设计以采用 输入样本X 线性映射形成特征节点，很难捕捉到相关的高级 图1BRL网络结构 抽象特征来完成多种模态数据的材质识别任务。 Fig.1 Modal structure of BRL 因此，本文基于级联宽度学习提出一种多模态材 BRL的基本结构和计算步骤如下，给定输入 质识别算法来解决小样本数据集的材质识别问 数据为：X∈R,Y∈RxC,首先，生成M组特征映 题。首先网络的输入是串联成一个向量的同构数 射，每组包含个特征节点，则第i组映射特征表 据，然后通过级联宽度学习算法提取融合特征， 示为 最终得到分类输出，该算法在佐治亚理工学院的 F:=g(X.Wn+B),i=1,2,…,M (1) 光谱数据集上进行验证。实验结果表明，在数据 式中：g()是线性激活函数，这使得映射特征为线 量较少的情况下，相比于深度学习，本文算法付 性特征，在复杂的输入数据处理中，并不能充分 出了较少的时间代价并且提高了识别精度，说明 地提取有用特征，因此，这给了研究者改进宽度 了级联宽度学习方法的快速性和有效性。 学习的想法。W:和B,是随机初始化的权重和偏 1 相关工作 置，为了克服随机初始化的不可预测性，BRL采 用稀疏自编码思想来优化输入权重。接着定义 1.1机器人多模态融合 FM=[F,F2,…,Fw为第i组串联的映射特征，则 传感器技术的不断发展推动了多模态传感器 第j组的增强节点E,表示为 在机器人领域的广泛应用。多模态数据的融合是 E,=g(F.W+Bej=1,2,…,m (2) 将多个传感器的单模态集成到一个紧凑的多模态 其中，（是非线性激活函数，这里使用双曲正切 表示中的过程2，从而提供比单一模态更有价值 函数。W。和B。是增强节点部分的权重和偏置。性，比如仅通过视觉，观察不到物体的硬度和表 面粗糙度。多模态数据融合充分利用多种传感器 提供的信息，实现不同模态数据优势互补，提高 了人机交互的多样性、鲁棒性和有效性[2] ，多模态 特征融合被广泛应用在情感分析[3] 、视频检索[4] 、 触觉物体分类[5] 等领域。近年来，国内外很多学 者采用多模态融合的方法全面地分析和利用不同 模态提供的特性完成材质识别任务。文献 [6] 建 立了一种用于弱配对多模态数据融合的投影字典 学习框架，在包含视觉和触觉信息的 53 个家用物 品上证明了算法的有效性。除了视觉和触觉融合 的情况，使用振动频率和热特征两种触觉模态的 数据融合也可以提高材质识别的准确率[7]。文 献 [8] 使用深度全卷积网络对图像数据与加速度 数据进行了融合。文献 [9] 提出了一种半监督的 材料识别方法，使机器人能在与家庭常见物体的 交互中学习未标记的力、温度和振动声音 3 种模 态的触觉数据。 然而，上述研究大多基于深度学习算法，考虑 到深度学习训练时间长，容易得到局部最优解， 难以收敛，并且在小样本数据的情况下无法发挥 其优势。另一方面，宽度学习[10] (broad learning, BRL) 因其结构简单、训练速度快，泛化性能好等 优点为深度学习提供了可替代的方案而引起学术 界的广泛关注。众多学者针对具体问题的应用背 景对宽度学习进行了改进[11-17] ，并将其应用在图 像识别[18] 、分类和回归[19] 以及数据建模[20] 等领 域。然而由于其单层前馈神经网络的设计以采用 线性映射形成特征节点，很难捕捉到相关的高级 抽象特征来完成多种模态数据的材质识别任务。 因此，本文基于级联宽度学习提出一种多模态材 质识别算法来解决小样本数据集的材质识别问 题。首先网络的输入是串联成一个向量的同构数 据，然后通过级联宽度学习算法提取融合特征， 最终得到分类输出，该算法在佐治亚理工学院的 光谱数据集上进行验证。实验结果表明，在数据 量较少的情况下，相比于深度学习，本文算法付 出了较少的时间代价并且提高了识别精度，说明 了级联宽度学习方法的快速性和有效性。 1 相关工作 1.1 机器人多模态融合 传感器技术的不断发展推动了多模态传感器 在机器人领域的广泛应用。多模态数据的融合是 将多个传感器的单模态集成到一个紧凑的多模态 表示中的过程[21] ，从而提供比单一模态更有价值 的信息。因此，开发能够集成来自多个传感器信 息的方法以提高机器人感知的性能是人们非常期 待的[23]。如何有效融合多模态信息以提高感知能 力的问题对研究者来说具有很大的吸引力和挑战 性。文献 [24] 提出了一种视触觉交叉模态检索框 架，将触觉信息与材料表面的视觉信息相关联， 用于机器人的感知估计。文献 [25] 基于宽度学习 方法提出了一个能够学习和融合两种模态特征的 框架用于机器人抓取实验。 然而，在实际应用中，多模态数据存在异构 性，不同模态数据具有相关性和模糊性，预处理 数据也具有复杂性[26] ，这些都是制约多模态学习 的因素。 1.2 宽度学习 由陈俊龙教授于 2017 年提出的宽度学习系 统是基于随机向量函数链神经网络 (random vec￾tor functional link neural network, RVFLNN) 的思想 设计的，他为深度学习提供了一个替代的方案。 如图 1 所示，整个网络由 4 部分组成：输入、特征 节点、增强节点和输出。 输出层 Y ... ... ... ... 输入样本 X 特征节点层 增强节点层 M Wm E F M m F1 F2 FM E1 E2 EM 图 1 BRL 网络结构 Fig. 1 Modal structure of BRL X ∈ R A×B ,Y ∈ R A×C M fi i BRL 的基本结构和计算步骤如下，给定输入 数据为： ，首先，生成 组特征映 射，每组包含 个特征节点，则第 组映射特征表 示为 Fi = g(X·Wf i +βf i),i = 1,2,··· , M (1) g(·) Wf i βfi F M = [F1,F2,··· ,FM] i j Ej 式中： 是线性激活函数，这使得映射特征为线 性特征，在复杂的输入数据处理中，并不能充分 地提取有用特征，因此，这给了研究者改进宽度 学习的想法。 和 是随机初始化的权重和偏 置，为了克服随机初始化的不可预测性，BRL 采 用稀疏自编码思想来优化输入权重。接着定义 为第 组串联的映射特征，则 第 组的增强节点 表示为 Ej = φ(F M ·We j +βe j), j = 1,2,··· ,m (2) φ(·) We j βe j 其中， 是非线性激活函数，这里使用双曲正切 函数。 和 是增强节点部分的权重和偏置。 ·788· 智 能 系 统 学 报 第 15 卷