【人工智能】基于级联宽度学习的多模态材质识别

第15卷第4期 智能系统学报 Vol.15 No.4 2020年7月 CAAI Transactions on Intelligent Systems Jul.2020 D0L:10.11992tis.201908021 基于级联宽度学习的多模态材质识别 王召新，续欣莹，刘华平3，孙富春 (1.太原理工大学电气与动力工程学院，山西太原030600：2.清华大学计算机科学与技术系，北京100084： 3.清华大学智能技术系统国家重点实验室，北京100084) 摘要：材质识别在机器人与周围环境的相互作用中起着至关重要的作用，视觉、触觉和听觉模式可以提供不同 材质的不同特性，如何利用不同模态的信号快速、高效地完成材质识别任务是亟待解决的问题。并且在现实应 用中，传感器收集的数据量不大，无法为深度神经网络提供足够的数据进行学习训练。为此，本文将级联宽度学 习这种泛化性能好的算法应用在小样本的材质识别任务上。首先，将两组同构多模态数据进行特征融合，之后 使用级联特征节点的宽度学习进行特征学习，最终得到材质分类结果。最后，针对公开数据开展实验评估。结 果表明，本文提出的方法与其他算法相比，在完成材质识别任务的同时，降低了训练时间，提高了分类性能。 关键词：级联结构：宽度学习方法：多模态融合：材质识别；光谱数据：同构数据：特征提取：神经网络 中图分类号：TP391文献标志码：A文章编号：1673-4785(2020)04-0787-08 中文引用格式：王召新，续欣莹，刘华平，等.基于级联宽度学习的多模态材质识别.智能系统学报，2020,15(4)：787-794. 英文引用格式：VANG Zhaoxin,XU Xinying,LIU Huaping,etal.Cascade broad learning for multi-modal material recognition[J]. CAAI transactions on intelligent systems,2020,15(4):787-794. Cascade broad learning for multi-modal material recognition WANG Zhaoxin',XU Xinying',LIU Huaping2,SUN Fuchun23 (1.College of Electrical and Power Engineering,Taiyuan University of Technology,Taiyuan 030600,China;2.Department of Com- puter Science and Technology,Tsinghua University,Beijing 100084,China;3.State Key Laboratory of Intelligent Technology and System,Tsinghua University,Beijing 100084,China) Abstract:Material recognition plays a vital role in the interaction between the robot and the surrounding environment. The visual,tactile and auditory modalities can provide different properties of various materials.How to use signals of different modalities to complete the task of material identification quickly and efficiently is an urgent problem to be solved.Moreover,in practical applications,the data collected by the sensor is limited,so it cannot provide enough data for deep neural network for learning and training.To this end,this paper applies the cascade broad learning with good generalization performance to the material recognition task of small samples.Firstly,feature fusion of two sets of homo- geneous multi-modal data is carried out,and then feature learning is carried out by using the broad learning of cascad- ing feature nodes,The results show that compared with other methods,the method proposed in this paper reduces the training time and improves the classification performance while completing the material recognition tasks. Keywords:cascade structure;broad learning method;multi-modal fuse;material recognition;spectral data;homogen- eous data;feature extraction:neural network 现实世界是由不同类别的材质组成的，人类 微波炉中安全加热，识别物体材质属性有助于人 在与外界的交互中，不断评价不同材质表现出来 类感知细粒度的世界，然而对机器人来说却极具 的特性。比如可以通过材质识别确定物体能否在 挑战性山。为了让机器人像人类一样可以观察、 收稿日期：2019-08-19. 抚摸和揉捏来感受物体的材质属性，研究者为其 基金项目：国家自然科学基金项目(U1613212片山西省自然科 配备了各种各样的传感器。但是单一的视觉、触 学基金项目(201801D121144,201801D221190). 通信作者：刘华平.E-mail:hpliu(@tsinghua.edu.cn 觉或者听觉信息在材质特征的表达上具有局限

DOI: 10.11992/tis.201908021 基于级联宽度学习的多模态材质识别 王召新1 ，续欣莹1 ，刘华平2,3，孙富春2,3 （1. 太原理工大学 电气与动力工程学院，山西 太原 030600; 2. 清华大学 计算机科学与技术系，北京 100084; 3. 清华大学 智能技术系统国家重点实验室，北京 100084） 摘 要：材质识别在机器人与周围环境的相互作用中起着至关重要的作用，视觉、触觉和听觉模式可以提供不同 材质的不同特性，如何利用不同模态的信号快速、高效地完成材质识别任务是亟待解决的问题。并且在现实应 用中，传感器收集的数据量不大，无法为深度神经网络提供足够的数据进行学习训练。为此，本文将级联宽度学 习这种泛化性能好的算法应用在小样本的材质识别任务上。首先，将两组同构多模态数据进行特征融合，之后 使用级联特征节点的宽度学习进行特征学习，最终得到材质分类结果。最后，针对公开数据开展实验评估。结 果表明，本文提出的方法与其他算法相比，在完成材质识别任务的同时，降低了训练时间，提高了分类性能。 关键词：级联结构；宽度学习方法；多模态融合；材质识别；光谱数据；同构数据；特征提取；神经网络 中图分类号：TP391 文献标志码：A 文章编号：1673−4785(2020)04−0787−08 中文引用格式：王召新, 续欣莹, 刘华平, 等. 基于级联宽度学习的多模态材质识别 [J]. 智能系统学报, 2020, 15(4): 787–794. 英文引用格式：WANG Zhaoxin, XU Xinying, LIU Huaping, et al. Cascade broad learning for multi-modal material recognition[J]. CAAI transactions on intelligent systems, 2020, 15(4): 787–794. Cascade broad learning for multi-modal material recognition WANG Zhaoxin1 ，XU Xinying1 ，LIU Huaping2,3 ，SUN Fuchun2,3 (1. College of Electrical and Power Engineering, Taiyuan University of Technology, Taiyuan 030600, China; 2. Department of Com￾puter Science and Technology, Tsinghua University, Beijing 100084, China; 3. State Key Laboratory of Intelligent Technology and System, Tsinghua University, Beijing 100084, China) Abstract: Material recognition plays a vital role in the interaction between the robot and the surrounding environment. The visual, tactile and auditory modalities can provide different properties of various materials. How to use signals of different modalities to complete the task of material identification quickly and efficiently is an urgent problem to be solved. Moreover, in practical applications, the data collected by the sensor is limited, so it cannot provide enough data for deep neural network for learning and training. To this end, this paper applies the cascade broad learning with good generalization performance to the material recognition task of small samples. Firstly, feature fusion of two sets of homo￾geneous multi-modal data is carried out, and then feature learning is carried out by using the broad learning of cascad￾ing feature nodes, The results show that compared with other methods, the method proposed in this paper reduces the training time and improves the classification performance while completing the material recognition tasks. Keywords: cascade structure; broad learning method; multi-modal fuse; material recognition; spectral data; homogen￾eous data; feature extraction; neural network 现实世界是由不同类别的材质组成的，人类 在与外界的交互中，不断评价不同材质表现出来 的特性。比如可以通过材质识别确定物体能否在 微波炉中安全加热，识别物体材质属性有助于人 类感知细粒度的世界，然而对机器人来说却极具 挑战性[1]。为了让机器人像人类一样可以观察、 抚摸和揉捏来感受物体的材质属性，研究者为其 配备了各种各样的传感器。但是单一的视觉、触 觉或者听觉信息在材质特征的表达上具有局限 收稿日期：2019−08−19. 基金项目：国家自然科学基金项目 (U1613212)；山西省自然科 学基金项目 (201801D121144，201801D221190). 通信作者：刘华平. E-mail：hpliu@tsinghua.edu.cn. 第 15 卷第 4 期 智 能 系 统 学 报 Vol.15 No.4 2020 年 7 月 CAAI Transactions on Intelligent Systems Jul. 2020

·788· 智能系统学报 第15卷 性，比如仅通过视觉，观察不到物体的硬度和表 的信息。因此，开发能够集成来自多个传感器信 面粗糙度。多模态数据融合充分利用多种传感器 息的方法以提高机器人感知的性能是人们非常期 提供的信息，实现不同模态数据优势互补，提高 待的。如何有效融合多模态信息以提高感知能 了人机交互的多样性、鲁棒性和有效性回，多模态 力的问题对研究者来说具有很大的吸引力和挑战 特征融合被广泛应用在情感分析)、视频检索 性。文献[24]提出了一种视触觉交叉模态检索框 触觉物体分类1等领域。近年来，国内外很多学 架，将触觉信息与材料表面的视觉信息相关联， 者采用多模态融合的方法全面地分析和利用不同 用于机器人的感知估计。文献[25]基于宽度学习 模态提供的特性完成材质识别任务。文献[6]建 方法提出了一个能够学习和融合两种模态特征的 立了一种用于弱配对多模态数据融合的投影字典 框架用于机器人抓取实验。 学习框架，在包含视觉和触觉信息的53个家用物 然而，在实际应用中，多模态数据存在异构 品上证明了算法的有效性。除了视觉和触觉融合 性，不同模态数据具有相关性和模糊性，预处理 的情况，使用振动频率和热特征两种触觉模态的 数据也具有复杂性2，这些都是制约多模态学习 数据融合也可以提高材质识别的准确率)。文 的因素。 献[8]使用深度全卷积网络对图像数据与加速度 1.2宽度学习 数据进行了融合。文献[9]提出了一种半监督的 由陈俊龙教授于2017年提出的宽度学习系 材料识别方法，使机器人能在与家庭常见物体的 统是基于随机向量函数链神经网络(random vec- 交互中学习未标记的力、温度和振动声音3种模 tor functional link neural network.RVFLNN)的思想 态的触觉数据。 设计的，他为深度学习提供了一个替代的方案。 然而，上述研究大多基于深度学习算法，考虑 如图1所示，整个网络由4部分组成：输入、特征 到深度学习训练时间长，容易得到局部最优解， 节点、增强节点和输出。 难以收敛，并且在小样本数据的情况下无法发挥 其优势。另一方面，宽度学习io(broad learning, 输出层Y BRL)因其结构简单、训练速度快，泛化性能好等 优点为深度学习提供了可替代的方案而引起学术 界的广泛关注。众多学者针对具体问题的应用背 景对宽度学习进行了改进1”，并将其应用在图 特征节点层 强节点层 像识别1、分类和回归1以及数据建模等领 域。然而由于其单层前馈神经网络的设计以采用 输入样本X 线性映射形成特征节点，很难捕捉到相关的高级 图1BRL网络结构 抽象特征来完成多种模态数据的材质识别任务。 Fig.1 Modal structure of BRL 因此，本文基于级联宽度学习提出一种多模态材 BRL的基本结构和计算步骤如下，给定输入 质识别算法来解决小样本数据集的材质识别问 数据为：X∈R,Y∈RxC,首先，生成M组特征映 题。首先网络的输入是串联成一个向量的同构数 射，每组包含个特征节点，则第i组映射特征表 据，然后通过级联宽度学习算法提取融合特征， 示为 最终得到分类输出，该算法在佐治亚理工学院的 F:=g(X.Wn+B),i=1,2,…,M (1) 光谱数据集上进行验证。实验结果表明，在数据 式中：g()是线性激活函数，这使得映射特征为线 量较少的情况下，相比于深度学习，本文算法付 性特征，在复杂的输入数据处理中，并不能充分 出了较少的时间代价并且提高了识别精度，说明 地提取有用特征，因此，这给了研究者改进宽度 了级联宽度学习方法的快速性和有效性。 学习的想法。W:和B,是随机初始化的权重和偏 1 相关工作 置，为了克服随机初始化的不可预测性，BRL采 用稀疏自编码思想来优化输入权重。接着定义 1.1机器人多模态融合 FM=[F,F2,…,Fw为第i组串联的映射特征，则 传感器技术的不断发展推动了多模态传感器 第j组的增强节点E,表示为 在机器人领域的广泛应用。多模态数据的融合是 E,=g(F.W+Bej=1,2,…,m (2) 将多个传感器的单模态集成到一个紧凑的多模态 其中，（是非线性激活函数，这里使用双曲正切 表示中的过程2，从而提供比单一模态更有价值 函数。W。和B。是增强节点部分的权重和偏置

性，比如仅通过视觉，观察不到物体的硬度和表 面粗糙度。多模态数据融合充分利用多种传感器 提供的信息，实现不同模态数据优势互补，提高 了人机交互的多样性、鲁棒性和有效性[2] ，多模态 特征融合被广泛应用在情感分析[3] 、视频检索[4] 、 触觉物体分类[5] 等领域。近年来，国内外很多学 者采用多模态融合的方法全面地分析和利用不同 模态提供的特性完成材质识别任务。文献 [6] 建 立了一种用于弱配对多模态数据融合的投影字典 学习框架，在包含视觉和触觉信息的 53 个家用物 品上证明了算法的有效性。除了视觉和触觉融合 的情况，使用振动频率和热特征两种触觉模态的 数据融合也可以提高材质识别的准确率[7]。文 献 [8] 使用深度全卷积网络对图像数据与加速度 数据进行了融合。文献 [9] 提出了一种半监督的 材料识别方法，使机器人能在与家庭常见物体的 交互中学习未标记的力、温度和振动声音 3 种模 态的触觉数据。 然而，上述研究大多基于深度学习算法，考虑 到深度学习训练时间长，容易得到局部最优解， 难以收敛，并且在小样本数据的情况下无法发挥 其优势。另一方面，宽度学习[10] (broad learning, BRL) 因其结构简单、训练速度快，泛化性能好等 优点为深度学习提供了可替代的方案而引起学术 界的广泛关注。众多学者针对具体问题的应用背 景对宽度学习进行了改进[11-17] ，并将其应用在图 像识别[18] 、分类和回归[19] 以及数据建模[20] 等领 域。然而由于其单层前馈神经网络的设计以采用 线性映射形成特征节点，很难捕捉到相关的高级 抽象特征来完成多种模态数据的材质识别任务。 因此，本文基于级联宽度学习提出一种多模态材 质识别算法来解决小样本数据集的材质识别问 题。首先网络的输入是串联成一个向量的同构数 据，然后通过级联宽度学习算法提取融合特征， 最终得到分类输出，该算法在佐治亚理工学院的 光谱数据集上进行验证。实验结果表明，在数据 量较少的情况下，相比于深度学习，本文算法付 出了较少的时间代价并且提高了识别精度，说明 了级联宽度学习方法的快速性和有效性。 1 相关工作 1.1 机器人多模态融合 传感器技术的不断发展推动了多模态传感器 在机器人领域的广泛应用。多模态数据的融合是 将多个传感器的单模态集成到一个紧凑的多模态 表示中的过程[21] ，从而提供比单一模态更有价值 的信息。因此，开发能够集成来自多个传感器信 息的方法以提高机器人感知的性能是人们非常期 待的[23]。如何有效融合多模态信息以提高感知能 力的问题对研究者来说具有很大的吸引力和挑战 性。文献 [24] 提出了一种视触觉交叉模态检索框 架，将触觉信息与材料表面的视觉信息相关联， 用于机器人的感知估计。文献 [25] 基于宽度学习 方法提出了一个能够学习和融合两种模态特征的 框架用于机器人抓取实验。 然而，在实际应用中，多模态数据存在异构 性，不同模态数据具有相关性和模糊性，预处理 数据也具有复杂性[26] ，这些都是制约多模态学习 的因素。 1.2 宽度学习 由陈俊龙教授于 2017 年提出的宽度学习系 统是基于随机向量函数链神经网络 (random vec￾tor functional link neural network, RVFLNN) 的思想 设计的，他为深度学习提供了一个替代的方案。 如图 1 所示，整个网络由 4 部分组成：输入、特征 节点、增强节点和输出。 输出层 Y ... ... ... ... 输入样本 X 特征节点层 增强节点层 M Wm E F M m F1 F2 FM E1 E2 EM 图 1 BRL 网络结构 Fig. 1 Modal structure of BRL X ∈ R A×B ,Y ∈ R A×C M fi i BRL 的基本结构和计算步骤如下，给定输入 数据为： ，首先，生成 组特征映 射，每组包含 个特征节点，则第 组映射特征表 示为 Fi = g(X·Wf i +βf i),i = 1,2,··· , M (1) g(·) Wf i βfi F M = [F1,F2,··· ,FM] i j Ej 式中： 是线性激活函数，这使得映射特征为线 性特征，在复杂的输入数据处理中，并不能充分 地提取有用特征，因此，这给了研究者改进宽度 学习的想法。 和 是随机初始化的权重和偏 置，为了克服随机初始化的不可预测性，BRL 采 用稀疏自编码思想来优化输入权重。接着定义 为第 组串联的映射特征，则 第 组的增强节点 表示为 Ej = φ(F M ·We j +βe j), j = 1,2,··· ,m (2) φ(·) We j βe j 其中， 是非线性激活函数，这里使用双曲正切 函数。 和 是增强节点部分的权重和偏置。 ·788· 智 能 系 统 学 报 第 15 卷

第4期 王召新，等：基于级联宽度学习的多模态材质识别 ·789· 类似的，定义m组串联的增强节点为Em= 它们都可以由机器人的末端执行器控制或连 [E,E2,…,Em],因此，BRL的输出可表示为 接。光谱仪Lumini ONE有4个光源，波长测量 Y=[F1,F2,…,FME1,E2,…,E]WM= 范围是317~856nm。该光谱仪覆盖了整个可见 [FMIE"]WM =[AM]WM (3) 光光谱以及部分近紫外和近红外光谱。光谱仪 其中，W“=[A“]Y是宽度学习的输出矩阵，通过 Scio在评估食品和药品的化学成分等性能方面 岭回归的广义逆近似求解得到。而[A“]则采用 取得了成功。与Lumini相比，Scio尺寸更小，此 式(4)得到： 外，Scio的工作在波长为740~1070nm的近红外 [AM]=lim(+A[AMA (4) 光谱范围内。 如果测试精度不符合要求或输入新的数据， 在这些实验中，两个传感器都与一个位于旋 则需要使用增量学习算法扩展网络而无需再 转平台上的目标接触，获得理想的光谱测量，以 训练。 表征最佳的材料识别性能。在数据采集的过程 13级联特征节点的宽度学习 中，Lumini的曝光时间是0.5s,可以在信号强度 宽度学习是一种灵活的模型，可以在多种约 和噪声之间做出合理的权衡。与Lumini不同的 束条件下进行改进。级联特征映射的宽度学习 是，Scio的曝光时间是不可获取的，但根据经验， (cascade of feature mapping nodes of BRL,CFBRL) 可以发现它的曝光时间约为1s。Scio测量的维 是一种改变特征节点连接方式的一种改进结构， 度为331(740~1070nm),而Lumini测量的维度 如图2所示。将前一组特征节点的输出作为后一 为288(317~856nm),在特征学习之前，计算了测 组特征节点的输入，以此类推。生成的m组映射 量数据的离散一阶导数并进行归一化。 特征为[F,F2,…,FMl。以X作为体系结构的输 2.2特征融合 入，第1组映射的特性为式(1)中i=1的情况。 根据采集数据所用传感器类型的差异，多模 接下来，生成第2组映射特性F2。第2组特征节 态数据通常可以分为同构数据和异构数据。不同 点以映射后的特征F1为输人，生成F2为 类型的数据，往往有不同的融合模型2。若多个 F2=g(F1·WB+Bs)= 模态数据具有类似的数学统计规律，称之为同构 g(g(X.W6+B5)W6+B5)= (5) 数据。文中用到的两组数据都是光谱数据，属于 g2(X:(Wn-Bn)=12) 同构数据。因此，学习低层次的相关性可以得到 更加鲁棒的特征四。本文将串联的多模态数据作 为级联宽度学习网络的输入，然后通过宽度网络 输出层Y 提取融合特征，最终得到材质类别。 3实验结果与分析 为了验证本文提出的基于级联宽度学习的多 模态材质识别算法的有效性，在佐治亚理工学院 的材质光谱数据集上展开了实验对比。该数 输入样本X 据集的收集工作揭示了一种利用光谱学来估计物 体材料的机器人技术。光谱学的研究包括测量电 图2 CFBRL网络结构 Fig.2 Modal structure of CFBRI 磁辐射和物质之间的相互作用。通俗地说，这是 一个测量物体反射回来的光强度的过程，它是光 按照这个规律，可以得到第M组的映射特征： 波长的函数。光谱仪（或光谱学传感器）为机器 Fn=g(Fa-1·Wm+Brn= (6) 人的材料识别提供了几个好处，包括具有快速的 g(X:(W,Bl1),n=1,2,…,M 传感能力和精确且可重复的测量。此外，与许多 得到映射特征后，生成增强节点和计算输出 触觉传感器不同，光谱仪不需要与物体进行直接 矩阵的步骤同BRL。 的物理接触，这使得机器人在物体接触之前就得 2数据处理及特征提取方法 出该物体的材质属性。 3.1实验数据 2.1数据获取及预处理 该数据集包含2个子数据集，都是日常生活 实验所用的数据来自商用手持微型光谱仪， 用品的光谱测量数据，数据采集样本如图3所示

m E m = [E1,E2,··· ,Em] 类似的，定义 组串联的增强节点为 ，因此，BRL 的输出可表示为 Y = [F1,F2,··· ,FM|E1,E2,··· ,Em]WM = [F M|E m ]WM =[A M m ]WM (3) WM = [A M m ] +Y [A M m ] + 其中， 是宽度学习的输出矩阵，通过 岭回归的广义逆近似求解得到。而 则采用 式 (4) 得到： [A M m ] +=lim λ→0 (λI+ A M m ·[A M m ] T ) −1 [A M m ] T (4) 如果测试精度不符合要求或输入新的数据， 则需要使用增量学习算法扩展网络而无需再 训练。 1.3 级联特征节点的宽度学习 m [F1,F2,··· ,FM] X i = 1 F2 F1 F2 宽度学习是一种灵活的模型，可以在多种约 束条件下进行改进。级联特征映射的宽度学习 (cascade of feature mapping nodes of BRL, CFBRL) 是一种改变特征节点连接方式的一种改进结构， 如图 2 所示。将前一组特征节点的输出作为后一 组特征节点的输入，以此类推。生成的 组映射 特征为 。以 作为体系结构的输 入 ，第 1 组映射的特性为式 (1) 中 的情况。 接下来，生成第 2 组映射特性 。第 2 组特征节 点以映射后的特征 为输入，生成 为 F2 = g(F1 ·Wf2 +βf2 ) = g(g(X·Wf1 +βf1 )Wf2 +βf2 ) = g 2 ( X;{Wfi ,βfi } i=1,2 ) (5) 输出层 Y ... ... ... ... F1 F2 FM E1 E2 Em 输入样本 X 图 2 CFBRL 网络结构 Fig. 2 Modal structure of CFBRL 按照这个规律，可以得到第 M 组的映射特征： Fn = g(Fn−1 ·Wf n +βf n)= g n ( X;{Wf i,βf i} M i=1 ) , n = 1,2,··· , M (6) 得到映射特征后，生成增强节点和计算输出 矩阵的步骤同 BRL。 2 数据处理及特征提取方法 2.1 数据获取及预处理 实验所用的数据来自商用手持微型光谱仪， 317∼856 nm 740 ∼ 1 070 nm 它们都可以由机器人的末端执行器控制或连 接。光谱仪 Lumini ONE 有 4 个光源，波长测量 范围是 。该光谱仪覆盖了整个可见 光光谱以及部分近紫外和近红外光谱。光谱仪 Scio 在评估食品和药品的化学成分等性能方面 取得了成功。与 Lumini 相比，Scio 尺寸更小，此 外，Scio 的工作在波长为 的近红外 光谱范围内。 740 ∼ 1 070 nm 317 ∼ 856 nm 在这些实验中，两个传感器都与一个位于旋 转平台上的目标接触，获得理想的光谱测量，以 表征最佳的材料识别性能。在数据采集的过程 中，Lumini 的曝光时间是 0.5 s，可以在信号强度 和噪声之间做出合理的权衡。与 Lumini 不同的 是，Scio 的曝光时间是不可获取的，但根据经验， 可以发现它的曝光时间约为 1 s。Scio 测量的维 度为 331( )，而 Lumini 测量的维度 为 288 ( )，在特征学习之前，计算了测 量数据的离散一阶导数并进行归一化。 2.2 特征融合 根据采集数据所用传感器类型的差异，多模 态数据通常可以分为同构数据和异构数据。不同 类型的数据，往往有不同的融合模型[21]。若多个 模态数据具有类似的数学统计规律，称之为同构 数据。文中用到的两组数据都是光谱数据，属于 同构数据。因此，学习低层次的相关性可以得到 更加鲁棒的特征[22]。本文将串联的多模态数据作 为级联宽度学习网络的输入，然后通过宽度网络 提取融合特征，最终得到材质类别。 3 实验结果与分析 为了验证本文提出的基于级联宽度学习的多 模态材质识别算法的有效性，在佐治亚理工学院 的材质光谱数据集[18] 上展开了实验对比。该数 据集的收集工作揭示了一种利用光谱学来估计物 体材料的机器人技术。光谱学的研究包括测量电 磁辐射和物质之间的相互作用。通俗地说，这是 一个测量物体反射回来的光强度的过程，它是光 波长的函数。光谱仪 (或光谱学传感器) 为机器 人的材料识别提供了几个好处，包括具有快速的 传感能力和精确且可重复的测量。此外，与许多 触觉传感器不同，光谱仪不需要与物体进行直接 的物理接触，这使得机器人在物体接触之前就得 出该物体的材质属性。 3.1 实验数据 该数据集包含 2 个子数据集，都是日常生活 用品的光谱测量数据，数据采集样本如图 3 所示。 第 4 期 王召新，等：基于级联宽度学习的多模态材质识别 ·789·

·790· 智能系统学报 第15卷 2*10 Limini光谱实例-纸板 0 300400500600700800900 波长hm 0.6 Scio光谱实例-纸板 0.5 0. 700 800 90010001100 波长hm (a)纸样本及光谱实例 4*10 Limini光谱实例-铅 2 0 300400 500600700 800900 波长nm 0.8 Scio光谱实例-铅 0.6 0.4 700 800 90010001100 波长nm (⑥)金属样本及光谱实例 4*10 Limini光谱实例-PVC 2 300400500600700800900 波长hm 0.7 Scio光谱实例-PVC 0.6 0.5 700 800 90010001100 波长nm (c)塑料样本及光谱实例 2*10 Limini光谱实例-缎子 300400 500600 700 800900 波长hm 1.0 Scio光谱实例-缎子 0.8 0.7 700 800 9001000 1100 波长hm (d)布料样本及光谱实例 2 ×10 Limini光谱实例-红榆木 1 0 300 400 500600700800900 波长nm 1.0 Scio光谱实例-红榆木 10.8 0.7 00 800 900 10001100 波长nm (e)木材样本及光谱实例 图3光谱数据集样本 Fig.3 Example objects from the spectroscopy dataset

2 1 0 300 400 500 600 波长/nm Limini 光谱实例−纸板 相对亮度值 700 800 900 ×104 0.6 0.5 0.4 700 800 波长/nm Scio 光谱实例−纸板 相对亮度值 900 1 000 1 100 (a) 纸样本及光谱实例 4 2 0 300 400 500 600 波长/nm Limini 光谱实例−铅 相对亮度值 700 800 900 ×104 0.8 0.6 0.4 700 800 波长/nm Scio 光谱实例−铅 相对亮度值 900 1 000 1 100 (b) 金属样本及光谱实例 4 2 0 300 400 500 600 波长/nm Limini 光谱实例−PVC 相对亮度值 700 800 900 ×104 0.7 0.6 0.5 700 800 波长/nm Scio 光谱实例−PVC 相对亮度值 900 1 000 1 100 (c) 塑料样本及光谱实例 2 1 0 300 400 500 600 波长/nm Limini 光谱实例−缎子 相对亮度值 700 800 900 ×104 1.0 0.8 0.7 700 800 波长/nm Scio 光谱实例−缎子 相对亮度值 900 1 000 1 100 (d) 布料样本及光谱实例 2 1 0 300 400 500 600 波长/nm Limini 光谱实例−红榆木 相对亮度值 700 800 900 ×104 1.0 0.8 0.7 700 800 波长/nm Scio 光谱实例−红榆木 相对亮度值 900 1 000 1 100 (e) 木材样本及光谱实例 图 3 光谱数据集样本 Fig. 3 Example objects from the spectroscopy dataset ·790· 智 能 系 统 学 报 第 15 卷

第4期 王召新，等：基于级联宽度学习的多模态材质识别 ·791· 这些物体涵盖了金属、塑料、木材、纸和布料 实验设置了相同的参数：每个窗口的特征节点数 5种类别，每个光谱仪采集来自5种类别的50个 为9，特征节点窗口数为6，增强节点1000，收敛 物体信号，每个物体测量100次，2个传感器共计 因子0.7，正则化因子1，从表1可以看出，在使用 测量10000个光谱数据。数据集样本如图3所 多模态样本进行实验时，在每个物体只有一个训 示。实验采用5倍交叉验证的方式，即每个子数 练样本的情况下，深度学习和宽度学习分别达到 据集的训练数据均为4000个测量值，每种材质 了92.20%和98.64%的识别精度，可以看出宽度 800个，剩下的1000个测量值为测试数据。为了 学习具有良好的泛化能力。随着训练样本的增 验证本文提出的算法在小样本数据集上的性能， 加，识别精度均有所提高，这说明在实际应用中， 实验的训练数据量仅为200个，并且评估了随着 如果机器人无法获得大量的光谱学习样本，在小 训练样本从每个物体1~4个测量值依次增加，模 样本的情况下可以选择宽度学习来完成材质识别 型的分类性能如何变化。 任务。另一方面，对比5次交叉验证的运行时间， 3.2实验结果 从表2可以看到，宽度学习随训练样本增加运行 为了检验宽度学习算法在材质识别任务上的 时间总共是14s左右，仅仅是深度学习的1/25，宽 性能，主要是验证宽度学习算法在该任务中能否 度学习不仅避免了深度结构耗时的训练过程，还 作为深度学习的替代方法完成识别任务，因此本 能较好地完成材质识别任务。这足以说明了宽度 文与文献[21]算法做了对比。具体而言，主要在 学习方法的快速性和有效性。 识别率、训练和测试时间以及参数敏感性等方面 表1 当训练样本增加时不同算法在多模态数据上的识 做了评估，材质识别实验流程如图4所示。 别准确率 Table 1 Recognition accuracy of different algorithms on multi-modal data when training samples in- crease % 每个物体的训练样本数 DL BRL CFBRL LCFBRL ×104 兰2 umn光谱实例-纸板 Scio光谱实例-纸板 92.2094.2398.62 95.84 0.6 0 3 94.4095.7499.84 96.87 0.4 300500700900 70080090010001100 波长/m 2 95.4697.1499.86 98.03 波长/nm 97.2097.8999.84 98.64 ●●● 。●● ●●…●●● 表2当训练样本增加时不同算法在多模态数据上的运 ●●● 5雪●●O 行时间 融合节点层 Table 2 Running time of different algorithms on multi- modal data when training samples increase 每个物体的训练样本数 DL BRL CFBRL LCFBRL CFBRL 特征节点层F 35.031.401.45 1.37 E E 3 72.072.922.89 2.73 增强节点层E 106.114.414.35 4.10 4 137.155.275.80 5.46 预测标签Y 图4材质识别任务流程 从图5可以看到，在训练样本为50时，4种算 Fig.4 The process of material recognition tasks 法在单模态和多模态数据上的分类精度。整体来 对比实验中增加了一种基于宽度学习的改进 看，不管是宽度学习还是深度学习算法，多模态 算法：宽度学习中级联特征节点与增强节点之间 数据结果好于单一模态的分类结果，这证明了多 的有限连接(broad learning:the limited connection 模态融合方法在材质识别领域的有效性。 between the groups of cascaded feature nodes and the 为了比较不同参数对CFBRL模型性能的影 enhancement nodes,LCFBRL)具体结构为特征节 响，对参数正则化因子C,收敛因子S,特征节点 点级联，最后一组特征节点用来生成增强节点。 N,×N2和增强节点N3进行网格搜索。其中，C是 对于3种宽度学习算法，为了提高实验的可比性， 控制过拟合的参数，S是增强节点的收缩尺度，防

这些物体涵盖了金属、塑料、木材、纸和布料 5 种类别，每个光谱仪采集来自 5 种类别的 50 个 物体信号，每个物体测量 100 次，2 个传感器共计 测量 10 000 个光谱数据。数据集样本如图 3 所 示。实验采用 5 倍交叉验证的方式，即每个子数 据集的训练数据均为 4 000个测量值，每种材质 800 个，剩下的 1 000 个测量值为测试数据。为了 验证本文提出的算法在小样本数据集上的性能， 实验的训练数据量仅为 200 个，并且评估了随着 训练样本从每个物体 1~4 个测量值依次增加，模 型的分类性能如何变化。 3.2 实验结果 为了检验宽度学习算法在材质识别任务上的 性能，主要是验证宽度学习算法在该任务中能否 作为深度学习的替代方法完成识别任务，因此本 文与文献 [21] 算法做了对比。具体而言，主要在 识别率、训练和测试时间以及参数敏感性等方面 做了评估，材质识别实验流程如图 4 所示。 融合节点层 ... ... ... ... ... ... ... ... ... 预测标签 Y CFBRL ... ... 2 1 0 300 500 900 700 相对 亮度值 Lumini 光谱实例−纸板 波长/nm ×104 0.6 0.5 0.4 700 800 1 000 1 100 900 相对 亮度值 Scio 光谱实例−纸板 波长/nm F1 E1 EM Fm 特征节点层 Fm 增强节点层 EM 图 4 材质识别任务流程 Fig. 4 The process of material recognition tasks 对比实验中增加了一种基于宽度学习的改进 算法：宽度学习中级联特征节点与增强节点之间 的有限连接 (broad learning: the limited connection between the groups of cascaded feature nodes and the enhancement nodes, LCFBRL) 具体结构为特征节 点级联，最后一组特征节点用来生成增强节点。 对于 3 种宽度学习算法，为了提高实验的可比性， 实验设置了相同的参数：每个窗口的特征节点数 为 9，特征节点窗口数为 6，增强节点 1 000，收敛 因子 0.7，正则化因子 1，从表 1 可以看出，在使用 多模态样本进行实验时，在每个物体只有一个训 练样本的情况下，深度学习和宽度学习分别达到 了 92.20% 和 98.64% 的识别精度，可以看出宽度 学习具有良好的泛化能力。随着训练样本的增 加，识别精度均有所提高，这说明在实际应用中， 如果机器人无法获得大量的光谱学习样本，在小 样本的情况下可以选择宽度学习来完成材质识别 任务。另一方面，对比 5 次交叉验证的运行时间， 从表 2 可以看到，宽度学习随训练样本增加运行 时间总共是 14 s 左右，仅仅是深度学习的 1/25，宽 度学习不仅避免了深度结构耗时的训练过程，还 能较好地完成材质识别任务。这足以说明了宽度 学习方法的快速性和有效性。 表 1 当训练样本增加时不同算法在多模态数据上的识 别准确率 Table 1 Recognition accuracy of different algorithms on multi-modal data when training samples in￾crease % 每个物体的训练样本数 DL BRL CFBRL LCFBRL 1 92.20 94.23 98.62 95.84 2 94.40 95.74 99.84 96.87 3 95.46 97.14 99.86 98.03 4 97.20 97.89 99.84 98.64 表 2 当训练样本增加时不同算法在多模态数据上的运 行时间 Table 2 Running time of different algorithms on multi￾modal data when training samples increase s 每个物体的训练样本数 DL BRL CFBRL LCFBRL 1 35.03 1.40 1.45 1.37 2 72.07 2.92 2.89 2.73 3 106.11 4.41 4.35 4.10 4 137.15 5.27 5.80 5.46 从图 5 可以看到，在训练样本为 50 时，4 种算 法在单模态和多模态数据上的分类精度。整体来 看，不管是宽度学习还是深度学习算法，多模态 数据结果好于单一模态的分类结果，这证明了多 模态融合方法在材质识别领域的有效性。 N1 ×N2 N3 为了比较不同参数对 CFBRL 模型性能的影 响，对参数正则化因子 C，收敛因子 S，特征节点 和增强节点 进行网格搜索。其中，C 是 控制过拟合的参数，S 是增强节点的收缩尺度，防 第 4 期 王召新，等：基于级联宽度学习的多模态材质识别 ·791·

·792· 智能系统学报 第15卷 止增强节点过多造成冗余。图6给出了CF 100 BRL算法固定N1XN2=9×5,N3=10O0时C和 S对两个子数据集测试分类准确率的影响趋势。 在这里，取每个物体一个样本的情况进行实验。 观察图6发现，当C=20时，分类精度最小；从 C=1开始，随着C的减小，分类精度明显有所降 10×10 低，C对于识别率的影响较大，有明显的局部极大 20×10 30×10 值和极小值区域。对比C的取值变化，收敛因子 S对分类准确率的影响不大，随着S的增加，分类 60×10 s006007008009001000 N 精度在平缓波动。总体来看，在C取值不太大的 图7 特征节点和增强节点在多模态数据上对CFBRL分 情况下，CFBRL算法具有很好的鲁棒性，能够过 类准确率的影响趋势 滤掉噪声干扰。 Fig.7 Influence trend of feature node and enhancement node on CFBRL classification accuracy in multi- ]Scio☐Lumini modal data 100 Lumini+Scio 最后，从图8中可以看到本文的算法分别在 纸、塑料、布料、木材和金属5种材质上的分类性 能。布料容易错分成塑料。原因是Scion光谱仪 70 采集到的信号非常相似。这一点可以在图4中得 6 到印证。在实际应用中，可以增加经常混淆的材 50 质的样本数量，来提高识别率。 混淆矩阵 1.0 Deep learning BRL CFBRL LCFBRL 塑料 o 0.0 0.0 0.0 0.0 图5每个物体一个训练样本时不同算法的单模态和多 0.8 模态分类准确率 布料 0.001 0.95 0.035 0.0 0.014 Fig.5 Single-modal and multi-modal classification accur- 0.6 acy of different algorithms when each object has a 纸 0.0 0.004 0.994 0.0 0.002 training sample 0.4 100 木材 0.0 0.002 0.001 0.997 0.0 0.2 金属 0.0 0.008 0.02 0.001 0.971 95 塑料 布料 纸 木材 金属 预测值 --C=20 图8每个物体的训练样本数为1时CFBRL混淆矩阵 90 C=220 -= Fig.8 CFBRL confusion matrix when the training sample =20 number of each object is 1 C=20 85 .10.20.30.40.50.60.70.8 4结束语 图6参数C和S在多模态数据上对算法CFBRL识别准 为了使机器人更好地完成材质识别任务，本 确率的影响趋势 文采用多模态融合的方法提出了基于级联宽度学 Fig.6 Influence trend of parameters C and S on CFBRL 习的材质识别算法来提高机器人的感知性能。受 recognition accuracy in multimodal data 外界因素限制，当传感器不能获取足够的数据供 将C(1)和S0.7)固定，分别在{100,200,300， 机器人训练学习时，本文提出的算法可以取代深 400,500,600}和{500,600,700,800,900,1000}范 度学习，以较少的时间代价获得高识别率，实验 围内对特征节点和增强节点进行参数调节，分类 结果验证了该框架在多模态平面材料识别中的有 结果如图7所示。随特征节点数量的增加，分类 效性，为材料表面的触觉感知提供了一种有效的 精度大致呈正态分布，而分类精度跟增强节点数 工具，由于其快速性和有效性，该算法可在机器 量是正相关的，在N=1000时达到最优结果。 人材质识别领域广泛应用

N1 ×N2 = 9×5 N3 = 1 000 C = 2 10 C = 1 止增强节点过多造成冗余。 图 6 给 出 了 C F￾BRL 算法固定 ， 时 C 和 S 对两个子数据集测试分类准确率的影响趋势。 在这里，取每个物体一个样本的情况进行实验。 观察图 6 发现，当 时，分类精度最小；从 开始，随着 C 的减小，分类精度明显有所降 低，C 对于识别率的影响较大，有明显的局部极大 值和极小值区域。对比 C 的取值变化，收敛因子 S 对分类准确率的影响不大，随着 S 的增加，分类 精度在平缓波动。总体来看，在 C 取值不太大的 情况下，CFBRL 算法具有很好的鲁棒性，能够过 滤掉噪声干扰。 100 90 80 70 60 50 40 30 识别准确率/% Deep learning BRL CFBRL LCFBRL Scio Lumini Lumini+Scio 图 5 每个物体一个训练样本时不同算法的单模态和多 模态分类准确率 Fig. 5 Single-modal and multi-modal classification accur￾acy of different algorithms when each object has a training sample 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 S 85 90 95 100 C=2−30 C=2−20 C=2−10 C=20 C=210 识别准确率/% 图 6 参数 C 和 S 在多模态数据上对算法 CFBRL 识别准 确率的影响趋势 Fig. 6 Influence trend of parameters C and S on CFBRL recognition accuracy in multimodal data N3 = 1 000 将 C(1) 和 S(0.7) 固定，分别在{100，200，300， 400，500，600}和{500，600，700，800，900，1 000}范 围内对特征节点和增强节点进行参数调节，分类 结果如图 7 所示。随特征节点数量的增加，分类 精度大致呈正态分布，而分类精度跟增强节点数 量是正相关的，在 时达到最优结果。 80 85 10×10 90 20×10 95 100 30×10 1 000 N1×N2 40×10 900 N3 800 50×10 700 600 60×10 500 识别准确率/% 图 7 特征节点和增强节点在多模态数据上对 CFBRL 分 类准确率的影响趋势 Fig. 7 Influence trend of feature node and enhancement node on CFBRL classification accuracy in multi￾modal data 最后，从图 8 中可以看到本文的算法分别在 纸、塑料、布料、木材和金属 5 种材质上的分类性 能。布料容易错分成塑料。原因是 Scion 光谱仪 采集到的信号非常相似。这一点可以在图 4 中得 到印证。在实际应用中，可以增加经常混淆的材 质的样本数量，来提高识别率。 1.0 0.95 0.994 0.997 0.971 0.0 1.0 0.8 0.6 0.4 0.2 0 0.001 0.0 0.004 0.0 0.002 0.001 0.0 0.008 0.02 0.001 0.0 0.002 0.0 0.035 0.0 0.0 0.0 0.014 塑料 0.0 塑料 布料 纸 预测值 真实值 木材 金属 布料 纸 木材 金属 混淆矩阵 图 8 每个物体的训练样本数为 1 时 CFBRL 混淆矩阵 Fig. 8 CFBRL confusion matrix when the training sample number of each object is 1 4 结束语 为了使机器人更好地完成材质识别任务，本 文采用多模态融合的方法提出了基于级联宽度学 习的材质识别算法来提高机器人的感知性能。受 外界因素限制，当传感器不能获取足够的数据供 机器人训练学习时，本文提出的算法可以取代深 度学习，以较少的时间代价获得高识别率，实验 结果验证了该框架在多模态平面材料识别中的有 效性，为材料表面的触觉感知提供了一种有效的 工具，由于其快速性和有效性，该算法可在机器 人材质识别领域广泛应用。 ·792· 智 能 系 统 学 报 第 15 卷

第4期 王召新，等：基于级联宽度学习的多模态材质识别 ·793· 参考文献： [12]LIU Z,CHEN CL P.Broad learning system:Structural extensions on single-layer and multi-layer neural net- [1]BELL S.UPCHERCH P.SNAVELY N.et al.Material re- works[C]//2017 International Conference on Security cognition in the wild with the materials in context data- Pattern Analysis,and Cybernetics.Shenzhen,China base[C]//Proceedings of the IEEE Conference on Com- 2017:136-141. puter Vision and Pattern Recognition.Massachusetts,Bo- [13]JIN J.LIU Z,CHEN C L P.Discriminative graph regular- ston,2015:3479-3487. ized broad learning system for image recognition[J].Sci- [2]齐静，徐坤，丁希仑.机器人视觉手势交互技术研究进 ence China information sciences,2018.61(11):112209. 展[U.机器人，2017,39(4)：565-584. [14]CHEN C L P,LIU Z,FENG S.Universal approximation QI Jing.XU Kun,DING Xilun.Vision-based hand gesture capability of broad learning system and its structural vari- recognition for human-robot interaction:a review[J].Ro- ations[J].IEEE transactions on neural networks and learn- bot,2017,394):565-584. ing systems,2018,30(4):1191-1204 [3]吴钟强，张耀文，商琳.基于语义特征的多视图情感分类 [15]LI D.SHUJUAN J,CHUNJIN Z.Improved broad learn- 方法.智能系统学报，2017,12(5)：167-173 ing system:partial weights modification based on BP al- WU Zhongqiang,ZHANG Yaowen,SHANG Lin.Multi- gorithm[J].Materials science and engineering,2018, view sentiment classification of microblogs based on se- 439(3:032083 mantic features[J].CAAI transactions on intelligent sys- [16]ZHANG T L,CHEN R,YANG X,et al.Rich feature tems,2017,12(5):167-173. combination for cost-based broad learning system[J]. [4]温有福，贾彩燕，陈智能.一种多模态融合的网络视频相 IEEE access..2018.7(1):160-172. 关性度量方法).智能系统学报，2016,11(3)：359-365. [17]ZHAO H,ZHENG J,DENG W,et al.Semi-supervised WEN Youfu,JIA Caiyan,CHEN Zhineng.A multi-modal broad learning system based on manifold regularization fusion approach for measuring web video relatedness[J]. and broad network[J].IEEE transactions on circuits and CAAI transactions on intelligent systems,2016,11(3): 359-365. systems I:regular papers,2020,67(3):983-994. [18]KONG Y.WANG X,CHENG Y,et al.Hyperspectral im- [5]马蕊，刘华平，孙富春，等.基于触觉序列的物体分类[， 智能系统学报，2015,103)362-368 agery classification based on semi-supervised broad learn- MA Rui,LIU Huaping,SUN Fuchun,et al.Object classi- ing system[J].Remote sensing,2018,10(5):685. [19]FENG S,CHEN C L P.Fuzzy broad learning system:A fication based on the tactile sequence[J].CAAI transac- tions on intelligent systems,2015,10(3):362-368. novel neuro-fuzzy model for regression and classification[J] [6]LIU H,WU Y,SUN F,et al.Weakly paired multimodal IEEE transactions on cybernetics,2018,50(2):414-424. fusion for object recognition[J].IEEE transactions on auto- [20]JIN J,CHEN C L P.Regularized robust broad learning mation science and engineering,2017,15(2):784-795. system for uncertain data modeling[J].Neurocomputing, [7]EGUILUZ A G.RANO I.Coleman S A.et al.A multi- 2018,322(1):58-69 modal approach to continuous material identification [21]LIU Z,SHEN Y,LAKSHMINARASIMHAN V B,et al through tactile sensing[Cl//2016 IEEE/RSJ International Efficient low-rank multimodal fusion with modality-spe- Conference on Intelligent Robots and Systems.Daejeon, cific factors[J].arXiv:1806.00064,2018 Korea,2016:4912-4917. [22]魏洁.深度极限学习机的研究与应用D1.太原：太原理 [8]ZHENG H.FANG L,JI M,et al.Deep learning for sur- 工大学，2016 face material classification using haptic and visual inform- WEI Jie.Research and application of deep extreme learn- ation[J].IEEE transactions on multimedia,2016,18(12): ing machine[D].Taiyuan:Taiyuan University of Techno- 2407-2416. logy,2016. [9]ERICKSON Z,CHERNOVA S,KEMP C.Semi-super- [23]ERICKSON Z.LUSKEY N.CHERNOVA S,et al.Clas- vised haptic material recognition for robots using generat- sification of household materials via spectroscopy[J]. ive adversarial networks[J].arXiv:1707.02796,2017. IEEE robotics and automation letters,2019,4(2): [10]CHEN CL P,LIU Z.Broad learning system:an effective 700-707. and efficient incremental learning system without the [24]ZHENG W.LIU H,WANG B,et al.Cross-modal sur- need for deep architecture[J].IEEE transactions on neural face material retrieval using discriminant adversarial networks and learning systems,2017,29(1):10-24. learning[J].IEEE transactions on industrial informatics, [11]LIU Z,ZHOU J,CHEN C L P.Broad learning system: 2019(1):1-1. Feature extraction based on K-means clustering al- [25]贾晨，刘华平，续欣莹，等.基于宽度学习方法的多模态 gorithm[C]//2017 4th International Conference on Inform- 信息融合[).智能系统学报，2019,14(1)：154-161 ation,Cybernetics and Computational Social Systems. JIA Chen,LIU Huaping,XU Xinying,et al.Multi-modal London,UK,2017:683-687. information fusion based on broad learning method[J]

参考文献： BELL S, UPCHERCH P, SNAVELY N, et al. Material re￾cognition in the wild with the materials in context data￾base[C]//Proceedings of the IEEE Conference on Com￾puter Vision and Pattern Recognition. Massachusetts, Bo￾ston, 2015: 3479−3487. [1] 齐静, 徐坤, 丁希仑. 机器人视觉手势交互技术研究进 展 [J]. 机器人, 2017, 39(4): 565–584. QI Jing, XU Kun, DING Xilun. Vision-based hand gesture recognition for human-robot interaction: a review[J]. Ro￾bot, 2017, 39(4): 565–584. [2] 吴钟强, 张耀文, 商琳. 基于语义特征的多视图情感分类 方法 [J]. 智能系统学报, 2017, 12(5): 167–173. WU Zhongqiang, ZHANG Yaowen, SHANG Lin. Multi￾view sentiment classification of microblogs based on se￾mantic features[J]. CAAI transactions on intelligent sys￾tems, 2017, 12(5): 167–173. [3] 温有福, 贾彩燕, 陈智能. 一种多模态融合的网络视频相 关性度量方法 [J]. 智能系统学报, 2016, 11(3): 359–365. WEN Youfu, JIA Caiyan, CHEN Zhineng. A multi-modal fusion approach for measuring web video relatedness[J]. CAAI transactions on intelligent systems, 2016, 11(3): 359–365. [4] 马蕊, 刘华平, 孙富春, 等. 基于触觉序列的物体分类 [J]. 智能系统学报, 2015, 10(3): 362–368. MA Rui, LIU Huaping, SUN Fuchun, et al. Object classi￾fication based on the tactile sequence[J]. CAAI transac￾tions on intelligent systems, 2015, 10(3): 362–368. [5] LIU H, WU Y, SUN F, et al. Weakly paired multimodal fusion for object recognition[J]. IEEE transactions on auto￾mation science and engineering, 2017, 15(2): 784–795. [6] EGUÍLUZ A G, RAÑÓ I, Coleman S A, et al. A multi￾modal approach to continuous material identification through tactile sensing[C]//2016 IEEE/RSJ International Conference on Intelligent Robots and Systems. Daejeon, Korea, 2016: 4912−4917. [7] ZHENG H, FANG L, JI M, et al. Deep learning for sur￾face material classification using haptic and visual inform￾ation[J]. IEEE transactions on multimedia, 2016, 18(12): 2407–2416. [8] ERICKSON Z, CHERNOVA S, KEMP C. Semi-super￾vised haptic material recognition for robots using generat￾ive adversarial networks[J]. arXiv: 1707.02796, 2017. [9] CHEN C L P, LIU Z. Broad learning system: an effective and efficient incremental learning system without the need for deep architecture[J]. IEEE transactions on neural networks and learning systems, 2017, 29(1): 10–24. [10] LIU Z, ZHOU J, CHEN C L P. Broad learning system: Feature extraction based on K-means clustering al￾gorithm[C]//2017 4th International Conference on Inform￾ation, Cybernetics and Computational Social Systems. London, UK, 2017: 683−687. [11] LIU Z, CHEN C L P. Broad learning system: Structural extensions on single-layer and multi-layer neural net￾works[C]//2017 International Conference on Security, Pattern Analysis, and Cybernetics. Shenzhen, China, 2017: 136−141. [12] JIN J, LIU Z, CHEN C L P. Discriminative graph regular￾ized broad learning system for image recognition[J]. Sci￾ence China information sciences, 2018, 61(11): 112209. [13] CHEN C L P, LIU Z, FENG S. Universal approximation capability of broad learning system and its structural vari￾ations[J]. IEEE transactions on neural networks and learn￾ing systems, 2018, 30(4): 1191–1204. [14] LI D, SHUJUAN J, CHUNJIN Z. Improved broad learn￾ing system: partial weights modification based on BP al￾gorithm[J]. Materials science and engineering, 2018, 439(3): 032083. [15] ZHANG T L, CHEN R, YANG X, et al. Rich feature combination for cost-based broad learning system[J]. IEEE access, 2018, 7(1): 160–172. [16] ZHAO H, ZHENG J, DENG W, et al. Semi-supervised broad learning system based on manifold regularization and broad network[J]. IEEE transactions on circuits and systems I: regular papers, 2020, 67(3): 983–994. [17] KONG Y, WANG X, CHENG Y, et al. Hyperspectral im￾agery classification based on semi-supervised broad learn￾ing system[J]. Remote sensing, 2018, 10(5): 685. [18] FENG S, CHEN C L P. Fuzzy broad learning system: A novel neuro-fuzzy model for regression and classification[J]. IEEE transactions on cybernetics, 2018, 50(2): 414–424. [19] JIN J, CHEN C L P. Regularized robust broad learning system for uncertain data modeling[J]. Neurocomputing, 2018, 322(1): 58–69. [20] LIU Z, SHEN Y, LAKSHMINARASIMHAN V B, et al. Efficient low-rank multimodal fusion with modality-spe￾cific factors[J]. arXiv: 1806.00064, 2018. [21] 魏洁. 深度极限学习机的研究与应用 [D]. 太原: 太原理 工大学, 2016. WEI Jie. Research and application of deep extreme learn￾ing machine[D]. Taiyuan: Taiyuan University of Techno￾logy, 2016. [22] ERICKSON Z, LUSKEY N, CHERNOVA S, et al. Clas￾sification of household materials via spectroscopy[J]. IEEE robotics and automation letters, 2019, 4(2): 700–707. [23] ZHENG W, LIU H, WANG B, et al. Cross-modal sur￾face material retrieval using discriminant adversarial learning[J]. IEEE transactions on industrial informatics, 2019(1): 1–1. [24] 贾晨, 刘华平, 续欣莹, 等. 基于宽度学习方法的多模态 信息融合 [J]. 智能系统学报, 2019, 14(1): 154–161. JIA Chen, LIU Huaping, XU Xinying, et al. Multi-modal information fusion based on broad learning method[J]. [25] 第 4 期 王召新，等：基于级联宽度学习的多模态材质识别 ·793·

·794· 智能系统学报 第15卷 CAAI transactions on intelligent systems,2019,14(1) 续欣莹，教授，主要研究方向为粒 154-161 计算、计算机视觉、智能控制。 [26]方静.基于LRF-ELM算法的研究及其在物体材质分类 中的应用D].太原：太原理工大学，2018. FANG Jing.The research based on LRF-ELM algorithm and its application in the object material classification[D]. Taiyuan:Taiyuan University of Technology,2018. 孙富春，教授，博士生导师，中国 作者简介： 人工智能学会副理事长，主要研究方 王召新，硕士研究生，主要研究方 向为智能控制与机器人、多模态数据 向为模式识别、计算机视觉，多模态 感知、模式识别。IEEE Fellow,国家 融合。 863计划专家组成员，荣获吴文俊科 学技术奖创新奖一等奖、吴文俊科学 技术奖进步奖一等奖。发表学术论文 200余篇，出版专著3部、译书1部出版专著3部，译书 1部。 2020中国智能技术与大数据会议 中国智能技术与大数据会议是由中国人工智能学会智能服务专委会发起的系列会议，每年举办一次。 第六届中国智能技术与大数据会议(CITBD:2020)将于2020年10月11日8：30-16：30在北京举行。10月 10日16：00-18：00举办中国人工智能学会智能服务专委会全体委员会议。 本届会议将就智能技术与大数据相关的科学基础理论、关键技术方法与系统进行探讨和交流，旨在加强 相关方向的基础理论研究，掌握最新和实用技术、了解前沿发展趋势，从而推动我国智能技术与大数据领域 的学术繁荣及其在智能服务领域的应用推广。会议将邀请本领域知名专家做大会特邀报告，报告人将介绍 智能服务与大数据相关技术的最新学术成果和发展趋势，并就其关键技术和主要战略发展方向进行深入地 交流和研讨。会议期间还将召开中国人工智能学会智能服务专委会会议并发展新委员。诚挚欢迎全国各高 等院校、科研院所和企事业单位的科技工作者参加本届会议。会议的主题包括但不限于以下方面：知识图 谱过去、现在与未来、互联网认知搜索服务、科技大数据基础设施和服务技术、食品大数据技术与服务应 用、司法大数据技术与应用等。 主办单位 中国人工智能学会 承办单位 中国人工智能学会智能服务专委会、北京工商大学、北京邮电大学 会议地点：北京工商大学综合楼三层会议室 地址：北京市海淀区阜成路33号北京工商大学西校区 组委会联系方式：江老师：18519687573：张老师：15120072559。 E-mail:citbd2020@126.com

CAAI transactions on intelligent systems, 2019, 14(1): 154–161. 方静. 基于 LRF-ELM 算法的研究及其在物体材质分类 中的应用 [D]. 太原: 太原理工大学, 2018. FANG Jing. The research based on LRF-ELM algorithm and its application in the object material classification[D]. Taiyuan: Taiyuan University of Technology, 2018. [26] 作者简介： 王召新，硕士研究生，主要研究方 向为模式识别、计算机视觉，多模态 融合。 续欣莹，教授，主要研究方向为粒 计算、计算机视觉、智能控制。 孙富春，教授，博士生导师，中国 人工智能学会副理事长，主要研究方 向为智能控制与机器人、多模态数据 感知、模式识别。IEEE Fellow，国家 863 计划专家组成员，荣获吴文俊科 学技术奖创新奖一等奖、吴文俊科学 技术奖进步奖一等奖。发表学术论文 200 余篇，出版专著 3 部、译书 1 部出版专著 3 部，译书 1 部。 2020 中国智能技术与大数据会议 中国智能技术与大数据会议是由中国人工智能学会智能服务专委会发起的系列会议，每年举办一次。 第六届中国智能技术与大数据会议（CITBD2020）将于 2020 年 10 月 11 日 8:30-16:30 在北京举行。10 月 10 日 16:00-18:00 举办中国人工智能学会智能服务专委会全体委员会议。 本届会议将就智能技术与大数据相关的科学基础理论、关键技术方法与系统进行探讨和交流，旨在加强 相关方向的基础理论研究，掌握最新和实用技术、了解前沿发展趋势，从而推动我国智能技术与大数据领域 的学术繁荣及其在智能服务领域的应用推广。会议将邀请本领域知名专家做大会特邀报告，报告人将介绍 智能服务与大数据相关技术的最新学术成果和发展趋势，并就其关键技术和主要战略发展方向进行深入地 交流和研讨。会议期间还将召开中国人工智能学会智能服务专委会会议并发展新委员。诚挚欢迎全国各高 等院校、科研院所和企事业单位的科技工作者参加本届会议。会议的主题包括但不限于以下方面：知识图 谱过去、现在与未来、互联网认知搜索服务、科技大数据基础设施和服务技术、食品大数据技术与服务应 用、司法大数据技术与应用等。 主办单位 中国人工智能学会 承办单位 中国人工智能学会智能服务专委会、北京工商大学、北京邮电大学 会议地点：北京工商大学综合楼三层会议室 地址：北京市海淀区阜成路 33 号北京工商大学西校区 组委会联系方式：江老师：18519687573；张老师：15120072559。 E-mail:citbd2020@126.com。 ·794· 智 能 系 统 学 报 第 15 卷