第15卷第4期 智能系统学报 Vol.15 No.4 2020年7月 CAAI Transactions on Intelligent Systems Jul.2020 D0L:10.11992tis.201908021 基于级联宽度学习的多模态材质识别 王召新，续欣莹，刘华平3，孙富春 (1.太原理工大学电气与动力工程学院，山西太原030600：2.清华大学计算机科学与技术系，北京100084： 3.清华大学智能技术系统国家重点实验室，北京100084) 摘要：材质识别在机器人与周围环境的相互作用中起着至关重要的作用，视觉、触觉和听觉模式可以提供不同 材质的不同特性，如何利用不同模态的信号快速、高效地完成材质识别任务是亟待解决的问题。并且在现实应 用中，传感器收集的数据量不大，无法为深度神经网络提供足够的数据进行学习训练。为此，本文将级联宽度学 习这种泛化性能好的算法应用在小样本的材质识别任务上。首先，将两组同构多模态数据进行特征融合，之后 使用级联特征节点的宽度学习进行特征学习，最终得到材质分类结果。最后，针对公开数据开展实验评估。结 果表明，本文提出的方法与其他算法相比，在完成材质识别任务的同时，降低了训练时间，提高了分类性能。 关键词：级联结构：宽度学习方法：多模态融合：材质识别；光谱数据：同构数据：特征提取：神经网络 中图分类号：TP391文献标志码：A文章编号：1673-4785(2020)04-0787-08 中文引用格式：王召新，续欣莹，刘华平，等.基于级联宽度学习的多模态材质识别.智能系统学报，2020,15(4)：787-794. 英文引用格式：VANG Zhaoxin,XU Xinying,LIU Huaping,etal.Cascade broad learning for multi-modal material recognition[J]. CAAI transactions on intelligent systems,2020,15(4):787-794. Cascade broad learning for multi-modal material recognition WANG Zhaoxin',XU Xinying',LIU Huaping2,SUN Fuchun23 (1.College of Electrical and Power Engineering,Taiyuan University of Technology,Taiyuan 030600,China;2.Department of Com- puter Science and Technology,Tsinghua University,Beijing 100084,China;3.State Key Laboratory of Intelligent Technology and System,Tsinghua University,Beijing 100084,China) Abstract:Material recognition plays a vital role in the interaction between the robot and the surrounding environment. The visual,tactile and auditory modalities can provide different properties of various materials.How to use signals of different modalities to complete the task of material identification quickly and efficiently is an urgent problem to be solved.Moreover,in practical applications,the data collected by the sensor is limited,so it cannot provide enough data for deep neural network for learning and training.To this end,this paper applies the cascade broad learning with good generalization performance to the material recognition task of small samples.Firstly,feature fusion of two sets of homo- geneous multi-modal data is carried out,and then feature learning is carried out by using the broad learning of cascad- ing feature nodes,The results show that compared with other methods,the method proposed in this paper reduces the training time and improves the classification performance while completing the material recognition tasks. Keywords:cascade structure;broad learning method;multi-modal fuse;material recognition;spectral data;homogen- eous data;feature extraction:neural network 现实世界是由不同类别的材质组成的，人类 微波炉中安全加热，识别物体材质属性有助于人 在与外界的交互中，不断评价不同材质表现出来 类感知细粒度的世界，然而对机器人来说却极具 的特性。比如可以通过材质识别确定物体能否在 挑战性山。为了让机器人像人类一样可以观察、 收稿日期：2019-08-19. 抚摸和揉捏来感受物体的材质属性，研究者为其 基金项目：国家自然科学基金项目(U1613212片山西省自然科 配备了各种各样的传感器。但是单一的视觉、触 学基金项目(201801D121144,201801D221190). 通信作者：刘华平.E-mail:hpliu(@tsinghua.edu.cn 觉或者听觉信息在材质特征的表达上具有局限DOI: 10.11992/tis.201908021 基于级联宽度学习的多模态材质识别 王召新1 ，续欣莹1 ，刘华平2,3，孙富春2,3 （1. 太原理工大学 电气与动力工程学院，山西 太原 030600; 2. 清华大学 计算机科学与技术系，北京 100084; 3. 清华大学 智能技术系统国家重点实验室，北京 100084） 摘 要：材质识别在机器人与周围环境的相互作用中起着至关重要的作用，视觉、触觉和听觉模式可以提供不同 材质的不同特性，如何利用不同模态的信号快速、高效地完成材质识别任务是亟待解决的问题。并且在现实应 用中，传感器收集的数据量不大，无法为深度神经网络提供足够的数据进行学习训练。为此，本文将级联宽度学 习这种泛化性能好的算法应用在小样本的材质识别任务上。首先，将两组同构多模态数据进行特征融合，之后 使用级联特征节点的宽度学习进行特征学习，最终得到材质分类结果。最后，针对公开数据开展实验评估。结 果表明，本文提出的方法与其他算法相比，在完成材质识别任务的同时，降低了训练时间，提高了分类性能。 关键词：级联结构；宽度学习方法；多模态融合；材质识别；光谱数据；同构数据；特征提取；神经网络 中图分类号：TP391 文献标志码：A 文章编号：1673−4785(2020)04−0787−08 中文引用格式：王召新, 续欣莹, 刘华平, 等. 基于级联宽度学习的多模态材质识别 [J]. 智能系统学报, 2020, 15(4): 787–794. 英文引用格式：WANG Zhaoxin, XU Xinying, LIU Huaping, et al. Cascade broad learning for multi-modal material recognition[J]. CAAI transactions on intelligent systems, 2020, 15(4): 787–794. Cascade broad learning for multi-modal material recognition WANG Zhaoxin1 ，XU Xinying1 ，LIU Huaping2,3 ，SUN Fuchun2,3 (1. College of Electrical and Power Engineering, Taiyuan University of Technology, Taiyuan 030600, China; 2. Department of Com￾puter Science and Technology, Tsinghua University, Beijing 100084, China; 3. State Key Laboratory of Intelligent Technology and System, Tsinghua University, Beijing 100084, China) Abstract: Material recognition plays a vital role in the interaction between the robot and the surrounding environment. The visual, tactile and auditory modalities can provide different properties of various materials. How to use signals of different modalities to complete the task of material identification quickly and efficiently is an urgent problem to be solved. Moreover, in practical applications, the data collected by the sensor is limited, so it cannot provide enough data for deep neural network for learning and training. To this end, this paper applies the cascade broad learning with good generalization performance to the material recognition task of small samples. Firstly, feature fusion of two sets of homo￾geneous multi-modal data is carried out, and then feature learning is carried out by using the broad learning of cascad￾ing feature nodes, The results show that compared with other methods, the method proposed in this paper reduces the training time and improves the classification performance while completing the material recognition tasks. Keywords: cascade structure; broad learning method; multi-modal fuse; material recognition; spectral data; homogen￾eous data; feature extraction; neural network 现实世界是由不同类别的材质组成的，人类 在与外界的交互中，不断评价不同材质表现出来 的特性。比如可以通过材质识别确定物体能否在 微波炉中安全加热，识别物体材质属性有助于人 类感知细粒度的世界，然而对机器人来说却极具 挑战性[1]。为了让机器人像人类一样可以观察、 抚摸和揉捏来感受物体的材质属性，研究者为其 配备了各种各样的传感器。但是单一的视觉、触 觉或者听觉信息在材质特征的表达上具有局限 收稿日期：2019−08−19. 基金项目：国家自然科学基金项目 (U1613212)；山西省自然科 学基金项目 (201801D121144，201801D221190). 通信作者：刘华平. E-mail：hpliu@tsinghua.edu.cn. 第 15 卷第 4 期 智 能 系 统 学 报 Vol.15 No.4 2020 年 7 月 CAAI Transactions on Intelligent Systems Jul. 2020