【人工智能】开放环境下未知材质的识别技术

团购合买资源类别：文库，文档格式：PDF，文档页数：8，文件大小：4.66MB

第15卷第5期智能系统学报 Vol.15 No.5 2020年9月 CAAI Transactions on Intelligent Systems Sep.2020 D0:10.11992tis.201903026 网络出版地址：http:/kns.cnki.net/kcms/detail/23.1538.TP.20200320.0947.004html 开放环境下未知材质的识别技术靳少卫2，刘华平3，王博文2，孙富春 (1.河北工业大学省部共建电工装备可靠性与智能化国家重点实验室，天津300130,2.河北工业大学河北省电磁场与电器可靠性重点实验室，天津300130：3.清华大学智能技术与系统国家重点实验室，北京100084) 摘要：针对开放环境下未知物体材质识别的问题，本文提出一种利用欧氏距离区分未知类别和已知类别的物体材质识别方法框架，在该框架下利用支持向量机对物体材质进行识别.分类效果显著。该方法利用距离度量中的欧氏距离与阈值进行比较，距离的均值小于阈值的物体判定为已知类别物体材质.并进行分类：距离大于阈值的物体判定为未知类别物体材质，并利用支持向量机算法进行重新学习识别。本文在慕尼黑工业大学的触觉数据集中的声音数据上进行实验，对比了5种距离度量方法，选择了欧氏距离：与开集稀疏表示分类方法对比，显示出本文提出的方法在声音数据集上具有一定的优势：通过实验选出了合理的阈值，并最终实现了开放环境下识别所有物体材质。实验验证了该框架可以很好地解决开放环境下触觉感知信息的物体材质识别问题。关键词：开放环境；触觉感知；声音数据；距离度量；支持向量机：k-最近邻；材质识别；分类中图分类号：TP391 文献标志码：A文章编号：1673-4785(2020)05-1020-08 中文引用格式：靳少卫，刘华平，王博文，等.开放环境下未知材质的识别技术J.智能系统学报，2020,15(5)：1020-1027 英文引用格式：JIN Shaowei,LIU Huaping.,VANG Bowen,.et al.Recognition of unknown materials in an open environmentJl,. CAAI transactions on intelligent systems,2020,15(5):1020-1027. Recognition of unknown materials in an open environment JIN Shaowei,LIU Huaping,WANG Bowen2,SUN Fuchun' (1.State Key Laboratory of Reliability and Intelligence of Electrical Equipment,Hebei University of Technology,Tianjin 300130, China;2.Key Laboratory of Electromagnetic Field and Electrical Apparatus Reliability of Hebei Province,Hebei University of Tech- nology,Tianjin 300130,China;3.State Key Lab of Intelligent Technology and Systems,Tsinghua University,Beijing 100084, China) Abstract:Considering the problem of unknown object material recognition in an open environment,this paper proposes an object material recognition method framework that uses the Euclidean distance to distinguish unknown and known categories.Under this framework,a support vector machine is used to recognize object materials,and the classification effect is remarkable.This method uses the Euclidean distance in the distance metric to compare the thresholds.Objects whose average distances are less than the threshold are classified as materials of a known class:objects with distances greater than the threshold are classified as materials of an unknown class and use a support vector machine algorithm for re-learning recognition.Experiments are conducted on sound data in a haptic data set by the Technical University of Munich.Five distance measurement methods are compared,and finally,the Euclidean distance is selected.A comparis- on with the open set sparse representation classification method shows that the method proposed in this paper has cer- tain advantages on the sound data set.A reasonable threshold is selected through experiments,and finally all object ma- terials are recognized in an open environment.Experiments verify that the framework can solve the problem of object material recognition of tactile perception information in an open environment. Keywords:open environment;tactile perception;sound data;distance measurement;support vector machine;k-nearest neighbor:material recognition:classification 智能无人系统是通过先进技术进行操作或管收稿日期：2019-03-21.网络出版日期：2020-03-20 理而无需人为干预的自主系统，主要由机械、控基金项目：国家自然科学基金重点项目(U1613212):河北省自然科学基金项目(E2017202035). 制、计算机、通信、材料等多种技术融合而成的复通信作者：刘华平.E-mail:hpliu@tsinghua.edu.cn 杂系统，其主要特点是智能化和自主性。人工智

DOI: 10.11992/tis.201903026 网络出版地址: http://kns.cnki.net/kcms/detail/23.1538.TP.20200320.0947.004.html 开放环境下未知材质的识别技术靳少卫1,2，刘华平3 ，王博文1,2，孙富春3 （1. 河北工业大学省部共建电工装备可靠性与智能化国家重点实验室，天津 300130; 2. 河北工业大学河北省电磁场与电器可靠性重点实验室，天津 300130; 3. 清华大学智能技术与系统国家重点实验室，北京 100084）摘要：针对开放环境下未知物体材质识别的问题，本文提出一种利用欧氏距离区分未知类别和已知类别的物体材质识别方法框架，在该框架下利用支持向量机对物体材质进行识别，分类效果显著。该方法利用距离度量中的欧氏距离与阈值进行比较，距离的均值小于阈值的物体判定为已知类别物体材质，并进行分类；距离大于阈值的物体判定为未知类别物体材质，并利用支持向量机算法进行重新学习识别。本文在慕尼黑工业大学的触觉数据集中的声音数据上进行实验，对比了 5 种距离度量方法，选择了欧氏距离；与开集稀疏表示分类方法对比，显示出本文提出的方法在声音数据集上具有一定的优势；通过实验选出了合理的阈值，并最终实现了开放环境下识别所有物体材质。实验验证了该框架可以很好地解决开放环境下触觉感知信息的物体材质识别问题。关键词：开放环境；触觉感知；声音数据；距离度量；支持向量机；k-最近邻；材质识别；分类中图分类号：TP391 文献标志码：A 文章编号：1673−4785(2020)05−1020−08 中文引用格式：靳少卫, 刘华平, 王博文, 等. 开放环境下未知材质的识别技术 [J]. 智能系统学报, 2020, 15(5): 1020–1027. 英文引用格式：JIN Shaowei, LIU Huaping, WANG Bowen, et al. Recognition of unknown materials in an open environment[J]. CAAI transactions on intelligent systems, 2020, 15(5): 1020–1027. Recognition of unknown materials in an open environment JIN Shaowei1,2 ，LIU Huaping3 ，WANG Bowen1,2 ，SUN Fuchun3 (1. State Key Laboratory of Reliability and Intelligence of Electrical Equipment, Hebei University of Technology, Tianjin 300130, China; 2. Key Laboratory of Electromagnetic Field and Electrical Apparatus Reliability of Hebei Province, Hebei University of Technology, Tianjin 300130, China; 3. State Key Lab of Intelligent Technology and Systems, Tsinghua University, Beijing 100084, China) Abstract: Considering the problem of unknown object material recognition in an open environment, this paper proposes an object material recognition method framework that uses the Euclidean distance to distinguish unknown and known categories. Under this framework, a support vector machine is used to recognize object materials, and the classification effect is remarkable. This method uses the Euclidean distance in the distance metric to compare the thresholds. Objects whose average distances are less than the threshold are classified as materials of a known class; objects with distances greater than the threshold are classified as materials of an unknown class and use a support vector machine algorithm for re-learning recognition. Experiments are conducted on sound data in a haptic data set by the Technical University of Munich. Five distance measurement methods are compared, and finally, the Euclidean distance is selected. A comparison with the open set sparse representation classification method shows that the method proposed in this paper has certain advantages on the sound data set. A reasonable threshold is selected through experiments, and finally all object materials are recognized in an open environment. Experiments verify that the framework can solve the problem of object material recognition of tactile perception information in an open environment. Keywords: open environment; tactile perception; sound data; distance measurement; support vector machine; k-nearest neighbor; material recognition; classification 智能无人系统是通过先进技术进行操作或管理而无需人为干预的自主系统，主要由机械、控制、计算机、通信、材料等多种技术融合而成的复杂系统，其主要特点是智能化和自主性。人工智收稿日期：2019−03−21. 网络出版日期：2020−03−20. 基金项目：国家自然科学基金重点项目 (U1613212)；河北省自然科学基金项目 (E2017202035). 通信作者：刘华平. E-mail: hpliu@tsinghua.edu.cn. 第 15 卷第 5 期智能系统学报 Vol.15 No.5 2020 年 9 月 CAAI Transactions on Intelligent Systems Sep. 2020

第5期靳少卫，等：开放环境下未知材质的识别技术 ·1021· 能是发展智能无人自主系统的关键技术之一，通质识别。大多数研究者都采用不同模态的信息代过人工智能的各种技术，可以实现和不断提高系替传统的压觉和力觉来采集物体特征，并借助机统的2个特征。随着计算机硬件的发展和先进计器学习的方法来对物体进行识别。其中最近邻算模型的提出，人工智能和机器学习在计算机视支持向量机作为最成熟的机器学习算法被广泛地觉、听觉和其它学习难题领域中迅速发展，机器应用于触觉物体识别及各领域，例如文本识别学习通过以下2种方式支持无人自主系统：通过并且有许多学者依然在对这2种算法进行扩展，类人的方式与外界进行交互和控制，并接收外界例如文献[11-12]。信息，然后分析和控制；获得外面世界的信息来上述研究虽然已经取得了很大的进步，但依源于各感官知觉，如视觉、声觉和触觉。触觉传然没有关于开放环境下未知触觉物体材质识别的感对机器人在工业、教育、医疗及家庭服务等各研究。目前只有开放环境下对未知物体进行拒绝方面的的灵巧精细操作至关重要，主要包括压阻并识别已知物体的少数研究，并没有对未知类别式、压电式、电容式、光式、量子隧道效应式等各进行识别。例如文献[13]采用稀疏表示的分类方类模态的触觉传感器。在机器人对物体材质法对人脸进行开放环境下识别已知类别。现实世进行识别时，视觉有时受到光照、物体颜色、遮挡界中机器人接触的物体都是在不断变化，动态增等因素影响，难以挖掘物体材质信息。触觉传感加的，如何让机器人系统像人一样，遇到未知的器在与物体交互接触时产生碰撞的声音或加速度物体时可以很好地与已知的物体分开，并对未知等信息可以探索到视觉传感器无法感知的物体材的物体重新学习其相关知识。因此开发一种可以质属性。己有相关研究采用麦克风作为触觉传感识别未知物体，并通过不断学习未知物体属性，器采集声音模态来识别物体材质，识别效果较达到识别所有物体的系统对机器人来说至关重好，如文献「4]利用敲击物体产生的声音对物体要。本文正是为了解决这样的问题开发了一种区材质进行识别。本文提出的识别框架正是解决开分已知类物体材质和未知类物体材质，并不断学放环境下利用声音模态信号对物体进行材质识别的习识别物体材质的框架。问题。 2识别框架流程 1触觉识别技术本文利用距离度量的方法区分未知类物体材目前随着机器人精细操作对触觉传感器感知质类别和已知类物体材质类别，形成开放环境识的依赖越来越强烈，对触觉物体识别的研究也不别框架，该框架可以识别新类别、收集新数据、对断发展。例如文献[⑤]利用多层触觉传感器采集新数据进行训练学习，达到识别新类别的目的。物体纹理信息，并利用支持向量机等分类器对其开放环境下未知材质识别框架如图1所示，其中进行识别。文献[6]在考虑手指间内在联系下，测试数据中包含未知类物体材质。开发了一种联合核稀疏编码模型解决多指触觉序列识别问题。文献「7]利用机器人皮肤嵌入触觉已知的训练数据传感元件阵列，基于压缩感知(compressed sensing,. CS)和压缩学习(compressed learning,CL)的理论计算测试数据与训练数据的最训练分类器1 基础，采集压缩的触觉阵列信号，利用支持向量小前k项距离均值d 机对物体纹理进行识别。文献[8]开发设计了64 当dT时，测试样本属于未已知类样本知类样本集，并利用触觉时间序列的动态时间规整(dynam- ic time warping,DTW)作为距离度量，使用了最近未知类样本将未知类样本收集起来分为邻分类算法对物体进行识别。新的训练集和测试集与本文工作最接近的文献[9]指出触觉包括新训练集新测试集动觉和接触，在敲击物体或在物体上滑动时产生振动信号，可以采集不同模态的触觉信息，例如利用分类器2测试训练分类2 加速度和声音，同时文献[9]指出触觉中动觉信新测试集息与语音信号相似，采用了语音处理中常用的梅图1开放环境识别框架尔频率倒谱系数来提取特征，对触觉物体进行材 Fig.1 Open environment recognition framework

能是发展智能无人自主系统的关键技术之一，通过人工智能的各种技术，可以实现和不断提高系统的 2 个特征。随着计算机硬件的发展和先进计算模型的提出，人工智能和机器学习在计算机视觉、听觉和其它学习难题领域中迅速发展，机器学习通过以下 2 种方式支持无人自主系统：通过类人的方式与外界进行交互和控制，并接收外界信息，然后分析和控制；获得外面世界的信息来源于各感官知觉，如视觉、声觉和触觉[1]。触觉传感对机器人在工业、教育、医疗及家庭服务等各方面的的灵巧精细操作至关重要，主要包括压阻式、压电式、电容式、光式、量子隧道效应式等各类模态的触觉传感器[2-3]。在机器人对物体材质进行识别时，视觉有时受到光照、物体颜色、遮挡等因素影响，难以挖掘物体材质信息。触觉传感器在与物体交互接触时产生碰撞的声音或加速度等信息可以探索到视觉传感器无法感知的物体材质属性。已有相关研究采用麦克风作为触觉传感器采集声音模态来识别物体材质，识别效果较好，如文献 [4] 利用敲击物体产生的声音对物体材质进行识别。本文提出的识别框架正是解决开放环境下利用声音模态信号对物体进行材质识别的问题。 1 触觉识别技术目前随着机器人精细操作对触觉传感器感知的依赖越来越强烈，对触觉物体识别的研究也不断发展。例如文献 [5] 利用多层触觉传感器采集物体纹理信息，并利用支持向量机等分类器对其进行识别。文献 [6] 在考虑手指间内在联系下，开发了一种联合核稀疏编码模型解决多指触觉序列识别问题。文献 [7] 利用机器人皮肤嵌入触觉传感元件阵列,基于压缩感知 (compressed sensing, CS) 和压缩学习 (compressed learning,CL) 的理论基础，采集压缩的触觉阵列信号，利用支持向量机对物体纹理进行识别。文献 [8] 开发设计了 64 组触觉传感模块并制作了阵列式触觉传感器，将其安装在灵巧手手指上抓取物体采集触觉数据集，并利用触觉时间序列的动态时间规整 (dynamic time warping, DTW) 作为距离度量，使用了最近邻分类算法对物体进行识别。与本文工作最接近的文献 [9] 指出触觉包括动觉和接触，在敲击物体或在物体上滑动时产生振动信号，可以采集不同模态的触觉信息，例如加速度和声音，同时文献 [9] 指出触觉中动觉信息与语音信号相似，采用了语音处理中常用的梅尔频率倒谱系数来提取特征，对触觉物体进行材质识别。大多数研究者都采用不同模态的信息代替传统的压觉和力觉来采集物体特征，并借助机器学习的方法来对物体进行识别。其中最近邻、支持向量机作为最成熟的机器学习算法被广泛地应用于触觉物体识别及各领域，例如文本识别[10] ，并且有许多学者依然在对这 2 种算法进行扩展，例如文献 [11-12]。上述研究虽然已经取得了很大的进步，但依然没有关于开放环境下未知触觉物体材质识别的研究。目前只有开放环境下对未知物体进行拒绝并识别已知物体的少数研究，并没有对未知类别进行识别。例如文献 [13] 采用稀疏表示的分类方法对人脸进行开放环境下识别已知类别。现实世界中机器人接触的物体都是在不断变化，动态增加的，如何让机器人系统像人一样，遇到未知的物体时可以很好地与已知的物体分开，并对未知的物体重新学习其相关知识。因此开发一种可以识别未知物体，并通过不断学习未知物体属性，达到识别所有物体的系统对机器人来说至关重要。本文正是为了解决这样的问题开发了一种区分已知类物体材质和未知类物体材质，并不断学习识别物体材质的框架。 2 识别框架流程本文利用距离度量的方法区分未知类物体材质类别和已知类物体材质类别，形成开放环境识别框架，该框架可以识别新类别、收集新数据、对新数据进行训练学习，达到识别新类别的目的。开放环境下未知材质识别框架如图 1 所示，其中测试数据中包含未知类物体材质。已知的训练数据未知类样本已知类样本将未知类样本收集起来分为新的训练集和测试集新训练集新测试集训练分类2 训练分类器1 利用分类器2测试新测试集利用分类器1测试已知类样本当 dc T 时, 测试样本属于未计算测试数据与训练数据的最小前 k 项距离均值 dc − − − 知类样本知类样本图 1 开放环境识别框架 Fig. 1 Open environment recognition framework 第 5 期靳少卫，等：开放环境下未知材质的识别技术 ·1021·

该框架符合人不断学习的过程，当一个儿童在学习时，由自己的父母或者老师告诉他每种物体。当这个儿童认识了一些物体后，在他遇到没有见过的物体时，他可以知道这个物体他没见过。本文利用距离度量解决这个问题，判断没见的物体。但是，要想让这个儿童认识这个未知的物体，需要父母或老师告诉他这是什么，这样他就认识了这个物体。本文采用监督学习的方式，在收集了大量的未知类样本后，人为地给出各未知类样本的标签，再学习识别未知类样本。 2.1 识别测试利用提出的框架进行测试，测试过程如下： 1) 计算包含未知类别的测试数据集与已知训练数据集之间的距离 dc。同时利用已知的训练数据集训练分类器 1； 2) 对距离 dc 进行升序排列； dc 3) 从最小开始依次选择前 k 项距离，并计算距离的前 k 项平均值； dc dc T 4) 根据距离判断测试样本是已知类样本还是未知类样本。已知类测试样本的距离比较小，未知类的测试样本距离较大。设置阈值 T 判断测试样本为已知类样本还是未知类样本，当时，测试样本属于已知类样本，当时，测试样本属于未知类样本； 5) 将已知类样本保留，将未知类样本分解为新的测试数据集和新训练数据集，利用新的训练数据集训练分类器 2，并利用新训练的分类器 2 测试新的测试数据集。利用分类器 1 测试保留下来的已知类样本； 6) 最后整合所有测试结果给出整体的测试结果。识别框架算法： Xtr ∈ R Ns×M Ytr ∈ R Ns×1 Ns Xte ∈ R (Ns+Nt)×M Yte ∈ R (Ns+Nt)×1 Ns Nt T k k 输入训练数据，训练数据标签，训练数据样本数，包含未知类的测试数据，测试数据标签，测试数据已知类样本数，未知类样本数，阈值，前项的值。输出 predict1 和 predict2。 1) 计算距离并训练分类器 1： dc = pdist2(Xte,Xtr, ′ euclidean′ ) model1 = svmtrain(Ytr,Xtr) dc = sort(dc 2) 按行升序排序： ,2) 3) 计算前 k 项距离的平均值： _ dc = mean(dc(:,1 : k),2) 4) 判断样本是已知类还是未知类： i = 1 : size _ (dc for ,2) x = Xte(i,:) y = Yte(i) d¯ if c(i) < T dataknown = [dataknown; x] Yknown = [Yknown; y] else dataunknown = [dataunknown; x] Yunknown = [Yunknown; y] end end 5) 分割未知类数据： [Xtr2 ,Ytr2 ,Xte2 ,Yte2 ] = splitdata(dataunknown,Yunknown) 6) 训练分类器 2 并测试全部数据： model2 = svmtrain(Ytr2 ,Xtr2 ) predict1 = svmpredict(Yknown,dataknown,model1) predict2 = svmpredict(Yte2 ,Xte2 ,model2) 上述过程分类器采用支持向量机，分类器也可以换成其他分类器。 2.2 距离度量从识别框架中可以看出区分已知类样本和未知类样本的关键步骤是距离的选择，也是本文的核心思想。当测试样本中出现未知类样本时，怎样判断这个样本不属于已知类样本，利用距离进行相似性判断。如图 2 所示，已知的训练样本类别为 3 类，分别为圆形、三角形、正方形。当出现测试样本时，需要计算测试样本与训练样本中所有样本之间的距离，然后选择距离中最小的前 k 项，再计算平均值，通过实验确定合适的阈值，当距离的平均值大于阈值时，这个测试样本就被判断为未知类样本。在图 2 中五边形为未知类样本，正方形为已知类样本，可以看出 3 个距离都比正方形的距离大，平均值必然也很大，只要阈值设置的合适，就可以判断五边形为未知类样本，正方形为已知类样本。图 2 距离度量示意 Fig. 2 Diagram of distance measurement a(x11, x12,··· , x1n) b(x21, x22,··· , x2n) 假设2个n维向量和，常见的距离为欧氏距离： d = vt∑n k=1 (x1k − x2k) 2 曼哈顿距离： ·1022· 智能系统学报第 15 卷

第5期靳少卫，等：开放环境下未知材质的识别技术 ·1023· 慕尼黑工业大学采集的触觉纹理数据集按物 d= 体材质和表面特征分为固体网状物(13种物体)、切比雪夫距离：石头(9种物体)、玻璃陶瓷(9种物体)、木材 d=max(xu-xz) (13种物体)、橡胶(5种物体)、纤维(15种物体)、夹角余弦距离：泡沫(12种物体)、塑料纸片(15种物体)、纺织面料(17种物体)等9大类108种物体，具体每类物体的图像如图4所示，按照上述顺序排列。采集 cos(0)= ②2 的信息主要有图像、声音、加速度、摩擦力以及红外感应扫描。本文重点关注听觉模态替代触觉采马氏距离，有m个样本X~Xm: 集振动信号。数据集中的每个声音样本长度为0.2s, 训练样本集由一个人敲击每种物体10次，共得到 d=(X;-X )S"(X;-Xj) 1080个声音样本，测试样本集中每个物体由式中S为协方差矩阵。 10个人敲击1次，共得到1080个声音样本。数 2.3分类器据采集过程中不加约束条件，不限制采集者施加本文采用了2种常见的分类器，分别为最近力的大小和滑动的速度。邻、支持向量机。最近邻(k-nearest neighbor, KNN)算法进行分类识别时，样本集中每组数据对应标签。输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，提取样本最相似数据（最近邻）的分类标签。它是一种惰性学习算法，没有显式的学习过程。支持向量机(support vector machine,SVM)是一类按监督学习方式对数据进行二元分类的广义线性分类器，其决策边界是对学习样本求解的最大边距超平面。SVM使用铰链损失函数计算经验风险并在求解系统中加入正则化项以优化结构风险，是一个具有稀疏性和稳健性的分类器。SVM 可以通过核方法进行非线性分类。 3实验结果及分析本文实验的数据集主要有2个，分别为人为产生的随机数据集和慕尼黑工业大学采集的触觉纹理数据集。图4数据集所有材料图像人为产生的随机数据集如图3所示，数据集 Fig.4 Data set for all material images 包括7个类别，每个类别为1000个样本，数据特 3.1声音的特征提取征维度为3。每类中500个样本作为训练集，本文采用的声音特征提取方法是梅尔频率倒 500个样本为测试集。谱系数(Mel frequency cepstrum coefficient, MFCC),梅尔频率倒谱系数是语音处理中最常用 20 的特征之一。该特征提取方法可以减少数据的噪 10 声，并对声音信号降维。已有相关研究成功地将梅尔频率倒谱系数应用于敲击物体产生的声音识 Z 0 别中，并利用提取的特征对物体材质进行识别， -10 如文献[4,9]。标准的MFCC特征只能提出声音的静态特征5，为了更好地体现声音的动态特 10 0 征，本文采用静态MFCC特征的一阶和二阶差分 -5 -10 特征求得39维梅尔频率倒谱系数动态特征。图5 图3人工数据集中(a)为柚木图像、(b)为敲击的柚木声音时域信 Fig.3 Artificial data set 号、（©）为提取的声音特征

d = ∑n k=1 |x1k − x2k | 切比雪夫距离： d = max k (|x1k − x2k |) 夹角余弦距离： cos(θ) = ∑n k=1 x1k x2k √∑n k=1 x 2 1k √∑n k=1 x 2 2k 马氏距离，有 m 个样本 X1 ∼ Xm： d = √ (Xi − Xj) T S −1 (Xi − Xj) 式中 S 为协方差矩阵。 2.3 分类器本文采用了 2 种常见的分类器，分别为最近邻、支持向量机。最近邻 (k-nearest neighbor, KNN) 算法进行分类识别时，样本集中每组数据对应标签。输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较,提取样本最相似数据 (最近邻) 的分类标签。它是一种惰性学习算法，没有显式的学习过程。支持向量机 (support vector machine, SVM) 是一类按监督学习方式对数据进行二元分类的广义线性分类器，其决策边界是对学习样本求解的最大边距超平面。SVM 使用铰链损失函数计算经验风险并在求解系统中加入正则化项以优化结构风险，是一个具有稀疏性和稳健性的分类器。SVM 可以通过核方法进行非线性分类。 3 实验结果及分析本文实验的数据集主要有 2 个，分别为人为产生的随机数据集和慕尼黑工业大学采集的触觉纹理数据集[14]。人为产生的随机数据集如图 3 所示，数据集包括 7 个类别，每个类别为 1 000 个样本，数据特征维度为 3。每类中 500 个样本作为训练集， 500 个样本为测试集。 20 10 Z X Y 0 −10 −20 20 10 0 0 5 10 −10 −5 图 3 人工数据集 Fig. 3 Artificial data set 慕尼黑工业大学采集的触觉纹理数据集按物体材质和表面特征分为固体网状物 (13 种物体)、石头 ( 9 种物体 )、玻璃陶瓷 ( 9 种物体 )、木材 (13 种物体)、橡胶 (5 种物体)、纤维 (15 种物体)、泡沫 (12 种物体)、塑料纸片 (15 种物体)、纺织面料 (17 种物体) 等 9 大类 108 种物体，具体每类物体的图像如图 4 所示，按照上述顺序排列。采集的信息主要有图像、声音、加速度、摩擦力以及红外感应扫描。本文重点关注听觉模态替代触觉采集振动信号。数据集中的每个声音样本长度为 0.2 s，训练样本集由一个人敲击每种物体 10 次，共得到 1 080 个声音样本，测试样本集中每个物体由 10 个人敲击 1 次，共得到 1 080 个声音样本。数据采集过程中不加约束条件，不限制采集者施加力的大小和滑动的速度。图 4 数据集所有材料图像 Fig. 4 Data set for all material images 3.1 声音的特征提取本文采用的声音特征提取方法是梅尔频率倒谱系数 (Mel frequency cepstrum coefficient, MFCC)，梅尔频率倒谱系数是语音处理中最常用的特征之一。该特征提取方法可以减少数据的噪声，并对声音信号降维。已有相关研究成功地将梅尔频率倒谱系数应用于敲击物体产生的声音识别中，并利用提取的特征对物体材质进行识别，如文献 [4,9]。标准的 MFCC 特征只能提出声音的静态特征[15 -16] ，为了更好地体现声音的动态特征，本文采用静态 MFCC 特征的一阶和二阶差分特征求得 39 维梅尔频率倒谱系数动态特征。图 5 中 (a) 为柚木图像、(b) 为敲击的柚木声音时域信号、(c) 为提取的声音特征。第 5 期靳少卫，等：开放环境下未知材质的识别技术 ·1023·

·1024· 智能系统学报第15卷 0.7 0.6 -1.0 2000 4000 6000 20 30 时间/s 维度 (a)柚木图像 (b)柚木声音信号 (c)提出的特征图5柚木图像、声音信号、声音特征 Fig.5 Images,sound signals,sound features of teak 3.2距离度量方式选择从表2中可以看出在慕尼黑工业大学数据集通过上述特征提取后利用距离度量可以很好上，无论从识别准确率还是运行效率上看欧氏距地将未知类样本和已知类样本分开。本文提出的离都比其它距离的效果好，所以选择欧氏距离作框架关键步骤是选择哪种距离度量，如2.2节介为距离度量方式。由于本文重点关注利用声音模绍的5种距离。利用提出的框架结合最近邻分类态在开放环境下对物体材质进行识别的问题，所器在开放环境下将人为产生的随机数据集分为以后续实验只在慕尼黑工业大学触觉纹理数据中 4类已知类样本和3类未知类样本进行实验，实的声音集上进行实验。验结果如表1所示。将慕尼黑工业大学的9大类 3.3验证已知类与未知类的分离效果数据集按物体材质分为5类已知类样本和4类未采用文献[I3]中的开集稀疏表示分类(open set 知类样本进行实验，实验结果如表2所示。 sparse representation classification,OSSRC)与本文表1人工数据集实验的方法进行对比，因为文献[13]中的方法是在开 Table 1 Experiments of artificial data set 放环境识别已知类并对未知类进行判断，无论未整体已知类未知类评估指标知类中包含几类都不进行分类，只是判断为未知运行时间/s 准确率准确率准确率即可。所以如下实验对其作相同设置，实验中只欧氏距离 0.972 0.977 0.967 14.01±0.2 将未知类判断出即可。训练只采用5类已知，测曼哈顿距离 0.973 0.978 0.966 14.78±0.5 试是9类，其中包含4类未知。实验结果如图6、切比雪夫距离 0.965 0.963 0.969 14.21±0.2 7所示。图6是将2.1节中的分类器换为最近邻分夹角余弦距离 0.813 0.944 0.740 13.51±0.3 类器的实验结果，图7为OSSRC的实验结果。从马氏距离 0.967 0.960 0.970 14.54±0.1 实验结果中可以得出本文的方法可以很好地将未表2 慕尼黑工业大学数据集实验知类挑选出来，且已知类和未知类不易混淆，已知 Table 2 Experiments of Technical University of Munich 类与未知类的分离效果较好，而OSSRC虽然也可 data set 以将未知类挑选出来，效果却较差，将大部分已知整体未知类评估指标已知类准确率准确率准确率运行时间s 类判断为未知类，已知类与未知类的分离效果较差。欧氏距离固体网状物0.880.000.050.020.040.02 0.671 0.697 0.653 1.33±0.1 曼哈顿距离 0.662 0.667 0.656 1.51±0.05 石头0.18 0.520.090.130.02 0.06 切比雪夫距离 0.564 0.632 0.522 1.29±0.1 玻璃陶瓷 0.060.06 0.700.07 0.00 0.12 夹角余弦距离 0.615 0.610 0.627 1.55±0.1 木材0.120.080.18052 0.03 0.07 马氏距离 0.659 0.665 0.651 1.77±0.06 橡胶0.410.000.120.080390.00 4类未知0.130.020.040.03 0.020.77 从表1中可以看出在人工数据集上采用夹角余弦距离物体的分类效果较差，而其他4种距离固的分类效果较好。分类准确率几乎没有差别，在状物 0~1%的范围内波动，但从运行效率考虑，利用欧图6最近邻分类的混淆矩阵氏距离时运行效率较高。 Fig.6 Confusion matrix of nearest neighbor classification

3.2 距离度量方式选择通过上述特征提取后利用距离度量可以很好地将未知类样本和已知类样本分开。本文提出的框架关键步骤是选择哪种距离度量，如 2.2 节介绍的 5 种距离。利用提出的框架结合最近邻分类器在开放环境下将人为产生的随机数据集分为 4 类已知类样本和 3 类未知类样本进行实验，实验结果如表 1 所示。将慕尼黑工业大学的 9 大类数据集按物体材质分为 5 类已知类样本和 4 类未知类样本进行实验，实验结果如表 2 所示。表 1 人工数据集实验 Table 1 Experiments of artificial data set 评估指标整体准确率已知类准确率未知类准确率运行时间/s 欧氏距离 0.972 0.977 0.967 14.01±0.2 曼哈顿距离 0.973 0.978 0.966 14.78±0.5 切比雪夫距离 0.965 0.963 0.969 14.21±0.2 夹角余弦距离 0.813 0.944 0.740 13.51±0.3 马氏距离 0.967 0.960 0.970 14.54±0.1 表 2 慕尼黑工业大学数据集实验 Table 2 Experiments of Technical University of Munich data set 评估指标整体准确率已知类准确率未知类准确率运行时间/s 欧氏距离 0.671 0.697 0.653 1.33±0.1 曼哈顿距离 0.662 0.667 0.656 1.51±0.05 切比雪夫距离 0.564 0.632 0.522 1.29±0.1 夹角余弦距离 0.615 0.610 0.627 1.55±0.1 马氏距离 0.659 0.665 0.651 1.77±0.06 从表 1 中可以看出在人工数据集上采用夹角余弦距离物体的分类效果较差，而其他 4 种距离的分类效果较好。分类准确率几乎没有差别，在 0~1% 的范围内波动，但从运行效率考虑，利用欧氏距离时运行效率较高。从表 2 中可以看出在慕尼黑工业大学数据集上，无论从识别准确率还是运行效率上看欧氏距离都比其它距离的效果好，所以选择欧氏距离作为距离度量方式。由于本文重点关注利用声音模态在开放环境下对物体材质进行识别的问题，所以后续实验只在慕尼黑工业大学触觉纹理数据中的声音集上进行实验。 3.3 验证已知类与未知类的分离效果采用文献 [13] 中的开集稀疏表示分类 (open set sparse representation classification, OSSRC) 与本文的方法进行对比，因为文献 [13] 中的方法是在开放环境识别已知类并对未知类进行判断，无论未知类中包含几类都不进行分类，只是判断为未知即可。所以如下实验对其作相同设置，实验中只将未知类判断出即可。训练只采用 5 类已知，测试是 9 类，其中包含 4 类未知。实验结果如图 6、 7 所示。图 6 是将 2.1 节中的分类器换为最近邻分类器的实验结果，图 7 为 OSSRC 的实验结果。从实验结果中可以得出本文的方法可以很好地将未知类挑选出来，且已知类和未知类不易混淆，已知类与未知类的分离效果较好，而 OSSRC 虽然也可以将未知类挑选出来，效果却较差，将大部分已知类判断为未知类，已知类与未知类的分离效果较差。固体网状物 0.88 0.00 0.05 0.02 0.04 0.02 0.18 0.52 0.09 0.13 0.02 0.06 0.06 0.06 0.70 0.07 0.00 0.12 0.12 0.08 0.18 0.52 0.03 0.07 0.41 0.00 0.12 0.08 0.39 0.00 0.13 0.02 0.04 0.03 0.02 0.77 石头玻璃陶瓷木材橡胶 4类未知固体网状物石头玻璃陶瓷木材橡胶 4类未知图 6 最近邻分类的混淆矩阵 Fig. 6 Confusion matrix of nearest neighbor classification (a) 柚木图像 (b) 柚木声音信号幅值时间/s 1.0 0.5 0 −0.5 0 2 000 4 000 6 000 −1.0 特征值维度 (c) 提出的特征 0.7 0.6 0.5 0.4 0 10 20 30 40 0.3 图 5 柚木图像、声音信号、声音特征 Fig. 5 Images, sound signals, sound features of teak ·1024· 智能系统学报第 15 卷

第5期靳少卫，等：开放环境下未知材质的识别技术 ·1025· 固体网状物 0.55 0.02 0.010.000.02 0.41 从图8、9可以看出随着阈值的增加已知类别石头 0.02 0.56 0.07 0.08 0.00 0.28 的识别准确率都在不断下降，这是由于阈值越大玻璃陶瓷 0.01 0.02 0.46 0.040.00 0.47 已知的测试数据中出现的未知类样本越多，分类木材 0.02 0.04 0.02 0.49 0.00 0.44 器1越难识别已知类别样本。随着阈值的增大未橡胶 0.100.00 0.000.02 0.33 0.55 知类别的识别效果越好，这是因为阈值越大未知 4类未知 0.25 0.010.020.020.02 0.68 类中已知类别样本越少，识别的准确率不再受样固体网状物石头木材 4类未知本类别影响，只依赖于分类器2的性能。整体的识别准确率先上升，后下降，这是因为在上升阶段已知类识别率下降的幅度较小同时未知类别识图7开集稀疏表示分类的混淆矩阵别率在上升，且上升的幅度大于已知类下降的幅 Fig.7 Confusion matrix of open set sparse representation classification 度。后下降是因为已知类识别率下降的幅度大于未知类上升的幅度。 3.4阈值和分类器的选怪通过实验可以得出阈值在030.33范围内，影响框架的另一个重要因素是阈值T的设框架的整体识别效果较好，对比图8、9可以看出置，合理的阈值设置才能成功地将已知类物体和未知类物体分离开，只有将测试集中已知类别和在该框架下结合支持向量机对声音模态的物体材未知类别分开，才能训练性能较好的分类器，才质识别效果较好。在阈值设置为0.33时，得出能成功地学习识别所有的物体。 2种分类器的分类混淆矩阵分别如图10、11所利用分类器结合本文的框架验证阈值对开放示，对比图10、11发现利用支持向量机的分类效环境下识别准确率的影响。框架中分类器为最近果较好，其中未知的材质类别为石头、玻璃陶瓷、邻时的实验结果如图8所示，框架中分类器为支纤维、塑料纸片。持向量机时的实验结果如图9所示。固体网状物0.640.000.010.050.040.040.040.010.17 100 。整体准确率石头0.010.550.140.000.020.120.000.140.01 90 ★-已知类准确率玻璃陶瓷0.020.030.720.040.000.120.000.050.01 。未知类准确率木材0.120.020.070.640.050.010.010.020.08 80 橡胶0.170.000.020.100.500.000.040.020.15 70 纤维0.030.020.070.020.000.550.060.180.07 60 泡沫0.170.000.010.070.090.030.510.010.1 50 塑料纸片 0.110.010.080.010.020.220.040.450.06 织物面料 0.140.000.010.020.030.010.050.010.74 40 固体交 0.2 0.25 0.3 0.35 0.4 阈值T 图8最近邻阈值与准确率的关系图10最近邻分类混淆矩阵 Fig.8 Relation between nearest neighbor threshold and Fig.10 Confusion matrix of nearest neighbor classification accuracy 固体网状物0.670.020.010.020.010.020.020.02021 100 。整体准确率 *已知类准确率石头0.000.790.050.020.000.070.010.040.01 90 “。未知类准确率玻璃陶瓷0.010.020.820.040.000.050.000.030.02 80 4、木材0.060.060.030.760.020.020.030.000.03 橡胶0.060.000.020.080.630.000.060.020.13 纤维-0.010.050.050.040.000.640.050.070.08 60 泡沫0.060.020.000.050.010.010.620.020.22 50 塑料纸片0.070.010.040.010.020.090.020.620.12 40 织物面料0.070.000.000.060.020.020.040.010.78 30 固 .2 0.25 0.3 0.35 0.4 阀值T 状物图9支持向量机阈值与准确率的关系图11支持向量机分类混淆矩阵 Fig.9 Relation between support vector machine threshold Fig.11 Support vector machine classification confusion and accuracy matrix

固体网状物 0.55 0.02 0.01 0.00 0.02 0.41 0.02 0.56 0.07 0.08 0.00 0.28 0.01 0.02 0.46 0.04 0.00 0.47 0.02 0.04 0.02 0.49 0.00 0.44 0.10 0.00 0.00 0.02 0.33 0.55 0.25 0.01 0.02 0.02 0.02 0.68 石头玻璃陶瓷木材橡胶 4类未知固体网状物石头玻璃陶瓷木材橡胶 4类未知图 7 开集稀疏表示分类的混淆矩阵 Fig. 7 Confusion matrix of open set sparse representation classification 3.4 阈值和分类器的选择影响框架的另一个重要因素是阈值 T 的设置，合理的阈值设置才能成功地将已知类物体和未知类物体分离开，只有将测试集中已知类别和未知类别分开，才能训练性能较好的分类器，才能成功地学习识别所有的物体。利用分类器结合本文的框架验证阈值对开放环境下识别准确率的影响。框架中分类器为最近邻时的实验结果如图 8 所示，框架中分类器为支持向量机时的实验结果如图 9 所示。 100 90 识别准确率/% 阈值 T 整体准确率已知类准确率未知类准确率 80 70 60 50 40 30 0.2 0.25 0.3 0.35 0.4 图 8 最近邻阈值与准确率的关系 Fig. 8 Relation between nearest neighbor threshold and accuracy 100 90 识别准确率/% 阈值 T 整体准确率已知类准确率未知类准确率 80 70 60 50 40 30 0.2 0.25 0.3 0.35 0.4 图 9 支持向量机阈值与准确率的关系 Fig. 9 Relation between support vector machine threshold and accuracy 从图 8、9 可以看出随着阈值的增加已知类别的识别准确率都在不断下降，这是由于阈值越大已知的测试数据中出现的未知类样本越多，分类器 1 越难识别已知类别样本。随着阈值的增大未知类别的识别效果越好，这是因为阈值越大未知类中已知类别样本越少，识别的准确率不再受样本类别影响，只依赖于分类器 2 的性能。整体的识别准确率先上升，后下降，这是因为在上升阶段已知类识别率下降的幅度较小同时未知类别识别率在上升，且上升的幅度大于已知类下降的幅度。后下降是因为已知类识别率下降的幅度大于未知类上升的幅度。通过实验可以得出阈值在 0.3~0.33 范围内，框架的整体识别效果较好，对比图 8、9 可以看出在该框架下结合支持向量机对声音模态的物体材质识别效果较好。在阈值设置为 0.33 时，得出 2 种分类器的分类混淆矩阵分别如图 10、11 所示，对比图 10、11 发现利用支持向量机的分类效果较好，其中未知的材质类别为石头、玻璃陶瓷、纤维、塑料纸片。固体网状物 0.64 0.00 0.01 0.05 0.04 0.04 0.01 0.55 0.14 0.00 0.02 0.12 0.02 0.03 0.72 0.04 0.00 0.12 0.12 0.02 0.07 0.64 0.05 0.01 0.17 0.00 0.02 0.10 0.50 0.00 0.03 0.02 0.07 0.02 0.00 0.55 0.17 0.00 0.01 0.07 0.09 0.03 0.11 0.01 0.08 0.01 0.02 0.22 0.14 0.00 0.01 0.02 0.03 0.01 0.04 0.01 0.17 0.00 0.14 0.01 0.00 0.05 0.01 0.01 0.02 0.08 0.04 0.02 0.15 0.06 0.18 0.07 0.51 0.01 0.11 0.04 0.45 0.06 0.05 0.01 0.74 石头玻璃陶瓷木材橡胶纤维泡沫塑料纸片织物面料固体网状物石头玻璃陶瓷木材橡胶纤维泡沫塑料纸片织物面料图 10 最近邻分类混淆矩阵 Fig. 10 Confusion matrix of nearest neighbor classification 固体网状物 0.67 0.02 0.01 0.02 0.01 0.02 0.00 0.79 0.05 0.02 0.00 0.07 0.01 0.02 0.82 0.04 0.00 0.05 0.06 0.06 0.03 0.76 0.02 0.02 0.06 0.00 0.02 0.08 0.63 0.00 0.01 0.05 0.05 0.04 0.00 0.64 0.06 0.02 0.00 0.05 0.01 0.01 0.07 0.01 0.04 0.01 0.02 0.09 0.07 0.00 0.00 0.06 0.02 0.02 0.02 0.02 0.21 0.01 0.04 0.01 0.00 0.03 0.02 0.03 0.00 0.03 0.06 0.02 0.13 0.05 0.07 0.08 0.62 0.02 0.22 0.02 0.62 0.12 0.04 0.01 0.78 石头玻璃陶瓷木材橡胶纤维泡沫塑料纸片织物面料固体网状物石头玻璃陶瓷木材橡胶纤维泡沫塑料纸片织物面料图 11 支持向量机分类混淆矩阵 Fig. 11 Support vector machine classification confusion matrix 第 5 期靳少卫，等：开放环境下未知材质的识别技术 ·1025·

·1026· 智能系统学报第15卷 3.5框架性能评估参考文献：在阈值设置为0.33时，提出的框架主要解决开放环境下未知物体材质的识别问题，所以在不 [1]ZHANG Tao,LI Qing,ZHANG Changshui,et al.Current 同开放程度下对比整体识别准确率，开放程度指 trends in the development of intelligent unmanned autonomous 的是已知类和未知类的比例，所以影响识别准确 systems[J].Frontiers of information technology and elec- 率的因素是未知类别数和已知类别数。按照物体 tronic engineering,2017,18:68-85. 材质分为9类的实验结果如图12所示，从测试结 [2]ZHENG Wendong,LIU Huaping,WANG Bowen,et al. 果可以看出未知类越多整体识别效果在不断下 Cross-modal surface material retrieval using discriminant 降，已知类越多整体识别效果保持稳定趋势， adversarial learning[J.IEEE transactions on industrial in- 分类器采用支持向量机时识别准确率受未知类别 formatics,2019,15(9):4978-4987 影响较最近邻小。因此，在该框架下利用支持向 [3]ZHENG Wendong,WANG Bowen,LIU Huaping,et al. 量机可以很好地解决开放环境下未知材质识别的 Bio-inspired magnetostrictive tactile sensor for surface ma- 问题。 terial recognition[J].IEEE transactions on magnetics, 2019,55(7):4002307 KNN [4]STRESE M,SCHUWERK C,IEPURE A,et al.Multimod- 100 svm al feature-based surface material classification[J].IEEE 90 transactions on haptics,2017,10(2):226-239. [5]NGUYEN H.OSBORN L,ISKAROUS M,et al.Dynamic 70 texture decoding using a neuromorphic multilayer tactile sensor[C]//Proceedings of 2018 IEEE Biomedical Circuits and Systems Conference (BioCAS).Cleveland,USA. 2 2018:1-4. 未知类 4 45 已知类 [6]LIU Huaping,GUO Di,SUN Fuchun.Object recognition 图12开放环境下识别准确率与未知和已知类别数关系 using tactile measurements:kernel sparse coding methods[J]. Fig.12 Relationship between the recognition accuracy and IEEE transactions on instrumentation and measurement, the number of unknown and known categories in 2016,65(3)656-665 the open environment [7]DENG Cheng,TANG Xu,YAN Junchi,et al.Discriminat- 4结束语 ive dictionary learning with common label alignment for cross-modal retrieval[J].IEEE transactions on multimedia. 随着机器人灵巧手不断探索未知物体，触觉 2016,18(2):208-218 信息也在不断地发生变化，出现未知的物体触觉 [8]DRIMUS A.KOOTSTRA G,BILBERG A,et al.Design 信息，不能再做封闭的机器学习训练假设。本文 of a flexible tactile sensor for classification of rigid and de- 提出的框架可以很好地解决开放环境下触觉物体 formable objects[J].Robotics and autonomous systems. 材质识别的问题，在慕尼黑工业大学的声音数据 2014,62(1)3-15 集上利用该框架结合支持向量机取得了很好的识别效果，虽然设计的框架中区分已知类和未知类 [9]STRESE M,LEE J Y,SCHUWERK C,et al.A haptic tex- 的方法有一定的缺陷，但为机器人探索未知物体 ture database for tool-mediated texture recognition and 进行灵巧精细操作的算法理论提供了一种思想， classification[C]//2014 IEEE International Symposium on 以后随着不同触觉传感器的发展和不同模态信息 Haptic,Audio and Visual Environments and Games (HAVE) 的采集，再经过更好的特征提出，只要通过稳定 Proceedings.Richardson,USA,2014:118-123. 可靠的特征提取，融合多模态信息及解决不同模 [10]古丽娜孜·艾力木江，乎西旦·居马洪，孙铁利，等.基于态的相关性，基于距离判断未知类样本是可行支持向量的最近邻文本分类方法[).智能系统学报，的。该框架可以很好地解决未知触觉物体材质识 2018.13(5):799-807 别问题。未来需要开发更好的方法来区分未知类 GULNAZ Alimjan,HURXIDA Jumahun,SUN Tieli,et 别和已知类别。开发的系统框架合理稳定便可以 al.The nearest neighbor text classification method based 投入机器人灵巧精细操作中。 on support vector[J].CAAI transactions on intelligent

3.5 框架性能评估在阈值设置为 0.33 时，提出的框架主要解决开放环境下未知物体材质的识别问题，所以在不同开放程度下对比整体识别准确率，开放程度指的是已知类和未知类的比例，所以影响识别准确率的因素是未知类别数和已知类别数。按照物体材质分为 9 类的实验结果如图 12 所示，从测试结果可以看出未知类越多整体识别效果在不断下降，已知类越多整体识别效果保持稳定趋势，分类器采用支持向量机时识别准确率受未知类别影响较最近邻小。因此，在该框架下利用支持向量机可以很好地解决开放环境下未知材质识别的问题。 100 90 80 70 60 50 准确率/% 未知类已知类 KNN svm 1 2 3 4 5 4 3 2 1 图 12 开放环境下识别准确率与未知和已知类别数关系 Fig. 12 Relationship between the recognition accuracy and the number of unknown and known categories in the open environment 4 结束语随着机器人灵巧手不断探索未知物体，触觉信息也在不断地发生变化，出现未知的物体触觉信息，不能再做封闭的机器学习训练假设。本文提出的框架可以很好地解决开放环境下触觉物体材质识别的问题，在慕尼黑工业大学的声音数据集上利用该框架结合支持向量机取得了很好的识别效果，虽然设计的框架中区分已知类和未知类的方法有一定的缺陷，但为机器人探索未知物体进行灵巧精细操作的算法理论提供了一种思想，以后随着不同触觉传感器的发展和不同模态信息的采集，再经过更好的特征提出，只要通过稳定可靠的特征提取，融合多模态信息及解决不同模态的相关性，基于距离判断未知类样本是可行的。该框架可以很好地解决未知触觉物体材质识别问题。未来需要开发更好的方法来区分未知类别和已知类别。开发的系统框架合理稳定便可以投入机器人灵巧精细操作中。参考文献： ZHANG Tao, LI Qing, ZHANG Changshui, et al. Current trends in the development of intelligent unmanned autonomous systems[J]. Frontiers of information technology and electronic engineering, 2017, 18: 68–85. [1] ZHENG Wendong, LIU Huaping, WANG Bowen, et al. Cross-modal surface material retrieval using discriminant adversarial learning[J]. IEEE transactions on industrial informatics, 2019, 15(9): 4978–4987. [2] ZHENG Wendong, WANG Bowen, LIU Huaping, et al. Bio-inspired magnetostrictive tactile sensor for surface material recognition[J]. IEEE transactions on magnetics, 2019, 55(7): 4002307. [3] STRESE M, SCHUWERK C, IEPURE A, et al. Multimodal feature-based surface material classification[J]. IEEE transactions on haptics, 2017, 10(2): 226–239. [4] NGUYEN H, OSBORN L, ISKAROUS M, et al. Dynamic texture decoding using a neuromorphic multilayer tactile sensor[C]//Proceedings of 2018 IEEE Biomedical Circuits and Systems Conference (BioCAS). Cleveland, USA, 2018: 1−4. [5] LIU Huaping, GUO Di, SUN Fuchun. Object recognition using tactile measurements: kernel sparse coding methods[J]. IEEE transactions on instrumentation and measurement, 2016, 65(3): 656–665. [6] DENG Cheng, TANG Xu, YAN Junchi, et al. Discriminative dictionary learning with common label alignment for cross-modal retrieval[J]. IEEE transactions on multimedia, 2016, 18(2): 208–218. [7] DRIMUS A, KOOTSTRA G, BILBERG A, et al. Design of a flexible tactile sensor for classification of rigid and deformable objects[J]. Robotics and autonomous systems, 2014, 62(1): 3–15. [8] STRESE M, LEE J Y, SCHUWERK C, et al. A haptic texture database for tool-mediated texture recognition and classification[C]//2014 IEEE International Symposium on Haptic, Audio and Visual Environments and Games (HAVE) Proceedings. Richardson, USA, 2014: 118−123. [9] 古丽娜孜·艾力木江, 乎西旦·居马洪, 孙铁利, 等. 基于支持向量的最近邻文本分类方法 [J]. 智能系统学报, 2018, 13(5): 799–807. GULNAZ Alimjan, HURXIDA Jumahun, SUN Tieli, et al. The nearest neighbor text classification method based on support vector[J]. CAAI transactions on intelligent [10] ·1026· 智能系统学报第 15 卷

第5期靳少卫，等：开放环境下未知材质的识别技术 ·1027· systems,.2018,13(5):799-807 al measurements fusion for surface material categoriza- [11]CHE Huimin,DING Bo,WANG Huaimin,et al.IKNN- tion[J].IEEE transactions on instrumentation and meas- SVM:a hybrid incremental algorithm for image classific- urement,2018.67(2:246-256 ation[C]//Proceedings of 2016 2nd International Confer- 作者简介： ence on Artificial Intelligence and Industrial Engineering 靳少卫，硕士研究生，主要研究方 (A II E 2016).Beijing,China,2016. 向为磁性材料与器件、触觉感知 [12]DEMIDOVA L,SOKOLOVA Y.A novel SVM-kNN 识别。 technique for data classification[C]//Proceedings of 2017 6th Mediterranean Conference on Embedded Computing (MECO).Bar,Montenegro,2017:1-4. [13]STRESE M,BOECK Y.STEINBACH E.Content-based 刘华平，副教授，博土生导师 surface material retrieval[C]//2017 IEEE World Haptics EEE SeniorMember、中国人工智能学 Conference (WHC).Munich,Germany,2017:352-357. 会理事、中国人工智能学会认知系统 [14]CAO Jiuwen,ZHAO Tao,WANG Jianzhong,et al.Ex- 与信息处理专业委员会秘书长，主要 cavation equipment classification based on improved MFCC 研究方向为机器人感知、学习与控制、多模态信息融合领域的研究。主持国 features and ELM[J].Neurocomputing,2017,261:231- 家自然科学基金项目6项。发表学术 241. 论文200余篇。 [15]张毅，谢延义，罗元，等.一种语音特征提取中Ml倒谱孙富春，教授，博士生导师，EEE 系数的后处理算法[.智能系统学报，2016,11(2)： Senior Member、中国人工智能学会理 208-215. 事、中国人工智能学会智能控制与智 ZHANG Yi,XIE Yanyi,LUO Yuan,et al.Postpro- 能管理专业委员会副主任兼秘书长 cessing method of MFCC in speech feature extraction[J]. 主要研究方向为智能控制与机器人、非线性与复杂系统的建模与控制、网 CAAI transactions on intelligent systems,2016,11(2): 络控制系统、模式识别与智能系统、目 208-215. 标检测、识别与跟踪技术、多源信息融合。主持国家自然科 [16]LIU Huaping,SUN Fuchun,FANG Bin,et al.Multimod- 学基金10余项。发表学术论文300余篇

systems, 2018, 13(5): 799–807. CHE Huimin, DING Bo, WANG Huaimin, et al. IKNNSVM: a hybrid incremental algorithm for image classification[C]//Proceedings of 2016 2nd International Conference on Artificial Intelligence and Industrial Engineering (AⅡE 2016). Beijing, China, 2016. [11] DEMIDOVA L, SOKOLOVA Y. A novel SVM-kNN technique for data classification[C]//Proceedings of 2017 6th Mediterranean Conference on Embedded Computing (MECO). Bar, Montenegro, 2017: 1−4. [12] STRESE M, BOECK Y, STEINBACH E. Content-based surface material retrieval[C]//2017 IEEE World Haptics Conference (WHC). Munich, Germany, 2017: 352−357. [13] CAO Jiuwen, ZHAO Tao, WANG Jianzhong, et al. Excavation equipment classification based on improved MFCC features and ELM[J]. Neurocomputing, 2017, 261: 231– 241. [14] 张毅, 谢延义, 罗元, 等. 一种语音特征提取中 Mel 倒谱系数的后处理算法 [J]. 智能系统学报, 2016, 11(2): 208–215. ZHANG Yi, XIE Yanyi, LUO Yuan, et al. Postprocessing method of MFCC in speech feature extraction[J]. CAAI transactions on intelligent systems, 2016, 11(2): 208–215. [15] [16] LIU Huaping, SUN Fuchun, FANG Bin, et al. Multimodal measurements fusion for surface material categorization[J]. IEEE transactions on instrumentation and measurement, 2018, 67(2): 246–256. 作者简介：靳少卫，硕士研究生，主要研究方向为磁性材料与器件、触觉感知识别。刘华平，副教授，博士生导师， IEEE SeniorMember、中国人工智能学会理事、中国人工智能学会认知系统与信息处理专业委员会秘书长，主要研究方向为机器人感知、学习与控制、多模态信息融合领域的研究。主持国家自然科学基金项目 6 项。发表学术论文 200 余篇。孙富春，教授，博士生导师，IEEE Senior Member、中国人工智能学会理事、中国人工智能学会智能控制与智能管理专业委员会副主任兼秘书长，主要研究方向为智能控制与机器人、非线性与复杂系统的建模与控制、网络控制系统、模式识别与智能系统、目标检测、识别与跟踪技术、多源信息融合。主持国家自然科学基金 10 余项。发表学术论文 300 余篇。第 5 期靳少卫，等：开放环境下未知材质的识别技术 ·1027·

点击进入文档下载页（PDF格式）

已到末页，全文结束

点击下载（PDF格式）

浏览记录