第4期 王召新，等：基于级联宽度学习的多模态材质识别 ·791· 这些物体涵盖了金属、塑料、木材、纸和布料 实验设置了相同的参数：每个窗口的特征节点数 5种类别，每个光谱仪采集来自5种类别的50个 为9，特征节点窗口数为6，增强节点1000，收敛 物体信号，每个物体测量100次，2个传感器共计 因子0.7，正则化因子1，从表1可以看出，在使用 测量10000个光谱数据。数据集样本如图3所 多模态样本进行实验时，在每个物体只有一个训 示。实验采用5倍交叉验证的方式，即每个子数 练样本的情况下，深度学习和宽度学习分别达到 据集的训练数据均为4000个测量值，每种材质 了92.20%和98.64%的识别精度，可以看出宽度 800个，剩下的1000个测量值为测试数据。为了 学习具有良好的泛化能力。随着训练样本的增 验证本文提出的算法在小样本数据集上的性能， 加，识别精度均有所提高，这说明在实际应用中， 实验的训练数据量仅为200个，并且评估了随着 如果机器人无法获得大量的光谱学习样本，在小 训练样本从每个物体1~4个测量值依次增加，模 样本的情况下可以选择宽度学习来完成材质识别 型的分类性能如何变化。 任务。另一方面，对比5次交叉验证的运行时间， 3.2实验结果 从表2可以看到，宽度学习随训练样本增加运行 为了检验宽度学习算法在材质识别任务上的 时间总共是14s左右，仅仅是深度学习的1/25，宽 性能，主要是验证宽度学习算法在该任务中能否 度学习不仅避免了深度结构耗时的训练过程，还 作为深度学习的替代方法完成识别任务，因此本 能较好地完成材质识别任务。这足以说明了宽度 文与文献[21]算法做了对比。具体而言，主要在 学习方法的快速性和有效性。 识别率、训练和测试时间以及参数敏感性等方面 表1 当训练样本增加时不同算法在多模态数据上的识 做了评估，材质识别实验流程如图4所示。 别准确率 Table 1 Recognition accuracy of different algorithms on multi-modal data when training samples in- crease % 每个物体的训练样本数 DL BRL CFBRL LCFBRL ×104 兰2 umn光谱实例-纸板 Scio光谱实例-纸板 92.2094.2398.62 95.84 0.6 0 3 94.4095.7499.84 96.87 0.4 300500700900 70080090010001100 波长/m 2 95.4697.1499.86 98.03 波长/nm 97.2097.8999.84 98.64 ●●● 。●● ●●…●●● 表2当训练样本增加时不同算法在多模态数据上的运 ●●● 5雪●●O 行时间 融合节点层 Table 2 Running time of different algorithms on multi- modal data when training samples increase 每个物体的训练样本数 DL BRL CFBRL LCFBRL CFBRL 特征节点层F 35.031.401.45 1.37 E E 3 72.072.922.89 2.73 增强节点层E 106.114.414.35 4.10 4 137.155.275.80 5.46 预测标签Y 图4材质识别任务流程 从图5可以看到，在训练样本为50时，4种算 Fig.4 The process of material recognition tasks 法在单模态和多模态数据上的分类精度。整体来 对比实验中增加了一种基于宽度学习的改进 看，不管是宽度学习还是深度学习算法，多模态 算法：宽度学习中级联特征节点与增强节点之间 数据结果好于单一模态的分类结果，这证明了多 的有限连接(broad learning:the limited connection 模态融合方法在材质识别领域的有效性。 between the groups of cascaded feature nodes and the 为了比较不同参数对CFBRL模型性能的影 enhancement nodes,LCFBRL)具体结构为特征节 响，对参数正则化因子C,收敛因子S,特征节点 点级联，最后一组特征节点用来生成增强节点。 N,×N2和增强节点N3进行网格搜索。其中，C是 对于3种宽度学习算法，为了提高实验的可比性， 控制过拟合的参数，S是增强节点的收缩尺度，防这些物体涵盖了金属、塑料、木材、纸和布料 5 种类别，每个光谱仪采集来自 5 种类别的 50 个 物体信号，每个物体测量 100 次，2 个传感器共计 测量 10 000 个光谱数据。数据集样本如图 3 所 示。实验采用 5 倍交叉验证的方式，即每个子数 据集的训练数据均为 4 000个测量值，每种材质 800 个，剩下的 1 000 个测量值为测试数据。为了 验证本文提出的算法在小样本数据集上的性能， 实验的训练数据量仅为 200 个，并且评估了随着 训练样本从每个物体 1~4 个测量值依次增加，模 型的分类性能如何变化。 3.2 实验结果 为了检验宽度学习算法在材质识别任务上的 性能，主要是验证宽度学习算法在该任务中能否 作为深度学习的替代方法完成识别任务，因此本 文与文献 [21] 算法做了对比。具体而言，主要在 识别率、训练和测试时间以及参数敏感性等方面 做了评估，材质识别实验流程如图 4 所示。 融合节点层 ... ... ... ... ... ... ... ... ... 预测标签 Y CFBRL ... ... 2 1 0 300 500 900 700 相对 亮度值 Lumini 光谱实例−纸板 波长/nm ×104 0.6 0.5 0.4 700 800 1 000 1 100 900 相对 亮度值 Scio 光谱实例−纸板 波长/nm F1 E1 EM Fm 特征节点层 Fm 增强节点层 EM 图 4 材质识别任务流程 Fig. 4 The process of material recognition tasks 对比实验中增加了一种基于宽度学习的改进 算法：宽度学习中级联特征节点与增强节点之间 的有限连接 (broad learning: the limited connection between the groups of cascaded feature nodes and the enhancement nodes, LCFBRL) 具体结构为特征节 点级联，最后一组特征节点用来生成增强节点。 对于 3 种宽度学习算法，为了提高实验的可比性， 实验设置了相同的参数：每个窗口的特征节点数 为 9，特征节点窗口数为 6，增强节点 1 000，收敛 因子 0.7，正则化因子 1，从表 1 可以看出，在使用 多模态样本进行实验时，在每个物体只有一个训 练样本的情况下，深度学习和宽度学习分别达到 了 92.20% 和 98.64% 的识别精度，可以看出宽度 学习具有良好的泛化能力。随着训练样本的增 加，识别精度均有所提高，这说明在实际应用中， 如果机器人无法获得大量的光谱学习样本，在小 样本的情况下可以选择宽度学习来完成材质识别 任务。另一方面，对比 5 次交叉验证的运行时间， 从表 2 可以看到，宽度学习随训练样本增加运行 时间总共是 14 s 左右，仅仅是深度学习的 1/25，宽 度学习不仅避免了深度结构耗时的训练过程，还 能较好地完成材质识别任务。这足以说明了宽度 学习方法的快速性和有效性。 表 1 当训练样本增加时不同算法在多模态数据上的识 别准确率 Table 1 Recognition accuracy of different algorithms on multi-modal data when training samples in￾crease % 每个物体的训练样本数 DL BRL CFBRL LCFBRL 1 92.20 94.23 98.62 95.84 2 94.40 95.74 99.84 96.87 3 95.46 97.14 99.86 98.03 4 97.20 97.89 99.84 98.64 表 2 当训练样本增加时不同算法在多模态数据上的运 行时间 Table 2 Running time of different algorithms on multi￾modal data when training samples increase s 每个物体的训练样本数 DL BRL CFBRL LCFBRL 1 35.03 1.40 1.45 1.37 2 72.07 2.92 2.89 2.73 3 106.11 4.41 4.35 4.10 4 137.15 5.27 5.80 5.46 从图 5 可以看到，在训练样本为 50 时，4 种算 法在单模态和多模态数据上的分类精度。整体来 看，不管是宽度学习还是深度学习算法，多模态 数据结果好于单一模态的分类结果，这证明了多 模态融合方法在材质识别领域的有效性。 N1 ×N2 N3 为了比较不同参数对 CFBRL 模型性能的影 响，对参数正则化因子 C，收敛因子 S，特征节点 和增强节点 进行网格搜索。其中，C 是 控制过拟合的参数，S 是增强节点的收缩尺度，防 第 4 期 王召新，等：基于级联宽度学习的多模态材质识别 ·791·