第4期 王召新，等：基于级联宽度学习的多模态材质识别 ·789· 类似的，定义m组串联的增强节点为Em= 它们都可以由机器人的末端执行器控制或连 [E,E2,…,Em],因此，BRL的输出可表示为 接。光谱仪Lumini ONE有4个光源，波长测量 Y=[F1,F2,…,FME1,E2,…,E]WM= 范围是317~856nm。该光谱仪覆盖了整个可见 [FMIE"]WM =[AM]WM (3) 光光谱以及部分近紫外和近红外光谱。光谱仪 其中，W“=[A“]Y是宽度学习的输出矩阵，通过 Scio在评估食品和药品的化学成分等性能方面 岭回归的广义逆近似求解得到。而[A“]则采用 取得了成功。与Lumini相比，Scio尺寸更小，此 式(4)得到： 外，Scio的工作在波长为740~1070nm的近红外 [AM]=lim(+A[AMA (4) 光谱范围内。 如果测试精度不符合要求或输入新的数据， 在这些实验中，两个传感器都与一个位于旋 则需要使用增量学习算法扩展网络而无需再 转平台上的目标接触，获得理想的光谱测量，以 训练。 表征最佳的材料识别性能。在数据采集的过程 13级联特征节点的宽度学习 中，Lumini的曝光时间是0.5s,可以在信号强度 宽度学习是一种灵活的模型，可以在多种约 和噪声之间做出合理的权衡。与Lumini不同的 束条件下进行改进。级联特征映射的宽度学习 是，Scio的曝光时间是不可获取的，但根据经验， (cascade of feature mapping nodes of BRL,CFBRL) 可以发现它的曝光时间约为1s。Scio测量的维 是一种改变特征节点连接方式的一种改进结构， 度为331(740~1070nm),而Lumini测量的维度 如图2所示。将前一组特征节点的输出作为后一 为288(317~856nm),在特征学习之前，计算了测 组特征节点的输入，以此类推。生成的m组映射 量数据的离散一阶导数并进行归一化。 特征为[F,F2,…,FMl。以X作为体系结构的输 2.2特征融合 入，第1组映射的特性为式(1)中i=1的情况。 根据采集数据所用传感器类型的差异，多模 接下来，生成第2组映射特性F2。第2组特征节 态数据通常可以分为同构数据和异构数据。不同 点以映射后的特征F1为输人，生成F2为 类型的数据，往往有不同的融合模型2。若多个 F2=g(F1·WB+Bs)= 模态数据具有类似的数学统计规律，称之为同构 g(g(X.W6+B5)W6+B5)= (5) 数据。文中用到的两组数据都是光谱数据，属于 g2(X:(Wn-Bn)=12) 同构数据。因此，学习低层次的相关性可以得到 更加鲁棒的特征四。本文将串联的多模态数据作 为级联宽度学习网络的输入，然后通过宽度网络 输出层Y 提取融合特征，最终得到材质类别。 3实验结果与分析 为了验证本文提出的基于级联宽度学习的多 模态材质识别算法的有效性，在佐治亚理工学院 的材质光谱数据集上展开了实验对比。该数 输入样本X 据集的收集工作揭示了一种利用光谱学来估计物 体材料的机器人技术。光谱学的研究包括测量电 图2 CFBRL网络结构 Fig.2 Modal structure of CFBRI 磁辐射和物质之间的相互作用。通俗地说，这是 一个测量物体反射回来的光强度的过程，它是光 按照这个规律，可以得到第M组的映射特征： 波长的函数。光谱仪（或光谱学传感器）为机器 Fn=g(Fa-1·Wm+Brn= (6) 人的材料识别提供了几个好处，包括具有快速的 g(X:(W,Bl1),n=1,2,…,M 传感能力和精确且可重复的测量。此外，与许多 得到映射特征后，生成增强节点和计算输出 触觉传感器不同，光谱仪不需要与物体进行直接 矩阵的步骤同BRL。 的物理接触，这使得机器人在物体接触之前就得 2数据处理及特征提取方法 出该物体的材质属性。 3.1实验数据 2.1数据获取及预处理 该数据集包含2个子数据集，都是日常生活 实验所用的数据来自商用手持微型光谱仪， 用品的光谱测量数据，数据采集样本如图3所示。m E m = [E1,E2,··· ,Em] 类似的，定义 组串联的增强节点为 ，因此，BRL 的输出可表示为 Y = [F1,F2,··· ,FM|E1,E2,··· ,Em]WM = [F M|E m ]WM =[A M m ]WM (3) WM = [A M m ] +Y [A M m ] + 其中， 是宽度学习的输出矩阵，通过 岭回归的广义逆近似求解得到。而 则采用 式 (4) 得到： [A M m ] +=lim λ→0 (λI+ A M m ·[A M m ] T ) −1 [A M m ] T (4) 如果测试精度不符合要求或输入新的数据， 则需要使用增量学习算法扩展网络而无需再 训练。 1.3 级联特征节点的宽度学习 m [F1,F2,··· ,FM] X i = 1 F2 F1 F2 宽度学习是一种灵活的模型，可以在多种约 束条件下进行改进。级联特征映射的宽度学习 (cascade of feature mapping nodes of BRL, CFBRL) 是一种改变特征节点连接方式的一种改进结构， 如图 2 所示。将前一组特征节点的输出作为后一 组特征节点的输入，以此类推。生成的 组映射 特征为 。以 作为体系结构的输 入 ，第 1 组映射的特性为式 (1) 中 的情况。 接下来，生成第 2 组映射特性 。第 2 组特征节 点以映射后的特征 为输入，生成 为 F2 = g(F1 ·Wf2 +βf2 ) = g(g(X·Wf1 +βf1 )Wf2 +βf2 ) = g 2 ( X;{Wfi ,βfi } i=1,2 ) (5) 输出层 Y ... ... ... ... F1 F2 FM E1 E2 Em 输入样本 X 图 2 CFBRL 网络结构 Fig. 2 Modal structure of CFBRL 按照这个规律，可以得到第 M 组的映射特征： Fn = g(Fn−1 ·Wf n +βf n)= g n ( X;{Wf i,βf i} M i=1 ) , n = 1,2,··· , M (6) 得到映射特征后，生成增强节点和计算输出 矩阵的步骤同 BRL。 2 数据处理及特征提取方法 2.1 数据获取及预处理 实验所用的数据来自商用手持微型光谱仪， 317∼856 nm 740 ∼ 1 070 nm 它们都可以由机器人的末端执行器控制或连 接。光谱仪 Lumini ONE 有 4 个光源，波长测量 范围是 。该光谱仪覆盖了整个可见 光光谱以及部分近紫外和近红外光谱。光谱仪 Scio 在评估食品和药品的化学成分等性能方面 取得了成功。与 Lumini 相比，Scio 尺寸更小，此 外，Scio 的工作在波长为 的近红外 光谱范围内。 740 ∼ 1 070 nm 317 ∼ 856 nm 在这些实验中，两个传感器都与一个位于旋 转平台上的目标接触，获得理想的光谱测量，以 表征最佳的材料识别性能。在数据采集的过程 中，Lumini 的曝光时间是 0.5 s，可以在信号强度 和噪声之间做出合理的权衡。与 Lumini 不同的 是，Scio 的曝光时间是不可获取的，但根据经验， 可以发现它的曝光时间约为 1 s。Scio 测量的维 度为 331( )，而 Lumini 测量的维度 为 288 ( )，在特征学习之前，计算了测 量数据的离散一阶导数并进行归一化。 2.2 特征融合 根据采集数据所用传感器类型的差异，多模 态数据通常可以分为同构数据和异构数据。不同 类型的数据，往往有不同的融合模型[21]。若多个 模态数据具有类似的数学统计规律，称之为同构 数据。文中用到的两组数据都是光谱数据，属于 同构数据。因此，学习低层次的相关性可以得到 更加鲁棒的特征[22]。本文将串联的多模态数据作 为级联宽度学习网络的输入，然后通过宽度网络 提取融合特征，最终得到材质类别。 3 实验结果与分析 为了验证本文提出的基于级联宽度学习的多 模态材质识别算法的有效性，在佐治亚理工学院 的材质光谱数据集[18] 上展开了实验对比。该数 据集的收集工作揭示了一种利用光谱学来估计物 体材料的机器人技术。光谱学的研究包括测量电 磁辐射和物质之间的相互作用。通俗地说，这是 一个测量物体反射回来的光强度的过程，它是光 波长的函数。光谱仪 (或光谱学传感器) 为机器 人的材料识别提供了几个好处，包括具有快速的 传感能力和精确且可重复的测量。此外，与许多 触觉传感器不同，光谱仪不需要与物体进行直接 的物理接触，这使得机器人在物体接触之前就得 出该物体的材质属性。 3.1 实验数据 该数据集包含 2 个子数据集，都是日常生活 用品的光谱测量数据，数据采集样本如图 3 所示。 第 4 期 王召新，等：基于级联宽度学习的多模态材质识别 ·789·