·60· 智能系统学报 第16卷 训练 低。因此本文利用单应性适应变换和初级特征点 简单几何形状数据集是由一些线段、多边 检测网络训练得到新的模型，提升真实图像特征 形、立方体等特征点较为容易确定的图像构成 点提取的精度。 的。利用尺度不变特征变换等进行基本数据集的 2)自行采集图像自标注 特征点提取，可以得到数据集和特征点真值。因 利用多次复合几何变换对输入的图像进行处 为线段、三角形等基础几何形状图像的特征点是 理，本文设置超参数Nh=80;即N,是未经过复合 真实图像特征点的子集。利用标注好的简单几何 几何变换的原始图像，剩余的79帧图像是原始图 形状数据集对特征点检测网络进行训练，得到了 像经过随机生成的复合简单几何变换形成的图 一个初级特征点检测网络。与尺度不变特征变换 像。利用步骤1)中生成的初级特征点检测网络 等传统算法相比，在简单几何形状数据集训练得 对真实图像数据集伪特征点进行提取，将与源图 到的初级特征点检测网络在精度方面具有一定的 像对应的79帧图像映射回原图像的特征点累加 优势，但是在对真实图像数据集进行提取特征点 起来形成新的源图像特征点。至此本文完成了真 时会出现一些特征点的遗漏问题，检测精确度较 实图像数据集的特征点标注。 简单几何形状数据集 初级特征点检测网络 多视角图像融合网络 增强特征点检测网络 Prxel L Pixel R 图像L图像R Pixel L Pixel Fusion 图像L图像了 融合 Fusion 融合 增强特征点检测网络 跨色差特征融合 特 左视角 右视角 复合几何变换 无标注真实数据绨 图2 Self-MVFM网络模型 Fig.2 Self-supervised multi-view feature fusion model 在复合简单几何变换中，本文获取了79帧经 hoo ho2 过已知变换矩阵形成的源图像变换图像，因此获 =H hio hu h (1) 1 ha h2 得了源图像和其对应的79帧图像的79组已知位 式中：x,y)代表来自第一个视角的图片中的某 姿变换的图像对。这样就得到了原始图像与变换 一点；(2，y2)代表来自另一个视角图片中与(1y) 图像之间映射关系的真值。最终的自行采集数据 对应的某点。需要通过2张不同视角的照片计算 集包含特征点和特征点描述子真值，用于特征点 出复合几何变换矩阵H。 检测网络中特征点检测和描述子检测2个网络分 通过自监督学习到的复合简单几何变换矩阵 支的联合训练。 并非都是有用的，需要进行选择。为了选取表现 为了实现特征点检测子网络和描述子检测子 较好的复合简单几何变换矩阵，使用截断正态分 网络在初级特征点检测网络中的联合训练，将 布在预定范围内进行平移、缩放、平面内旋转和 2个检测子网络的损失函数值加权相加，得到统 对称透视变换采样。 一的损失函数。 2.1.3增强特征点检测网络 2.1.2复合几何变换 在获得数据集的原始图像与真实图像之间映 为了将不同视角的信息进行融合，需要先找 射关系的真值之后，就完成了真实数据集的自标 到不同视角的对应关系。利用自适应单应性变换 注，实现了难以人工进行标注的真实图像数据集 求解不同视角的对应关系矩阵H。单应性变换为 自标注。增强特征点检测网络用于训练前面训练 简单几何形状数据集是由一些线段、多边 形、立方体等特征点较为容易确定的图像构成 的。利用尺度不变特征变换等进行基本数据集的 特征点提取，可以得到数据集和特征点真值。因 为线段、三角形等基础几何形状图像的特征点是 真实图像特征点的子集。利用标注好的简单几何 形状数据集对特征点检测网络进行训练，得到了 一个初级特征点检测网络。与尺度不变特征变换 等传统算法相比，在简单几何形状数据集训练得 到的初级特征点检测网络在精度方面具有一定的 优势，但是在对真实图像数据集进行提取特征点 时会出现一些特征点的遗漏问题，检测精确度较 低。因此本文利用单应性适应变换和初级特征点 检测网络训练得到新的模型，提升真实图像特征 点提取的精度。 2) 自行采集图像自标注 利用多次复合几何变换对输入的图像进行处 理，本文设置超参数 Nh=80；即 N1 是未经过复合 几何变换的原始图像，剩余的 79 帧图像是原始图 像经过随机生成的复合简单几何变换形成的图 像。利用步骤 1) 中生成的初级特征点检测网络 对真实图像数据集伪特征点进行提取，将与源图 像对应的 79 帧图像映射回原图像的特征点累加 起来形成新的源图像特征点。至此本文完成了真 实图像数据集的特征点标注。 简单几何形状数据集 训练 Pixel L Pixel R Fusion 图像 L图像 R 融合 Pixel L Pixel R Fusion 图像 L图像 R 融合 跨色差特征融合 复合几何变换 左视角 右视角 无标注真实数据集 增强特征点检测网络 增强特征点检测网络 特 征 点 描 述 子 特 征 点 描 述 子 初级特征点检测网络 多视角图像融合网络 图 2 Self-MVFM 网络模型 Fig. 2 Self-supervised multi-view feature fusion model 在复合简单几何变换中，本文获取了 79 帧经 过已知变换矩阵形成的源图像变换图像，因此获 得了源图像和其对应的 79 帧图像的 79 组已知位 姿变换的图像对。这样就得到了原始图像与变换 图像之间映射关系的真值。最终的自行采集数据 集包含特征点和特征点描述子真值，用于特征点 检测网络中特征点检测和描述子检测 2 个网络分 支的联合训练。 为了实现特征点检测子网络和描述子检测子 网络在初级特征点检测网络中的联合训练，将 2 个检测子网络的损失函数值加权相加，得到统 一的损失函数。 2.1.2 复合几何变换 为了将不同视角的信息进行融合，需要先找 到不同视角的对应关系。利用自适应单应性变换 求解不同视角的对应关系矩阵 H。单应性变换为   x1 y1 1   = H   x2 y2 1   =   h00 h01 h02 h10 h11 h12 h20 h21 h22     x2 y2 1   (1) (x1, y1) (x2, y2) (x1, y1) 式中： 代表来自第一个视角的图片中的某 一点； 代表来自另一个视角图片中与 对应的某点。需要通过 2 张不同视角的照片计算 出复合几何变换矩阵 H。 通过自监督学习到的复合简单几何变换矩阵 并非都是有用的，需要进行选择。为了选取表现 较好的复合简单几何变换矩阵，使用截断正态分 布在预定范围内进行平移、缩放、平面内旋转和 对称透视变换采样。 2.1.3 增强特征点检测网络 在获得数据集的原始图像与真实图像之间映 射关系的真值之后，就完成了真实数据集的自标 注，实现了难以人工进行标注的真实图像数据集 自标注。增强特征点检测网络[11] 用于训练前面 ·60· 智 能 系 统 学 报 第 16 卷