第1期 辛菁，等：基于迁移学习的移动机器人单帧图像坡度检测算法 ·83· 需要的训练样本。Fu等基于空间和深度分辨 通过基于迁移学习的室外单帧图像深度估计网络 率的折衷提出了一种回归分类级联网络。梁煜等 对斜坡图像进行深度估计，得到斜坡上下边缘像 将全卷积网络、挤压-激励网络(squeeze-and-excit-. 素点的深度值，作差得到斜坡投影长度，再通过 ation networks,SENet)、残差网络(residual neural 反余弦函数便可得到斜坡角度0=arccos(alD。其 network,ResNet)三者结合提出了一种多网络构成 中，如何根据单帧斜坡RGB图像估计出斜坡上下 的编码器解码器结构，提高了单帧图像深度估计 边缘像素点的深度值，是获得精确的斜波角度估 的精度。此外，还有研究者通过设计新的损失函 计值的关键，本文中该值可通过所设计的深度估 数0,81，在保证深度估计精度的同时，提高了估 计网络获得。下面详细介绍本文所提出的基于迁 计的实时性。 移学习的室外单帧图像深度估计算法基本原理。 综上，已有的单幅图像深度估计方法可以获 度估计网路 得比较精确的深度估计结果，然而其需要大量的 图像数据集，仍不能很好地解决室外单幅图像深 边缘像 度估计中训练数据有限且深度估计精度不理想的 斜坡深愫深度斜坡 度图像 投彩斜坡估 问题，基于此，受迁移学习在计算机视觉、机器学 长斑计角度日 习等领域的成功应用，本文提出了一种基于迁移 斜坡 RGB 坡面 学习的室外单帧图像深度估计方法，旨在能够在 图像 边缘提取 节省训练样本的同时提高深度估计结果的精确 边缘锐化图像 坐标转换长度1 度，在此基础上进一步提出了一种改进的移动机 图1坡度检测算法 器人坡度检测算法，能够根据移动机器人车载相 Fig.1 General framework of slope detection algorithm 机采集的单帧斜坡RGB图像就可估计出精确的 2.2 基于迁移学习的室外单帧图像深度估计算 斜坡角度。 法基本原理 本文的主要贡献如下： 本文提出的基于迁移学习的室外单帧图像深 1)提出了一种基于迁移学习的室外单帧图像 度估计算法如图2所示，主要由室内图像深度估 深度估计方法，不仅在室外图像标准数据集上取 计和参数迁移2部分组成。首先，采用室内图像 得了精确的深度估计结果，而且对于实际拍摄的 语义分割数据集(NYU depth dataset V2,NYU-D 室外单帧图像也能进行准确的深度估计； V2)对室内图像深度估计网络进行训练，得到 2)将基于迁移学习的室外单帧图像深度估计 DCNF-FCSP室内图像深度估计网络模型；然后， 方法与基于视觉的机器人坡度检测方法相结合，提 将该网络模型中前5个图像特征提取层的网络参 出了一种改进的移动机器人单帧图像坡度检测算 数迁移至室外图像深度估计网络中；最后，固定 法，能够仅根据移动机器人车载相机采集的单帧斜 迁移至室外图像深度估计网络的图像特征提取网 坡RGB图像就可估计出精确的斜坡角度，满足移 络参数，利用Make3D室外图像数据集对剩余的 动机器人在未知环境中对坡度感知精度的要求。 2个卷积层和3个全连接层的网络参数进行训 2 基于迁移学习的移动机器人单帧 练，从而得到室外单帧图像深度估计网络。 图像坡度检测算法原理 下面详细介绍基于迁移学习的室外图像深度 估计方法的具体实现原理，包括室内图像深度估 2.1算法整体框架 计和基于迁移学习的单帧图像深度估计。 本文提出的基于迁移学习的移动机器人单帧 2.2.1室内图像深度估计 图像坡度检测算法整体如图1所示，主要由斜坡 本文借鉴文献[12]提出的室内图像深度估计 边缘提取、斜坡边缘像素点坐标转换和斜坡图像 方法对图像深度估计网络进行初始化。首先，采 深度估计3个部分组成。首先，对Kinect传感器 用简单线性迭代聚类(simple linear iterative cluster- 采集到的斜坡RGB图像进行滤波和边缘提取，以 ing,SLIC)超像素分割方法将室内RGB图像划分 获得斜坡图像上下边缘像素点的坐标；其次，将 为多个超像素块；然后，通过全卷积网络(full con- 斜坡图像边缘像素点坐标由图像像素坐标系转换 volutional network,FCN)对室内RGB图像进行特 到相机坐标系中，得到边缘像素点的坐标；接着， 征提取，在此基础上，将图像像素点的深度估计 将斜坡图像边缘像素点坐标由图像像素坐标系转 问题转化为对图像超像素块的深度估计问题，并 换到相机坐标系中，得到斜坡真实长度1；最后， 采用超像素池化来获得图像超像素块的特征信需要的训练样本。Fu 等 [16] 基于空间和深度分辨 率的折衷提出了一种回归分类级联网络。梁煜等[17] 将全卷积网络、挤压−激励网络（squeeze-and-excit￾ation networks,SENet）、残差网络（residual neural network, ResNet）三者结合提出了一种多网络构成 的编码器解码器结构，提高了单帧图像深度估计 的精度。此外，还有研究者通过设计新的损失函 数 [10, 18-19] ，在保证深度估计精度的同时，提高了估 计的实时性。 综上，已有的单幅图像深度估计方法可以获 得比较精确的深度估计结果，然而其需要大量的 图像数据集，仍不能很好地解决室外单幅图像深 度估计中训练数据有限且深度估计精度不理想的 问题，基于此，受迁移学习在计算机视觉、机器学 习等领域的成功应用，本文提出了一种基于迁移 学习的室外单帧图像深度估计方法，旨在能够在 节省训练样本的同时提高深度估计结果的精确 度，在此基础上进一步提出了一种改进的移动机 器人坡度检测算法，能够根据移动机器人车载相 机采集的单帧斜坡 RGB 图像就可估计出精确的 斜坡角度。 本文的主要贡献如下： 1) 提出了一种基于迁移学习的室外单帧图像 深度估计方法，不仅在室外图像标准数据集上取 得了精确的深度估计结果，而且对于实际拍摄的 室外单帧图像也能进行准确的深度估计； 2) 将基于迁移学习的室外单帧图像深度估计 方法与基于视觉的机器人坡度检测方法相结合，提 出了一种改进的移动机器人单帧图像坡度检测算 法，能够仅根据移动机器人车载相机采集的单帧斜 坡 RGB 图像就可估计出精确的斜坡角度，满足移 动机器人在未知环境中对坡度感知精度的要求。 2 基于迁移学习的移动机器人单帧 图像坡度检测算法原理 2.1 算法整体框架 l 本文提出的基于迁移学习的移动机器人单帧 图像坡度检测算法整体如图 1 所示，主要由斜坡 边缘提取、斜坡边缘像素点坐标转换和斜坡图像 深度估计 3 个部分组成。首先，对 Kinect 传感器 采集到的斜坡 RGB 图像进行滤波和边缘提取，以 获得斜坡图像上下边缘像素点的坐标；其次，将 斜坡图像边缘像素点坐标由图像像素坐标系转换 到相机坐标系中，得到边缘像素点的坐标；接着， 将斜坡图像边缘像素点坐标由图像像素坐标系转 换到相机坐标系中，得到斜坡真实长度 ；最后， a θ =arccos(a/l) 通过基于迁移学习的室外单帧图像深度估计网络 对斜坡图像进行深度估计，得到斜坡上下边缘像 素点的深度值，作差得到斜坡投影长度 ，再通过 反余弦函数便可得到斜坡角度 。其 中，如何根据单帧斜坡 RGB 图像估计出斜坡上下 边缘像素点的深度值，是获得精确的斜波角度估 计值的关键，本文中该值可通过所设计的深度估 计网络获得。下面详细介绍本文所提出的基于迁 移学习的室外单帧图像深度估计算法基本原理。 ... ... 深度估计网络 斜坡深 度图像 边缘像 素深度 斜坡 投影 长度 a 斜坡估 计角度 θ 坡面 长度 l 坐标转换 边缘锐化图像 边缘提取 斜坡 RGB 图像 图 1 坡度检测算法 Fig. 1 General framework of slope detection algorithm 2.2 基于迁移学习的室外单帧图像深度估计算 法基本原理 本文提出的基于迁移学习的室外单帧图像深 度估计算法如图 2 所示，主要由室内图像深度估 计和参数迁移 2 部分组成。首先，采用室内图像 语义分割数据集 (NYU depth dataset V2, NYU-D V2) 对室内图像深度估计网络进行训练，得到 DCNF-FCSP 室内图像深度估计网络模型；然后， 将该网络模型中前 5 个图像特征提取层的网络参 数迁移至室外图像深度估计网络中；最后，固定 迁移至室外图像深度估计网络的图像特征提取网 络参数，利用 Make 3D 室外图像数据集对剩余的 2 个卷积层和 3 个全连接层的网络参数进行训 练，从而得到室外单帧图像深度估计网络。 下面详细介绍基于迁移学习的室外图像深度 估计方法的具体实现原理，包括室内图像深度估 计和基于迁移学习的单帧图像深度估计。 2.2.1 室内图像深度估计 本文借鉴文献 [12] 提出的室内图像深度估计 方法对图像深度估计网络进行初始化。首先，采 用简单线性迭代聚类 (simple linear iterative cluster￾ing, SLIC) 超像素分割方法将室内 RGB 图像划分 为多个超像素块；然后，通过全卷积网络 (full con￾volutional network, FCN) 对室内 RGB 图像进行特 征提取，在此基础上，将图像像素点的深度估计 问题转化为对图像超像素块的深度估计问题，并 采用超像素池化来获得图像超像素块的特征信 第 1 期 辛菁，等：基于迁移学习的移动机器人单帧图像坡度检测算法 ·83·