第1期 辛菁，等：基于迁移学习的移动机器人单帧图像坡度检测算法 ·85· 开始引入超像素块的概念，所以可以认为前5层 而网络后2个卷积层和3个全连接层主要是针对 卷积层所提取到的特征在源域与目标域中共用， 目标任务进行精细计算。 convl 1+Relu conv2 1+Relu conv3 I+Relu conv4 1+Relu conv5 1+Relu convl 2+Relu conv2 2+Relu conv3 2+Relu conv4 2+Relu conv5 2+Relu conv3 3+Relu conv4 3+Relu conv5 3+Relu pool 11 pool 12 pool 13 pool 14 pool 15 cony I conv 2 conv 3 conv 4 cony 5 卷积层1 卷积层2 卷积层3 卷积层4 卷积层5 conv7 1+Relu conv6 1+Relu 损失项 conv7 2+Relu sp-poolingg conv6 2+Relu 超像素池化 conv 6 卷积层7 卷积层6 图3室外图像深度估计特征提取部分网络结构 Fig.3 Network structure of feature extraction for outdoor image depth estimation 本文将DCNF-FCSP室内图像深度估计网络 层的输入，结合室外图像深度估计标准数据集 中前5层图像特征提取的网络参数迁移至室外图 Make3D对后面的网络层进行训练并更新参数，来 像深度估计网络中以完成室外图像的特征提取， 获取最终的图像深度的估计值。采用CRF参数 如图4所示。 优化的形式构建室外图像深度估计网络的损失函 室内图像深度估计数据集种类较多，且数据 数2训，能够在考虑预测深度值与实际深度值之间 量充足，因而提取到的图像特征较为丰富，可以 关系的基础上，利用输人图像邻域超像素块之间的 弥补由于室外图像数据集不足而导致特征提取不 相似性信息来对图像深度估计值进行平滑处理， 完备的缺陷。将室外图像提取特征作为其后网络 进而得到输入图像更加准确的像素点深度估计值。 室内图像深度估计网路 室外图像深度估计网络 深度估计部分 参数0小 标签数据 中 微调 卷积 卷积 卷积 卷积卷积 卷积卷积卷积卷积 卷积 卷积层7 全连接 层1 层2层3 层4层5 层1层2层3层4 层5 特征提取部分 图4基于迁移学习的深度估计网络结构 Fig.4 Network structure of depth estimation based on transfer learning 3实验研究 计网络进行测试。最后采用3种图像深度估计评 估标准对所提出的室外图像深度估计方法的性能 本部分进行了2组实验分别用来验证本文所 进行评估。 提出的室外单帧图像深度估计算法和移动机器人 本文采用的3种图像深度估计评估标准定义为 单帧图像坡度检测算法的有效性。 1)平均相对误差(mean relative error,MRE), 3.1基于迁移学习的室外单帧图像深度估计实验 主要反映估计值的可信程度，计算公式为 本实验的目的是为了验证所提出的室外图像 深度估计方法的有效性与优越性。采用室外图像 MRE 1-dol (3) 深度估计标准数据集Make3D对网络模型进行训 d 练与测试，并通过实际拍摄的室外图像对深度估 2)均方根误差(root-mean-square error,.RMSE)开始引入超像素块的概念，所以可以认为前 5 层 卷积层所提取到的特征在源域与目标域中共用， 而网络后 2 个卷积层和 3 个全连接层主要是针对 目标任务进行精细计算。 conv1_1+Relu conv1_2+Relu pool 11 conv 1 卷积层 1 conv 2 卷积层 2 conv 3 卷积层 3 conv 4 卷积层 4 conv 5 卷积层 5 conv 6 卷积层 6 conv 7 卷积层 7 conv2_1+Relu conv2_2+Relu pool 12 conv6_1+Relu conv6_2+Relu conv7_1+Relu conv7_2+Relu conv3_1+Relu conv3_2+Relu conv3_3+Relu pool 13 conv4_1+Relu conv4_2+Relu conv4_3+Relu pool 14 conv5_1+Relu conv5_2+Relu conv5_3+Relu pool 15 sp-poolingg 超像素池化 损失项 图 3 室外图像深度估计特征提取部分网络结构 Fig. 3 Network structure of feature extraction for outdoor image depth estimation 本文将 DCNF-FCSP 室内图像深度估计网络 中前 5 层图像特征提取的网络参数迁移至室外图 像深度估计网络中以完成室外图像的特征提取， 如图 4 所示。 室内图像深度估计数据集种类较多，且数据 量充足，因而提取到的图像特征较为丰富，可以 弥补由于室外图像数据集不足而导致特征提取不 完备的缺陷。将室外图像提取特征作为其后网络 层的输入，结合室外图像深度估计标准数据集 Make 3D 对后面的网络层进行训练并更新参数，来 获取最终的图像深度的估计值。采用 CRF 参数 优化的形式构建室外图像深度估计网络的损失函 数 [12, 21] ，能够在考虑预测深度值与实际深度值之间 关系的基础上，利用输入图像邻域超像素块之间的 相似性信息来对图像深度估计值进行平滑处理， 进而得到输入图像更加准确的像素点深度估计值。 标签数据 微调 深度估计部分 室外图像深度估计网络 卷积 层 1 卷积 层 2 卷积 层 3 卷积 层 4 卷积 层 5 卷 积 层 6 卷积层 7 室内图像深度估计网络 卷积 层 1 卷积 层 2 卷积 层3 卷积 层 4 卷积 层 5 参数 迁移 全连接 特征提取部分 图 4 基于迁移学习的深度估计网络结构 Fig. 4 Network structure of depth estimation based on transfer learning 3 实验研究 本部分进行了 2 组实验分别用来验证本文所 提出的室外单帧图像深度估计算法和移动机器人 单帧图像坡度检测算法的有效性。 3.1 基于迁移学习的室外单帧图像深度估计实验 本实验的目的是为了验证所提出的室外图像 深度估计方法的有效性与优越性。采用室外图像 深度估计标准数据集 Make 3D 对网络模型进行训 练与测试，并通过实际拍摄的室外图像对深度估 计网络进行测试。最后采用 3 种图像深度估计评 估标准对所提出的室外图像深度估计方法的性能 进行评估。 本文采用的 3 种图像深度估计评估标准定义为 1) 平均相对误差（mean relative error, MRE）， 主要反映估计值的可信程度，计算公式为 MRE = 1 N ∑N i=1   d gt p −dp    d gt p (3) 2) 均方根误差（root-mean-square error, RMSE） 第 1 期 辛菁，等：基于迁移学习的移动机器人单帧图像坡度检测算法 ·85·