·430· 智能系统学报 第16卷 连接层，所以该种分辨率网络仍然可以输出想要 的Ghost模块使得网络的参数量得到了大幅度的 的结果。 减少，甚至小于yolov3tiny和yolo nano这2个轻 3.4实验结果及分析 量级目标检测网络。与此同时，网络的运行时间 本实验首先验证多图拼接训练窗户的可行 也被大幅度缩短，可以满足在嵌入式设备上实时 性。使用2种不同的数据增强方式训练数据集， 检测的需求。从表3中还可以看出，改进的Cen- 并且分别在完整窗户和局部窗户的测试集上进行 ter-Net网络的精度没有因为网络结构的简化而大 验证，使用mAP(mean average precision)作为算法 幅度降低，虽然其mAP值由原始网络的89.3%降 的评估指标，对比结果如表2所示。 低为88.7%，但是对比yolov3-tiny和yolo-nano网 表2使用不同数据增强方式训练的结果对比 络mAP指标仍然有极大的提升。说明Ghost模 Table 2 Comparison of training results using different 块和SE模块可以让网络变得更加高效，并且An- data enhancement methods chor-free这种思想的目标检测网络可以非常好地 预处理方式 完整窗户mAP 局部窗户mAP 处理室内窗户目标检测问题，检测效果如图7所 使用多图拼接 0.937 0.835 示。从图7中可以看出，无论是整体窗户还是局 未使用多图拼接 0.855 0.623 部窗户，都得到了准确的检测。 通过表2，可以看出使用多图拼接的方式对 训练集进行增强之后无论是完整窗户检测还是局 部的窗户检测其mAP值都得到了大幅度的提升， 其主要原因在于图像拼接可以使得训练集中的正 样本数量得到提升，这样可以缓解其正负样本不 平衡的问题，并且使用随机拼接的方式大大增强 了训练数据集的多样性，很大程度上抑制了由于 训练数据集相对较少而导致的过拟合问题。其中 局部窗户检测的mAP值得到了更大的提升，原因 图7改进的Center-Net检测效果 是数据拼接使得网络在训练的过程中可以遇到大 Fig.7 Improved Center-Net detection renderings 批量局部窗户的影像，并且随机裁剪的方式也使 得局部窗户的多样性大幅度地提升。因此使用该 4结束语 种数据增强的方式可以让网络更好地学习完整和 针对室内窗户检测的问题，本文为自主喷涂 局部窗户的特征，以此更好地解决室内窗户识别 机器人设计了一种基于深度学习的窗户检测算 的问题。 法。主要借鉴了Center--Net的思想，将其特征提 本实验还使用上述数据增强的方式分别对 取层进行简化，使用更加高效的卷积模块代替原 Center--Net、yolov3-tiny、yolo-nano以及本文改进的 始的卷积模块，并且引入注意力机制使得所提取 Center-.Net进行了训练，得到的不同网络之间mAP 的特征更有针对性。通过在实际场景中的验证， 值、运行时间和参数量的对比，如表3所示。 该网络可以很好地解决室内窗户检查的问题，具 表3不同检测网络性能对比 有广阔的应用前景。由于室内喷涂机器人在进行 Table 3 Performance comparison of different detection networks 窗户检查的时候主要是对视频的分析，而本文算 法并未考虑视频的时序信息，所以接下来的研究 网络类型 mAP 时间s 参数量×10 方向是根据视频中窗户的连续性等特点，结合时 Yolov3_tiny 0.732 0.056 8667 间信息进一步降低算法运算的时间成本，使得算 Yolo nano 0.753 0.045 2848 法的性能再次得到提升。 Center Net 0.893 0.954 16373 参考文献： Center Neti改进 0.887 0.088 2669 [1]沈乐，李桂清，洗楚华，等.室内3D点云模型的门窗检 从测试结果可以看出，由于原始的Center- 测[.计算机辅助设计与图形学学报，2019,31(9)： Net具有复杂的特征网络，其参数量巨大，而改进 1494-1501. 的Center-Net网络，通过对特征提取网络的简化， SHEN Le,LI Guiqing,XIAN Chuhua,et al.Door and win- 以及将剩余的普通卷积模块替换成为更加高效 dow detection in 3D point cloud of indoor scenes[J].Journ-连接层，所以该种分辨率网络仍然可以输出想要 的结果。 3.4 实验结果及分析 本实验首先验证多图拼接训练窗户的可行 性。使用 2 种不同的数据增强方式训练数据集， 并且分别在完整窗户和局部窗户的测试集上进行 验证，使用 mAP(mean average precision) 作为算法 的评估指标，对比结果如表 2 所示。 表 2 使用不同数据增强方式训练的结果对比 Table 2 Comparison of training results using different data enhancement methods 预处理方式 完整窗户mAP 局部窗户mAP 使用多图拼接 0.937 0.835 未使用多图拼接 0.855 0.623 通过表 2，可以看出使用多图拼接的方式对 训练集进行增强之后无论是完整窗户检测还是局 部的窗户检测其 mAP 值都得到了大幅度的提升， 其主要原因在于图像拼接可以使得训练集中的正 样本数量得到提升，这样可以缓解其正负样本不 平衡的问题，并且使用随机拼接的方式大大增强 了训练数据集的多样性，很大程度上抑制了由于 训练数据集相对较少而导致的过拟合问题。其中 局部窗户检测的 mAP 值得到了更大的提升，原因 是数据拼接使得网络在训练的过程中可以遇到大 批量局部窗户的影像，并且随机裁剪的方式也使 得局部窗户的多样性大幅度地提升。因此使用该 种数据增强的方式可以让网络更好地学习完整和 局部窗户的特征，以此更好地解决室内窗户识别 的问题。 本实验还使用上述数据增强的方式分别对 Center-Net、yolov3-tiny、yolo-nano 以及本文改进的 Center-Net 进行了训练，得到的不同网络之间 mAP 值、运行时间和参数量的对比，如表 3 所示。 表 3 不同检测网络性能对比 Table 3 Performance comparison of different detection networks 网络类型 mAP 时间/s 参数量×106 Yolov3_tiny 0.732 0.056 8 667 Yolo_nano 0.753 0.045 2 848 Center_Net 0.893 0.954 16 373 Center_Net改进 0.887 0.088 2 669 从测试结果可以看出，由于原始的 Center￾Net 具有复杂的特征网络，其参数量巨大，而改进 的 Center-Net 网络，通过对特征提取网络的简化， 以及将剩余的普通卷积模块替换成为更加高效 的 Ghost 模块使得网络的参数量得到了大幅度的 减少，甚至小于 yolov3_tiny 和 yolo_nano 这 2 个轻 量级目标检测网络。与此同时，网络的运行时间 也被大幅度缩短，可以满足在嵌入式设备上实时 检测的需求。从表 3 中还可以看出，改进的 Cen￾ter-Net 网络的精度没有因为网络结构的简化而大 幅度降低，虽然其 mAP 值由原始网络的 89.3% 降 低为 88.7%，但是对比 yolov3-tiny 和 yolo-nano 网 络 mAP 指标仍然有极大的提升。说明 Ghost 模 块和 SE 模块可以让网络变得更加高效，并且 An￾chor-free 这种思想的目标检测网络可以非常好地 处理室内窗户目标检测问题，检测效果如图 7 所 示。从图 7 中可以看出，无论是整体窗户还是局 部窗户，都得到了准确的检测。 图 7 改进的 Center-Net 检测效果 Fig. 7 Improved Center-Net detection renderings 4 结束语 针对室内窗户检测的问题，本文为自主喷涂 机器人设计了一种基于深度学习的窗户检测算 法。主要借鉴了 Center-Net 的思想，将其特征提 取层进行简化，使用更加高效的卷积模块代替原 始的卷积模块，并且引入注意力机制使得所提取 的特征更有针对性。通过在实际场景中的验证， 该网络可以很好地解决室内窗户检查的问题，具 有广阔的应用前景。由于室内喷涂机器人在进行 窗户检查的时候主要是对视频的分析，而本文算 法并未考虑视频的时序信息，所以接下来的研究 方向是根据视频中窗户的连续性等特点，结合时 间信息进一步降低算法运算的时间成本，使得算 法的性能再次得到提升。 参考文献： 沈乐, 李桂清, 冼楚华, 等. 室内 3D 点云模型的门窗检 测 [J]. 计算机辅助设计与图形学学报, 2019, 31(9): 1494–1501. SHEN Le, LI Guiqing, XIAN Chuhua, et al. Door and win￾dow detection in 3D point cloud of indoor scenes[J]. Journ- [1] ·430· 智 能 系 统 学 报 第 16 卷