·426· 智能系统学报 第16卷 就是必不可少的。室内窗户的检测有如下几个难 maximum suppression,.NMS)的方式进行筛选得到 点：)光照强度变化使得算法的准确性很容易受 最终的检测框。但是对于室内窗户检测而言，机 到影响：2)窗户透光属性的存在导致窗户外面的 器人所采集到的图片中窗户的数量比较少，会导 环境对窗户检测存在很大的干扰：3)喷涂过程中 致大量的anchor被NMS去除掉，使得网络效率 距离墙面很近时只能捕捉到窗户局部的影像。正 不高。而无锚框(Anchor--free)类型的网络则通 是因为上述问题的存在使得室内窗户检测变得更 过在特征图中直接检测目标的关键点，并回归出 加复杂。与此同时，在实际的机器人开发过程中， 目标所在的位置，极大地提升了网络的效率。An 机器人的成本、功耗都要在考虑的范围内。因此 chor-free类型具有代表性的网络包括Corner- 应用于喷涂机器人上的窗户检测算法必须要保证 Net、CornerNet-.Lite、Center-Netl、FCOS(fully 所使用传感器和处理器的成本与功耗符合实际的 convolutional one-stage object detection)l等。其 开发需求。因此开发一种实时高效的室内窗户检 中，Center--Net算法在识别速度和准确性上均具有 测算法对机器人的落地具有十分重要的意义。 非常好的效果，但是由于其复杂特征提取网络的 目前常用的窗户检测数据包括3D点云数据和 存在，很难应用于机器人所搭载的嵌入式设备上。 图像数据2，其中3D点云数据的获取需要搭载 本文设计一种基于深度学习的室内窗户检测 造价较为昂贵的双目相机或深度相机，考虑到图像 算法，引入Anchor-.free类型的Center--Net网络作 数据采集成本较低，因此基于图像数据的研究更 为基础网络，并对其网络结构进行改进，在不损 具有可行性。Ai等回使用多尺度小波对采集图像 失精度的情况下提升其检测速度，减少网络的参 进行表示，再将其输入到级联分类器中进行窗户检 数量，使其适用于喷涂机器人窗户检测的特定应 测：孔倩倩等通过对窗户进行轮廓分析筛选出符 用。本文的创新点是简化Center-Net原始特征提 合条件的轮廓，并利用最小生成树对所有矩形进行 取网络的结构，在提升速度的同时也防止由于参 合并以此确定窗户的位置：缪君等结合窗户的直 数量过多而导致过拟合的问题；将普通的卷积操 线特征、颜色特征和纹理特征使用分割技术提取 作替换成更加高效的Ghost模块16，以此进一步 完整的窗户。总体来说，目前的方法都是基于手工设 提升网络推理速度；在编码结构的最后一层引入 计的特征进行室内窗户检测，该种方式受环境的影 注意力机制，通过添加压缩激励模块(squeeze and 响较大，无法在喷涂机器人上得到很好的应用。 excitation block,SE-block)m来保证网络在有限的 而基于深度学习的方法因其适应性强，易于 参数量下尽可能表达重要信息。实验结果表明， 转换等特点已被应用到各个领域。针对目标检测 该网络即使在嵌入式设备上也可以满足其准确性 领域的深度学习方法无论是两阶段的Fast R- 和实时性的需求。 CNN(fast region-based convolutional neural 1 networks)51 Faster R-CNN(faster region-based con- Center-Net目标检测算法 volutional neural networks)SPP-Net(spatial pyram- Center-Net是Zhou等于2019年4月提出的 id pooling networks)m,还是单阶段的YOLO(you Anchor-free目标检测网络。算法框架如图I所 only look once)SSD(single shot multi-box detect- 示，将待检测目标中心视为关键点，然后再分别 or)9、Retina--Neto,都先预设大量不同尺度和横纵 对目标的长宽以及中心点的偏移量进行回归以此 比的锚框(anchor),再通过非极大值抑制(non- 完成目标检测任务。 关链点预测层 编码解码结构 输出尺寸：类别数×128×128 Resnet-18 DLA-34 Hourglass-104 中心点偏差回层 输出尺寸：2×128×128 输人尺寸：3x512×512 宽高回归层 输出 输出尺寸：256×128×128 金出尺可寸 2×128×128 图1 Center-Net算法框架 Fig.1 Center-Net algorithm framework就是必不可少的。室内窗户的检测有如下几个难 点：1) 光照强度变化使得算法的准确性很容易受 到影响；2) 窗户透光属性的存在导致窗户外面的 环境对窗户检测存在很大的干扰；3) 喷涂过程中 距离墙面很近时只能捕捉到窗户局部的影像。正 是因为上述问题的存在使得室内窗户检测变得更 加复杂。与此同时，在实际的机器人开发过程中， 机器人的成本、功耗都要在考虑的范围内。因此 应用于喷涂机器人上的窗户检测算法必须要保证 所使用传感器和处理器的成本与功耗符合实际的 开发需求。因此开发一种实时高效的室内窗户检 测算法对机器人的落地具有十分重要的意义。 目前常用的窗户检测数据包括 3D 点云数据[1] 和 图像数据[2-4] ，其中 3D 点云数据的获取需要搭载 造价较为昂贵的双目相机或深度相机，考虑到图像 数据采集成本较低，因此基于图像数据的研究更 具有可行性。Ali 等 [2] 使用多尺度小波对采集图像 进行表示，再将其输入到级联分类器中进行窗户检 测；孔倩倩等[3] 通过对窗户进行轮廓分析筛选出符 合条件的轮廓，并利用最小生成树对所有矩形进行 合并以此确定窗户的位置；缪君等[4] 结合窗户的直 线特征、颜色特征和纹理特征使用分割技术提取 完整的窗户。总体来说，目前的方法都是基于手工设 计的特征进行室内窗户检测，该种方式受环境的影 响较大，无法在喷涂机器人上得到很好的应用。 而基于深度学习的方法因其适应性强，易于 转换等特点已被应用到各个领域。针对目标检测 领域的深度学习方法无论是两阶段的 Fast R￾CNN(fast region-based convolutional neural networks)[5] 、Faster R-CNN(faster region-based con￾volutional neural networks)[6] 、SPP-Net(spatial pyram￾id pooling networks)[7] ，还是单阶段的 YOLO(you only look once)[8] 、SSD(single shot multi-box detect￾or)[9] 、Retina-Net[10] ，都先预设大量不同尺度和横纵 比的锚框 (anchor)，再通过非极大值抑制 (non￾maximum suppression, NMS) 的方式进行筛选得到 最终的检测框。但是对于室内窗户检测而言，机 器人所采集到的图片中窗户的数量比较少，会导 致大量的 anchor 被 NMS 去除掉，使得网络效率 不高。而无锚框 (Anchor-free)[11] 类型的网络则通 过在特征图中直接检测目标的关键点，并回归出 目标所在的位置，极大地提升了网络的效率。An￾chor-free 类型具有代表性的网络包括 Corner￾Net[12] 、CornerNet-Lite[13] 、Center-Net[14] 、FCOS(fully convolutional one-stage object detection)[15] 等。其 中，Center-Net 算法在识别速度和准确性上均具有 非常好的效果，但是由于其复杂特征提取网络的 存在，很难应用于机器人所搭载的嵌入式设备上。 本文设计一种基于深度学习的室内窗户检测 算法，引入 Anchor-free 类型的 Center-Net 网络作 为基础网络，并对其网络结构进行改进，在不损 失精度的情况下提升其检测速度，减少网络的参 数量，使其适用于喷涂机器人窗户检测的特定应 用。本文的创新点是简化 Center-Net 原始特征提 取网络的结构，在提升速度的同时也防止由于参 数量过多而导致过拟合的问题；将普通的卷积操 作替换成更加高效的 Ghost 模块[16] ，以此进一步 提升网络推理速度；在编码结构的最后一层引入 注意力机制，通过添加压缩激励模块 (squeeze and excitation block, SE-block)[17] 来保证网络在有限的 参数量下尽可能表达重要信息。实验结果表明， 该网络即使在嵌入式设备上也可以满足其准确性 和实时性的需求。 1 Center-Net 目标检测算法 Center-Net 是 Zhou 等于 2019 年 4 月提出的 Anchor-free 目标检测网络。算法框架如图 1 所 示，将待检测目标中心视为关键点，然后再分别 对目标的长宽以及中心点的偏移量进行回归以此 完成目标检测任务。 ... 编码解码结构 关键点预测层 中心点偏差回归层 宽高回归层 输入 输出 Resnet-18 DLA-34 Hourglass-104 输入尺寸: 3×512×512 输出尺寸: 256×128×128 输出尺寸: 类别数×128×128 输出尺寸: 2×128×128 输出尺寸: 2×128×128 图 1 Center-Net 算法框架 Fig. 1 Center-Net algorithm framework ·426· 智 能 系 统 学 报 第 16 卷