·676· 智能系统学报 第16卷 在模型训练阶段，首先利用SURF进行关键 为二进制特征向量。 点检测并构造局部图片，基于下文所述的距离传 两个二进制向量之间的海明距离可以用下式 播损失函数以及二值化表示熵损失函数交替训练 进行计算： 鉴别器D及生成器G,利用训练好的二进制生成 dH(b,b)=A-(b,Tb+(b,-1)(b-1) (3) 对抗网络的鉴别器D提取无监督二进制描述符， 式中：A是二进制特征向量的维度，因此可以用点 并基于BoVW方法构建词汇树。在回环检测阶 积反映两个二进制特征向量之间的距离关系，令： 段，将实时获取的图像帧进行同样的关键点检测 并构造局部图片，利用已训练好的模型提取当前 Dotb,=b:'b,+(b-1)T(b,-1) (4) 帧图片的无监督二进制描述符，与现有词汇树进 Dotb,越大，则二进制向量b,、b,之间距离越 行比较以判断是否存在回环；当系统在大规模开 相近，反之亦然。因此本文将提出的用于回环检 放场景下运行，可以根据需要更新词汇树，以提 测问题的距离传播损失函数定义为 高所述方法的适应性。 Do 2.2构造局部图片 N(N-1) M 本研究属于基于局部特征的回环检测方法。 式中：N是一个batch的大小；Dot为高维特征空 为获取图像的局部特征，首先将数据集中的全局 间中二进制特征表示b,与b,之间的点积值，同理 图片进行分割以获取所需的局部图片。对于数据 Do,则表示低维特征空间二进制特征表示之间 集中的每一张图片，本文利用SURF描述符检测 的点积值。同时，为了使高维特征空间与低维特 关键点，将接近图片边缘的关键点丢弃后，以剩 征空间中二进制特征表示之间的海明距离具有可 余每个关键点为中心构建尺寸为32×32的局部图 比性，需要对点积值进行归一化处理。 片。图2为SURF关键点的检测和构造局部图片 在利用深度学习进行特征提取时，为了获得 的示意图。下文将介绍如何利用这些局部图片对 好的特征表达，一般会提取高维空间的特征描述 模型进行无监督训练。 子，虽然这样得到的特征向量表现较好，但是其 维度过大，会占用过多的存储空间及计算资源。 ■■里 通过使用距离传播损失函数LD,可以得到低维且 32×32 区分度高的二进制特征向量，就可以在好的特征 全局图片 提取特征点 剔除边缘点 局部图片 表达和高效的计算效率之间求取平衡。 图2局部图片的构造 2.4二值化表示熵损失函数 Fig.2 Local image patch construction 相比于高维特征描述子，低维特征描述子不 2.3距离传播损失函数 可避免地会面临信息的损失，因此为了进一步提 为了获得低维且区分度高的无监督二进制描 高低维特征空间中二进制特征表示的信息多样 述符，本文在GAN的鉴别器中加入了距离传播 性，本文利用了二值化表示熵损失函数LE,这一 损失函数LDP。该损失函数的作用在于将高维特 损失函数在文献[18]中被提出，它由边缘嫡 征空间中的关系映射到低维空间，也就是说，在 LMe(marginal entropy)及激话相关Lac(activation 鉴别器D的高维特征空间和低维特征空间之间 correlation)两部分组成： 传播海明距离，使这两层之间具有相似的距离关 LBRE LME LAC (6) 系。为了达到这个目标，需要迫使鉴别器D的高 LBRE通过最大化联合熵降低低维特征空间中 维特征空间和低维特征空间的输出具有相似的归 特征向量之间的联系，以增加其多样性。利用二 化点积结果。 值化表示熵损失函数LBE可以提高特征描述符的 假设L(x)表示鉴别器D中神经元个数为 区分度，从而增强鉴别器对于真实数据以及虚假 K的低维中间层，H(x)表示神经元个数为M的高 数据的区分能力。如此一来，利用连接鉴别器与 维中间层。为了将特征空间中连续的特征向量转 生成器的损失函数则可以提高生成器对于潜在样 化为相应的二进制特征向量b、b,本文使用以下 本分布的估计能力。对视觉回环检测而言，使用 激活函数叨： 二值化表示熵损失函数LE不仅可以使得鉴别器 BAF(x)=E(s(x)-0.5) (2) 输出高区分度的二进制描述符提高模型在回环检 式中：s()为阶跃函数，s(x)为sigmoid函数。利用 测阶段的性能，而且可以加快无监督学习进程使 该激活函数可将处于[0,1]的连续特征向量转换 得模型收敛更快。在模型训练阶段，首先利用 SURF 进行关键 点检测并构造局部图片，基于下文所述的距离传 播损失函数以及二值化表示熵损失函数交替训练 鉴别器 D 及生成器 G，利用训练好的二进制生成 对抗网络的鉴别器 D 提取无监督二进制描述符， 并基于 BoVW 方法构建词汇树。在回环检测阶 段，将实时获取的图像帧进行同样的关键点检测 并构造局部图片，利用已训练好的模型提取当前 帧图片的无监督二进制描述符，与现有词汇树进 行比较以判断是否存在回环；当系统在大规模开 放场景下运行，可以根据需要更新词汇树，以提 高所述方法的适应性。 2.2 构造局部图片 本研究属于基于局部特征的回环检测方法。 为获取图像的局部特征，首先将数据集中的全局 图片进行分割以获取所需的局部图片。对于数据 集中的每一张图片，本文利用 SURF 描述符检测 关键点，将接近图片边缘的关键点丢弃后，以剩 余每个关键点为中心构建尺寸为 32×32 的局部图 片。图 2 为 SURF 关键点的检测和构造局部图片 的示意图。下文将介绍如何利用这些局部图片对 模型进行无监督训练。 全局图片 提取特征点 剔除边缘点 局部图片 32×32 图 2 局部图片的构造 Fig. 2 Local image patch construction 2.3 距离传播损失函数 为了获得低维且区分度高的无监督二进制描 述符，本文在 GAN 的鉴别器中加入了距离传播 损失函数 LDP。该损失函数的作用在于将高维特 征空间中的关系映射到低维空间，也就是说，在 鉴别器 D 的高维特征空间和低维特征空间之间 传播海明距离，使这两层之间具有相似的距离关 系。为了达到这个目标，需要迫使鉴别器 D 的高 维特征空间和低维特征空间的输出具有相似的归 一化点积结果。 假设 L( x ) 表示鉴别器 D 中神经元个数为 K 的低维中间层, H(x) 表示神经元个数为 M 的高 维中间层。为了将特征空间中连续的特征向量转 化为相应的二进制特征向量 bL、bH，本文使用以下 激活函数[17] ： BAF(x) = ε(s(x)−0.5) (2) 式中：ε(·) 为阶跃函数， s(x) 为 sigmoid 函数。利用 该激活函数可将处于 [0,1] 的连续特征向量转换 为二进制特征向量。 两个二进制向量之间的海明距离可以用下式 进行计算： dH ( bi , bj ) = A− ( bi T bj +(bi −1) T ( bj −1 ) ) (3) 式中：A 是二进制特征向量的维度，因此可以用点 积反映两个二进制特征向量之间的距离关系，令： Dotbi,bj = bi T bj +(bi −1) T ( bj −1 ) (4) Dotbi,bj 越大，则二进制向量 bi、bj 之间距离越 相近，反之亦然。因此本文将提出的用于回环检 测问题的距离传播损失函数定义为 LDP = 1 N (N −1) ∑N i, j=1,i,j        DotH i, j M − DotL i, j K        (5) DotH i, j DotL i, j 式中：N 是一个 batch 的大小； 为高维特征空 间中二进制特征表示 bi 与 bj 之间的点积值，同理 则表示低维特征空间二进制特征表示之间 的点积值。同时，为了使高维特征空间与低维特 征空间中二进制特征表示之间的海明距离具有可 比性，需要对点积值进行归一化处理。 在利用深度学习进行特征提取时，为了获得 好的特征表达，一般会提取高维空间的特征描述 子，虽然这样得到的特征向量表现较好，但是其 维度过大，会占用过多的存储空间及计算资源。 通过使用距离传播损失函数 LDP，可以得到低维且 区分度高的二进制特征向量，就可以在好的特征 表达和高效的计算效率之间求取平衡。 2.4 二值化表示熵损失函数 相比于高维特征描述子，低维特征描述子不 可避免地会面临信息的损失，因此为了进一步提 高低维特征空间中二进制特征表示的信息多样 性，本文利用了二值化表示熵损失函数 LBRE，这一 损失函数在文 献 [ 1 8 ] 中被提出，它由边缘 熵 LME(marginal entropy) 及激活相关 LAC(activation correlation) 两部分组成： LBRE = LME + LAC (6) LBRE 通过最大化联合熵降低低维特征空间中 特征向量之间的联系，以增加其多样性。利用二 值化表示熵损失函数 LBRE 可以提高特征描述符的 区分度，从而增强鉴别器对于真实数据以及虚假 数据的区分能力。如此一来，利用连接鉴别器与 生成器的损失函数则可以提高生成器对于潜在样 本分布的估计能力。对视觉回环检测而言，使用 二值化表示熵损失函数 LBRE 不仅可以使得鉴别器 输出高区分度的二进制描述符提高模型在回环检 测阶段的性能，而且可以加快无监督学习进程使 得模型收敛更快。 ·676· 智 能 系 统 学 报 第 16 卷