·174 智能系统学报 第12卷 4)Group Saliency Coding。GSC可以看做SaC 觉词汇的隶属度。 的“软分配版本”，它把视觉词汇分成不同的组，局 exp(-B ll x;-b;ll 2) 部特征在不同组上得到不同的响应系数，图3描绘 KsA -,b∈g(x,Ksa) 了组显著编码的思想。 exp(-BIx,-bl) k=1 0 其他 (9) b max y=∑，x,-b,) (10) bb,b, 式中：g(x,K)表示距离局部特征x:最近的KA 个视觉词汇。 2)GSC_VLAD。GSC_VLAD编码是将GSC编 码中组显著性的思想加入到原始VLAD中来解决局 图3组显著编码 部特征向量与视觉词汇的隶属关系问题。GSC编码 Fig.3 Group saliency coding 中用显著性来表示局部特征向量与视觉词汇的隶属 度，同时显著性考虑到了不同视觉词汇之间的联系。 (5) (11) big(x;,k) (6) (()(x;),b;Eg(x;,k) (0,其他 ud)= (12) 0,其他 p(x)= 中(x:)= 艺x-Bl-1x-D Kcsc+1-k (7) （‖x:-bk:‖2-‖x:-bI2)(13) 式中：K表示共有K个组，u,)表示第k组的编码向 量，p)(x)表示第k组x:的显著系数， y=立4，x,-b) (14) g(c:,k)表示距离局部特征x,最近的k个视觉词汇。 式中：Kc表示有编码系数的视觉词汇的个数，即 5)VLAD。VLAD编码可以看作Fisher编码的 Ksc个视觉词汇会有响应系数。 简化版本，Fisher编码的详细描述请参考文献[1l], 3)SaC_VLAD。SaC中用显著系数作为编码系 本文不作介绍。VLAD是将局部特征与视觉词汇的 数，显著系数是指局部特征与离它最近的视觉词汇 差的总和作为最后的特征向量。，(y∈R)表示 和其他视觉词汇的距离的比值，显著系数考虑到了 第j个视觉词汇的VLAD编码向量。V= 不同视觉词汇之间的联系。将SaC与原始VLAD相 [v…v]T(v∈R)是VLAD编码的最 结合，使VLAD在编码过程中考虑不同视觉词汇之 终形式，表示整个图像的VLAD编码向量。 间潜在的联系。 y=∑正-b (8) p(r:), j=arg.min‖x:-bl2 uj= j=1.2,…,n 式中：NN(x,)=b,表示距离局部特征x,最近的视觉 \0 其他 词汇是b。 (15) 3改进的VLAD编码方法 觉(1x-b::-1天-b, 根据上一章节的介绍，我们发现原始的VLAD p(x:)= 存在硬分配难以准确描述局部特征向量与视觉词汇 名x-a1 隶属关系的问题。在这一章节中，提出3种新的 (16) VLAD编码方法，分别是SA_VLAD编码方法，GSC_ VLAD编码方法以及SaC_VLAD编码方法。 y=∑，x-b,) (17) i=1 1)SA_VLAD。SA_VLAD编码是将Soft-assigr- 式中：Ksc表示有Ksc个视觉词汇用来计算局部特 ment编码中解决局部特征与视觉词汇隶属关系的 征的显著系数。 方法加入到原始VLAD编码中。Sof-assignment编 算法1改进的VLAD编码方法 码中是用高斯核函数的值来表示局部特征向量与视 输入IxN=[x1x2…xv】是从图像中４） Ｇｒｏｕｐ Ｓａｌｉｅｎｃｙ Ｃｏｄｉｎｇ。 ＧＳＣ 可以看做 ＳａＣ 的“软分配版本”，它把视觉词汇分成不同的组，局 部特征在不同组上得到不同的响应系数，图 ３ 描绘 了组显著编码的思想。 图 ３ 组显著编码 Ｆｉｇ．３ Ｇｒｏｕｐ ｓａｌｉｅｎｃｙ ｃｏｄｉｎｇ ｕｉ ＝ ｍａｘ ｋ ＝ １，２，…，Ｋ ｕ (ｋ ) ｉ （５） ｕ (ｋ ) ｉｊ ＝ φ (ｋ ) ｘｉ ( ) ， ｂｊ ∈ ｇ(ｘｉ，ｋ) ０， 其他 { （６） φ (ｋ ) ｘｉ ( ) ＝ ∑ Ｋ＋１－ｋ ｔ ＝ １ ‖ｘｉ － 􀭹ｂ ｋ＋ｔ‖２ － ‖ｘｉ － 􀭹ｂｋ‖２ ( ) （７） 式中： Ｋ 表示共有 Ｋ 个组， ｕ (ｋ ) ｉ 表示第 ｋ 组的编码向 量， φ (ｋ ) ｘｉ ( ) 表 示 第 ｋ 组 ｘｉ 的 显 著 系 数， ｇ(ｘｉ，ｋ) 表示距离局部特征 ｘｉ 最近的 ｋ 个视觉词汇。 ５）ＶＬＡＤ。 ＶＬＡＤ 编码可以看作 Ｆｉｓｈｅｒ 编码的 简化版本，Ｆｉｓｈｅｒ 编码的详细描述请参考文献［１１］， 本文不作介绍。 ＶＬＡＤ 是将局部特征与视觉词汇的 差的总和作为最后的特征向量。 ｖｊ ｖｊ ∈ Ｒ ｄ ( ) 表示 第 ｊ 个 视 觉 词 汇 的 ＶＬＡＤ 编 码 向 量。 Ｖ ＝ ｖ Ｔ １ ｖ Ｔ ２ … ｖ Ｔ ｎ [ ] Ｔ ｖ ∈ Ｒ ｎｄ ( ) 是 ＶＬＡＤ 编 码 的 最 终形式，表示整个图像的 ＶＬＡＤ 编码向量。 ｖｊ ＝ ∑ｘｉ ：ＮＮ ｘｉ ( ) ＝ ｂｊ ｘｉ － ｂｊ （８） 式中： ＮＮ ｘｉ ( ) ＝ ｂｊ 表示距离局部特征 ｘｉ 最近的视觉 词汇是 ｂｊ 。 ３ 改进的 ＶＬＡＤ 编码方法 根据上一章节的介绍，我们发现原始的 ＶＬＡＤ 存在硬分配难以准确描述局部特征向量与视觉词汇 隶属关系的问题。 在这一章节中，提出 ３ 种新的 ＶＬＡＤ 编码方法，分别是 ＳＡ＿ＶＬＡＤ 编码方法，ＧＳＣ＿ ＶＬＡＤ 编码方法以及 ＳａＣ＿ＶＬＡＤ 编码方法。 １）ＳＡ＿ＶＬＡＤ。 ＳＡ＿ＶＬＡＤ 编码是将 Ｓｏｆｔ⁃ａｓｓｉｇｎ⁃ ｍｅｎｔ 编码中解决局部特征与视觉词汇隶属关系的 方法加入到原始 ＶＬＡＤ 编码中。 Ｓｏｆｔ⁃ａｓｓｉｇｎｍｅｎｔ 编 码中是用高斯核函数的值来表示局部特征向量与视 觉词汇的隶属度。 ｕｉｊ ＝ ｅｘｐ － β ‖ｘｉ － ｂｊ‖２ ( ) ∑ ＫＳＡ ｋ ＝ １ ｅｘｐ － β ‖ｘｉ － ｂｋ‖２ ( ) ， ｂｊ ∈ ｇ ｘｉ，ＫＳＡ ( ) ０， 其他 ì î í ï ïï ï ï （９） ｖｊ ＝ ∑ Ｎ ｉ ＝ １ ｕｉｊ ｘｉ － ｂｊ ( ) （１０） 式中： ｇ ｘｉ，ＫＳＡ ( ) 表示距离局部特征 ｘｉ 最近的 ＫＳＡ 个视觉词汇。 ２）ＧＳＣ＿ＶＬＡＤ。 ＧＳＣ＿ＶＬＡＤ 编码是将 ＧＳＣ 编 码中组显著性的思想加入到原始 ＶＬＡＤ 中来解决局 部特征向量与视觉词汇的隶属关系问题。 ＧＳＣ 编码 中用显著性来表示局部特征向量与视觉词汇的隶属 度，同时显著性考虑到了不同视觉词汇之间的联系。 ｕｉ ＝ ｍａｘ ｋ ＝ １，２，…，ＫＧＳＣ ｕ (ｋ ) ｉ （１１） ｕ (ｋ ) ｉｊ ＝ φ (ｋ ) ｘｉ ( ) ， ｂｊ ∈ ｇ(ｘｉ，ｋ) ０， 其他 { （１２） ϕ （ｋ） ｘｉ ( ) ＝ ∑ ＫＧＳＣ ＋１－ｋ ｔ ＝ １ ‖ｘｉ － 􀭹ｂｋ＋ｔ‖２ － ‖ｘｉ － 􀭹ｂｋ‖２ ( ) （１３） ｖｊ ＝ ∑ Ｎ ｉ ＝ １ ｕｉｊ ｘｉ － ｂｊ ( ) （１４） 式中： ＫＧＳＣ 表示有编码系数的视觉词汇的个数，即 ＫＧＳＣ 个视觉词汇会有响应系数。 ３）ＳａＣ＿ＶＬＡＤ。 ＳａＣ 中用显著系数作为编码系 数，显著系数是指局部特征与离它最近的视觉词汇 和其他视觉词汇的距离的比值，显著系数考虑到了 不同视觉词汇之间的联系。 将 ＳａＣ 与原始 ＶＬＡＤ 相 结合，使 ＶＬＡＤ 在编码过程中考虑不同视觉词汇之 间潜在的联系。 ｕｉｊ ＝ φ ｘｉ ( ) ， ｊ ＝ ａｒｇ ｍｉｎ ｊ ＝ １，２，…，ｎ ‖ｘｉ － ｂｊ‖２ ０， 其他 { （１５） φ ｘｉ ( ) ＝ ∑ ＫＳａＣ ｋ ＝ ２ ‖ｘｉ － 􀭹ｂ ｋ‖２ － ‖ｘｉ － 􀭹ｂ １‖２ ( ) ∑ Ｋ ｋ ＝ ２ ‖ｘｉ － 􀭹ｂｋ‖２ （１６） ｖｊ ＝ ∑ Ｎ ｉ ＝ １ ｕｉｊ ｘｉ － ｂｊ ( ) （１７） 式中： ＫＳａＣ 表示有 ＫＳａＣ 个视觉词汇用来计算局部特 征的显著系数。 算法 １ 改进的 ＶＬＡＤ 编码方法 输入 Ｉｄ×Ｎ ＝ ｘ１ ｘ２ … ｘＮ [ ] 是从图像中 ·１７４· 智 能 系 统 学 报 第 １２ 卷