【机器学习】对抗样本三元组约束的度量学习算法

团购合买资源类别：文库，文档格式：PDF，文档页数：8，文件大小：4.35MB

第16卷第1期智能系统学报 Vol.16 No.1 2021年1月 CAAI Transactions on Intelligent Systems Jan.2021 D0:10.11992tis.202009050 对抗样本三元组约束的度量学习算法王鑫，郭鑫垚，魏巍2，梁吉业口 (1.山西大学计算机与信息技术学院，山西太原030006：2.山西大学计算智能与中文信息处理教育部重点实验室，山西太原030006) 摘要：针对已有三元组约束的度量学习算法大多利用先验知识构建约束，一定程度上制约了度量学习算法性能的问题，本文借鉴对抗训练中样本扰动的思想，在原始样本附近学习对抗样本以构造对抗三元组约束，基于对抗三元组和原始三元组约束构建了度量学习模型，提出了对抗样本三元组约束的度量学习算法(metric learn- ing algorithm with adversarial sample triples constraints,ASTCML)。实验结果表明，提出的算法既克服了已有固定约束方法受先验知识影响大的问题，也提高了分类精度，说明区分更加难以区分的三元组约束能够提升算法的性能。关键词：机器学习：度量学习；三元组约束：对抗训练；马氏距离；样本扰动：凸优化：梯度下降中图分类号：TP181文献标志码：A文章编号：1673-4785(2021)01-0030-08 中文引用格式：王鑫，郭鑫垚，魏巍，等.对抗样本三元组约束的度量学习算法.智能系统学报，2021,16(1)：30-37. 英文引用格式：WANG Xin,,GUO Xinyao,,WEI Wei,et al.Metric learning algorithm with adversarial sample triples constraints. CAAI transactions on intelligent systems,2021,16(1):30-37. Metric learning algorithm with adversarial sample triples constraints WANG Xin',GUO Xinyao',WEI Wei2,LIANG Jiye2 (1.School of Computer and Information Technology,Shanxi University,Taiyuan 030006,China;2.Key Laboratory of Computational Intelligence and Chinese Information Processing of Ministry of Education,Shanxi University,Taiyuan 030006,China) Abstract:Most of the existing metric learning algorithms with triple constraints use prior knowledge to construct con- straints,which restricts the performance of metric learning algorithms to a certain extent.To solve this problem,the met- ric learning algorithm with adversarial sample triple constraints,named ASTCML,is proposed based on the idea of sample perturbation in adversarial training,in which the adversarial sample is learned near the original sample to con- struct adversarial triple constraints.The metric learning model is constructed on the basis of adversarial triples and ori- ginal triples constraints.Experimental results show that the proposed algorithm overcomes the effect of prior knowledge that is problematic for existing fixed constraint methods and improves the classification accuracy.This shows that distin- guishing triple constraints that are more difficult to distinguish can improve the performance of the algorithm. Keywords:machine learning:metric learning;triplet constraints;adversarial training;Mahalanobis distance;sample perturbation:convex optimization:gradient descent 度量学习作为机器学习领域的重要分支，已在度量学习中，样本之间的相似性通常用马广泛应用于多个领域，如图像检索、目标检测刀、氏距离进行度量，即dw(x,x)=(c,-x)FMx,-x, 亲属关系验证⑧、音乐推荐四等，目的是学习数据其中M要求为半正定矩阵，以保证距离的有效间的相似性关系使相似样本间距离尽可能小，不性。Xig等o使用所有样本构成二元组约束，首相似样本间距离尽可能大o。次提出了关于马氏距离的度量学习算法，但当样本规模较大时，约束数量呈爆炸式增长，导致算收稿日期：2020-09-30. 基金项目：国家自然科学基金项目(62006147.61876103. 法效率降低。为了提高算法效率，Ying等u将 61772323)片山西省重点研发计划项目(201903D121162: 山西省1331工程项目. 学习度量的过程转化为特征值优化问题，提出基通信作者：魏巍.E-mail:weiwei(@sxu.edu.cn 于特征值优化的距离度量学习算法(distance met-

DOI: 10.11992/tis.202009050 对抗样本三元组约束的度量学习算法王鑫1 ，郭鑫垚1 ，魏巍1,2，梁吉业1,2 （1. 山西大学计算机与信息技术学院，山西太原 030006; 2. 山西大学计算智能与中文信息处理教育部重点实验室，山西太原 030006）摘要：针对已有三元组约束的度量学习算法大多利用先验知识构建约束，一定程度上制约了度量学习算法性能的问题，本文借鉴对抗训练中样本扰动的思想，在原始样本附近学习对抗样本以构造对抗三元组约束，基于对抗三元组和原始三元组约束构建了度量学习模型，提出了对抗样本三元组约束的度量学习算法 (metric learning algorithm with adversarial sample triples constraints，ASTCML)。实验结果表明，提出的算法既克服了已有固定约束方法受先验知识影响大的问题，也提高了分类精度，说明区分更加难以区分的三元组约束能够提升算法的性能。关键词：机器学习；度量学习；三元组约束；对抗训练；马氏距离；样本扰动；凸优化；梯度下降中图分类号：TP181 文献标志码：A 文章编号：1673−4785(2021)01−0030−08 中文引用格式：王鑫, 郭鑫垚, 魏巍, 等. 对抗样本三元组约束的度量学习算法 [J]. 智能系统学报, 2021, 16(1): 30–37. 英文引用格式：WANG Xin, GUO Xinyao, WEI Wei, et al. Metric learning algorithm with adversarial sample triples constraints[J]. CAAI transactions on intelligent systems, 2021, 16(1): 30–37. Metric learning algorithm with adversarial sample triples constraints WANG Xin1 ，GUO Xinyao1 ，WEI Wei1,2 ，LIANG Jiye1,2 (1. School of Computer and Information Technology, Shanxi University, Taiyuan 030006, China; 2. Key Laboratory of Computational Intelligence and Chinese Information Processing of Ministry of Education, Shanxi University, Taiyuan 030006, China) Abstract: Most of the existing metric learning algorithms with triple constraints use prior knowledge to construct constraints, which restricts the performance of metric learning algorithms to a certain extent. To solve this problem, the metric learning algorithm with adversarial sample triple constraints, named ASTCML, is proposed based on the idea of sample perturbation in adversarial training, in which the adversarial sample is learned near the original sample to construct adversarial triple constraints. The metric learning model is constructed on the basis of adversarial triples and original triples constraints. Experimental results show that the proposed algorithm overcomes the effect of prior knowledge that is problematic for existing fixed constraint methods and improves the classification accuracy. This shows that distinguishing triple constraints that are more difficult to distinguish can improve the performance of the algorithm. Keywords: machine learning; metric learning; triplet constraints; adversarial training; Mahalanobis distance; sample perturbation; convex optimization; gradient descent 度量学习作为机器学习领域的重要分支，已广泛应用于多个领域，如图像检索[1-4] 、目标检测[5-7] 、亲属关系验证[8] 、音乐推荐[9] 等，目的是学习数据间的相似性关系使相似样本间距离尽可能小，不相似样本间距离尽可能大[10]。 dM(xi , xj) = (xi − xj) TM(xi − xj) 在度量学习中，样本之间的相似性通常用马氏距离进行度量，即，其中 M 要求为半正定矩阵，以保证距离的有效性。Xing 等 [10] 使用所有样本构成二元组约束，首次提出了关于马氏距离的度量学习算法，但当样本规模较大时，约束数量呈爆炸式增长，导致算法效率降低。为了提高算法效率，Ying 等 [11] 将学习度量的过程转化为特征值优化问题，提出基于特征值优化的距离度量学习算法 (distance met- 收稿日期：2020−09−30. 基金项目：国家自然科学基金项目 (62006147， 61876103， 61772323)；山西省重点研发计划项目 (201903D121162)；山西省 1331 工程项目. 通信作者：魏巍. E-mail：weiwei@sxu.edu.cn. 第 16 卷第 1 期智能系统学报 Vol.16 No.1 2021 年 1 月 CAAI Transactions on Intelligent Systems Jan. 2021

第1期王鑫，等：对抗样本三元组约束的度量学习算法 ·31· ric learning witheigenvalue optimization,DML-eig), 优解。基于三元组约束的度量学习大都通过设置该算法每次迭代只关注最近的不相似样本。为减不同的损失函数来学习度量。少约束的规模，Davis等2随机选择二元组，提出基于三元组约束的度量学习通常依据先验知关于度量参数正则化的信息理论度量学习算法识，采用不同策略构建固定约束。随着迭代次数 (information-theoretic metric learning,ITML), 的增加，部分三元组在训练中不产生作用，于是，由于随机选择约束，该算法的结果不稳定；Za- 一些动态选择三元组的算法被提出。Mei等P提 deh等)随机选择约束，在相似样本与不相似样出了使用三元组的基于Logdet散度的度量学习本中使用不同的度量方法提出几何平均度量学习 (logdet divergence based metric learning with 算法(geometric mean metric learning,.GMML,该算 triplet constraints,.LDMLT),该算法在每次迭代中法存在闭式解，当样本规模较大时，随着迭代次选择有效的约束进行度量学习，降低了先验知识数的增加，部分样本对在训练中不产生作用。针对度量学习的影响，但是构成三元组约束的样本对该问题，Omara等提出了动态生成二元组的都是在原始样本中选择，不能充分利用数据蕴含算法。然而，当二元组样本间的相似性或相异性的三元约束。针对这一问题，研究人员将对抗训存在较大差异时，也将相同阈值应用于所有约练与度量学习进行结合，在度量学习中通过产生束。因此，Weinberger等s-1%基于样本与其最近对抗样本增强算法性能。Chen等P提出对抗度的同类样本间的距离和不同类样本之间尽可能以量学习算法(adversarial metric learning,AML),通一个间隔分开的原则，提出了大间隔近邻分类算过产生对抗样本对用于混淆学得的度量，提高度 (distancemetric learning for large margin nearest 量学习算法鲁棒性。 neighbor classification,,LMNN)。Yang等m将自适基于二元组约束的对抗度量学习受参数和样应地选择近邻个数引入到目标函数中，提出了自本对间相似性差异的影响，使得对所有二元组约适应大间隔近邻分类算法(adaptive large margin 束产生对抗样本对是很难实现的，而三元约束解 nearest neighborclassification algorithm.ALMNN), 决了样本对间差异性的问题，同时考虑类间样本但该算法受参数影响较大。Song等u利用特征和类内样本的关系，可以将三元约束与对抗训练空间中样本的几何信息对LMNN算法进行改进，进行结合。基于三元组约束的度量学习与对抗训提出了只关注距离最近的不同类样本对的无参大练进行结合的关键问题是如何生成对抗样本。本间隔最近邻度量学习算法(parameter free large 文借鉴对抗训练中样本扰动的思想，在原始样本 margin nearest neighbor for distance metric learning, 附近产生对抗样本以构建对抗三元组约束，提出 PFLMNN),该算法不需要调参，且考虑的约束相一种新的三元组约束的构造方法，并构建对抗样对较少。Lu等提出一种新的约束构建方法，本三元组约束的度量学习模型。本文的贡献主要有：依据样本的先验信息，针对所有目标样本，只选 1)通过在三元组中的入侵样本附近学习对抗与其同类距离远的样本及不同类距离近的样本生样本，构造了间隔更小的对抗样本三元组约束；成固定的三元组，该算法受先验知识影响较大。 2)构造的对抗样本学习优化模型具有闭式解： Capitaine2ol利用损失的加权选择约束，关注较难 3)实验结果表明提出算法的性能优于代表性区分的区域或类重叠区域，适用于小样本度量学的三元组度量学习算法。习。为了减少约束数量，Perrot等2提出回归虚 1 约束构建的相关算法拟度量学习算法(regressive virtual metric learning, RVML),该算法中每个样本逼近先验定义的虚拟 1.1三元组约束构建点，可以在线性时间内学习度量，但算法受数据三元组的构建是基于三元组约束的度量学习分布的影响。由于三元约束与支持向量机出发点关键问题之一。Lu等通过选择位于类边界的一致，都是采用大间隔思想，鉴于支持向量机样本构建三元组约束，提出了一种有效的三元组 (support vector machine,.SVM)成熟的求解方式，约束构建方法。该论文利用任意样本、与其欧氏 Wang等四提出了距离度量学习的一种核分类框距离最大的同类样本和与其欧氏距离最小的异类架，所提出的框架可以使用标准支持向量机样本构造三元组约束，并随机选择其中的一部分 (SVM)求解器有效地实现，但不能得到全局最优约束用于度量学习，这些约束一旦构造和选择将解。Zuo等P1将三元组约束形式用SVM表示，提在整个度量学习的过程中固定不变。然而，这些出了新的度量学习算法，该算法可以得到全局最基于欧氏距离构造并随机选择的三元组约束并不

ric learning witheigenvalue optimization, DML-eig)，该算法每次迭代只关注最近的不相似样本。为减少约束的规模，Davis 等 [12] 随机选择二元组，提出关于度量参数正则化的信息理论度量学习算法 (information-theoretic metric learning, ITML)，由于随机选择约束，该算法的结果不稳定；Zadeh 等 [13] 随机选择约束，在相似样本与不相似样本中使用不同的度量方法提出几何平均度量学习算法 (geometric mean metric learning, GMML)，该算法存在闭式解，当样本规模较大时，随着迭代次数的增加，部分样本对在训练中不产生作用。针对该问题，Omara 等 [14] 提出了动态生成二元组的算法。然而，当二元组样本间的相似性或相异性存在较大差异时，也将相同阈值应用于所有约束。因此，Weinberger 等 [15-16] 基于样本与其最近的同类样本间的距离和不同类样本之间尽可能以一个间隔分开的原则，提出了大间隔近邻分类算法 (distancemetric learning for large margin nearest neighbor classification, LMNN)。Yang 等 [17] 将自适应地选择近邻个数引入到目标函数中，提出了自适应大间隔近邻分类算法 (adaptive large margin nearest neighborclassification algorithm, ALMNN)，但该算法受参数影响较大。Song 等 [18] 利用特征空间中样本的几何信息对 LMNN 算法进行改进，提出了只关注距离最近的不同类样本对的无参大间隔最近邻度量学习算法 (parameter free large margin nearest neighbor for distance metric learning, PFLMNN)，该算法不需要调参，且考虑的约束相对较少。Liu 等 [19] 提出一种新的约束构建方法，依据样本的先验信息，针对所有目标样本，只选与其同类距离远的样本及不同类距离近的样本生成固定的三元组，该算法受先验知识影响较大。 Capitaine[20] 利用损失的加权选择约束，关注较难区分的区域或类重叠区域，适用于小样本度量学习。为了减少约束数量，Perrot 等 [21] 提出回归虚拟度量学习算法 (regressive virtual metric learning, RVML)，该算法中每个样本逼近先验定义的虚拟点，可以在线性时间内学习度量，但算法受数据分布的影响。由于三元约束与支持向量机出发点一致，都是采用大间隔思想，鉴于支持向量机 (support vector machine, SVM) 成熟的求解方式， Wang 等 [22] 提出了距离度量学习的一种核分类框架，所提出的框架可以使用标准支持向量机 (SVM) 求解器有效地实现，但不能得到全局最优解。Zuo 等 [23] 将三元组约束形式用 SVM 表示，提出了新的度量学习算法，该算法可以得到全局最优解。基于三元组约束的度量学习大都通过设置不同的损失函数来学习度量。基于三元组约束的度量学习通常依据先验知识，采用不同策略构建固定约束。随着迭代次数的增加，部分三元组在训练中不产生作用，于是，一些动态选择三元组的算法被提出。Mei 等 [24] 提出了使用三元组的基于 Logdet 散度的度量学习算法 (logdet divergence based metric learning with triplet constraints, LDMLT)，该算法在每次迭代中选择有效的约束进行度量学习，降低了先验知识对度量学习的影响，但是构成三元组约束的样本都是在原始样本中选择，不能充分利用数据蕴含的三元约束。针对这一问题，研究人员将对抗训练与度量学习进行结合，在度量学习中通过产生对抗样本增强算法性能。Chen 等 [25] 提出对抗度量学习算法 (adversarial metric learning, AML)，通过产生对抗样本对用于混淆学得的度量，提高度量学习算法鲁棒性。基于二元组约束的对抗度量学习受参数和样本对间相似性差异的影响，使得对所有二元组约束产生对抗样本对是很难实现的，而三元约束解决了样本对间差异性的问题，同时考虑类间样本和类内样本的关系，可以将三元约束与对抗训练进行结合。基于三元组约束的度量学习与对抗训练进行结合的关键问题是如何生成对抗样本。本文借鉴对抗训练中样本扰动的思想，在原始样本附近产生对抗样本以构建对抗三元组约束，提出一种新的三元组约束的构造方法，并构建对抗样本三元组约束的度量学习模型。本文的贡献主要有： 1) 通过在三元组中的入侵样本附近学习对抗样本，构造了间隔更小的对抗样本三元组约束； 2) 构造的对抗样本学习优化模型具有闭式解； 3) 实验结果表明提出算法的性能优于代表性的三元组度量学习算法。 1 约束构建的相关算法 1.1 三元组约束构建三元组的构建是基于三元组约束的度量学习关键问题之一。Liu 等 [19] 通过选择位于类边界的样本构建三元组约束，提出了一种有效的三元组约束构建方法。该论文利用任意样本、与其欧氏距离最大的同类样本和与其欧氏距离最小的异类样本构造三元组约束，并随机选择其中的一部分约束用于度量学习，这些约束一旦构造和选择将在整个度量学习的过程中固定不变。然而，这些基于欧氏距离构造并随机选择的三元组约束并不第 1 期王鑫，等：对抗样本三元组约束的度量学习算法 ·31·

·32· 智能系统学报第16卷能很好地指导不断更新的度量学习，制约了算法相对较近的对抗样本对来增强算法的鲁棒性。然的性能。为了解决这一问题，Mei等提出了一而，由于需要为每一个二元约束构建对抗样本对，种面向度量学习的三元组动态选择策略，使每次仅用单个参数来控制对抗样本的学习，使其参数难迭代都能有效地利用约束进行度量学习。该方法以调整，且构建的对抗样本对绝大多数是无效的。基于当前（第1次迭代）的马氏矩阵M,计算样本的距离矩阵和相似矩阵，根据当前度量下的近邻 2对抗样本三元组约束的度量学习与先验目标近邻的偏离程度定义了样本的混乱现有的方法基于欧氏距离构建三元组约束，度，并依据样本混乱度选择三元组约束，用于学并随机选择部分三元组约束用于度量学习。虽然习下一次(+1次)迭代时度量矩阵M+1。有一些方法提出了动态构造三元组约束的方法，尽管LDMLT算法在每次迭代时动态选择混但大多都是从数据中选择或强调部分约束，并没乱度高的约束，可以提升度量学习算法的性能，有构造新的约束，受对抗度量学习(AML)的启但并不能充分挖掘数据蕴含的相似性关系。发，本文提出一种三元对抗约束的构造方法。 12对抗度量学习 2.1模型构建对抗度量学习(AML)算法2基于对抗样本通过调整参数动态构建三元组，提出了对抗构造二元组约束，用于提高度量学习算法的鲁棒样三元组约束的度量学习算法(metric learning al-- 性。AML算法包括2个阶段：混淆阶段和区分阶 gorithm with adversarial sample triples constraints, 段。在混淆阶段，通过对每个约束的2个端点产 ASTCML)。算法分为2个阶段：对抗阶段和区分生样本扰动，即学习对抗样本对，不断放大或者阶段。缩小当前对抗样本的距离，使得在当前度量下该对抗阶段，生成对抗样本。初始三元组构建样本对难以区分，如图1所示。同类样本生成的参考文献[15]，针对每个样本x,选择与其距离最对抗样本对（即Ⅱs)的2个样本彼此相距甚远，其近的K个样本x,及不同类的所有样本x构成三描述对抗样本对为同类的极端情况。类似地，生元组。当(，x,x)三元组约束间的距离不满足约成的异类样本的2个对抗样本对（即Ⅱ。）变得非束关系dM(c,x)-dw(c,x)≥1时，样本x为人侵常相似，其描述了对抗样本对仍为异类的极端情样本，三元组(x,x,x)为违反约束关系的三元况。在区分阶段，实现学得的度量尽可能地区分组。对初始三元组中违反约束关系的三元组构建对抗样本对。对抗三元组，在入侵样本x的附近生成对抗样本 π，使(x,π)间的距离尽可能小，(x,x,π)之间更加难以区分，如图2所示。通过式()中的损失函数计算对抗样本。间隔为1 (a)相似样本的对抗对生成对抗样本目标样本样本 (b)不相似样本的对抗对生成图1对抗样本示意 Fig.1 Schematic illustration of adversarial samples 近邻样本图1中S为相似样本，D为不相似样本，Rs表图2对抗过程示意示相似样本对，Ⅱ表示相似样本对产生的对抗样 Fig.2 Schematic illustration of adversarial processes 本对，R。表示不相似样本对，Ⅱ。表示不相似样本 min∑dux,xa)+a∑dm(ra,x) (1) 对产生的对抗样本对。 (i.j.DEN (i.j.hEN AML算法通过对同类样本生成同类彼此相式中：W表示初始三元组中违反约束关系的三距甚远的对抗样本对，而异类样本生成异类彼此元组；α为调控因子，控制πH是否为对抗样本

Mt+1 能很好地指导不断更新的度量学习，制约了算法的性能。为了解决这一问题，Mei 等 [24] 提出了一种面向度量学习的三元组动态选择策略，使每次迭代都能有效地利用约束进行度量学习。该方法基于当前 (第 t 次迭代) 的马氏矩阵 Mt 计算样本的距离矩阵和相似矩阵，根据当前度量下的近邻与先验目标近邻的偏离程度定义了样本的混乱度，并依据样本混乱度选择三元组约束，用于学习下一次 (t+1 次) 迭代时度量矩阵。尽管 LDMLT 算法在每次迭代时动态选择混乱度高的约束，可以提升度量学习算法的性能，但并不能充分挖掘数据蕴含的相似性关系。 1.2 对抗度量学习 ΠS ΠD 对抗度量学习 (AML) 算法[25] 基于对抗样本构造二元组约束，用于提高度量学习算法的鲁棒性。AML 算法包括 2 个阶段：混淆阶段和区分阶段。在混淆阶段，通过对每个约束的 2 个端点产生样本扰动，即学习对抗样本对，不断放大或者缩小当前对抗样本的距离，使得在当前度量下该样本对难以区分，如图 1 所示。同类样本生成的对抗样本对 (即 ) 的 2 个样本彼此相距甚远，其描述对抗样本对为同类的极端情况。类似地，生成的异类样本的 2 个对抗样本对 (即 ) 变得非常相似，其描述了对抗样本对仍为异类的极端情况。在区分阶段，实现学得的度量尽可能地区分对抗样本对。 RD ΠD RS ΠS (a) 相似样本的对抗对生成 (b) 不相似样本的对抗对生成图 1 对抗样本示意 Fig. 1 Schematic illustration of adversarial samples ΠS ΠD 图 1 中 S 为相似样本，D 为不相似样本，RS 表示相似样本对，表示相似样本对产生的对抗样本对，RD 表示不相似样本对，表示不相似样本对产生的对抗样本对。 AML 算法通过对同类样本生成同类彼此相距甚远的对抗样本对，而异类样本生成异类彼此相对较近的对抗样本对来增强算法的鲁棒性。然而，由于需要为每一个二元约束构建对抗样本对，仅用单个参数来控制对抗样本的学习，使其参数难以调整，且构建的对抗样本对绝大多数是无效的。 2 对抗样本三元组约束的度量学习现有的方法基于欧氏距离构建三元组约束，并随机选择部分三元组约束用于度量学习。虽然有一些方法提出了动态构造三元组约束的方法，但大多都是从数据中选择或强调部分约束，并没有构造新的约束，受对抗度量学习 (AML) 的启发，本文提出一种三元对抗约束的构造方法。 2.1 模型构建通过调整参数动态构建三元组，提出了对抗样三元组约束的度量学习算法 (metric learning algorithm with adversarial sample triples constraints, ASTCML)。算法分为 2 个阶段：对抗阶段和区分阶段。 xi xj xl (xi , xj , xl) dM(xi , xl)− dM(xi , xj) ⩾ 1 xl (xi , xj , xl) xl πil (xi ,πil) (xi , xj ,πil) 对抗阶段，生成对抗样本。初始三元组构建参考文献 [15]，针对每个样本，选择与其距离最近的 K 个样本及不同类的所有样本构成三元组。当三元组约束间的距离不满足约束关系时，样本为入侵样本，三元组为违反约束关系的三元组。对初始三元组中违反约束关系的三元组构建对抗三元组，在入侵样本的附近生成对抗样本，使间的距离尽可能小，之间更加难以区分，如图 2 所示。通过式 (1) 中的损失函数计算对抗样本。间隔为1 入侵样本对抗样本目标样本近邻样本 xl xi xj πu 图 2 对抗过程示意 Fig. 2 Schematic illustration of adversarial processes min ∑ (i, j,l)∈N dM(xi ,πil)+α ∑ (i, j,l)∈N dM(πil, xl) (1) N α πil 式中：表示初始三元组中违反约束关系的三元组；为调控因子，控制是否为对抗样本。 ·32· 智能系统学报第 16 卷

第1期王鑫，等：对抗样本三元组约束的度量学习算法 ·33· 区分阶段，学到的度量尽可能区分对抗三元 (x:-x)x,-x)T,初始三元组中不相似样本间距离组。将生成的对抗样本代入初始违反约束关系的小于相似样本间距离[]+=1，反之[].=0。为三元组中，通过调整参数动态生成新的三元组。在新的三元组(cx,π)中，使相似样本(x,x)间了便于调整参数，令8=。详细过程如算法 1所示。距离尽可能小，相似样本与不相似样本之间以一算法1对抗样本三元组约束的度量学习算法。定的间隔分离开。引人非负的松弛变量，构建输入X:样本集；Y:样本标签集；B:调控参如式(2)所示的损失函数进行度量学习：数；4：权衡因子。 min1-m∑dux,x)+r∑∑1-yasn 输出M。 ij-i st.dm(c,πa)-du(x,x,)≥1-E≥0 (2) 初始化Mo=I。 M≥0 根据式(3)计算对抗样本，代入初始三元组中。式中：最小化损失函数中的前者表示近邻损失，迭代计算：后者表示三元组损失；“为权衡因子，调节近邻损 1)根据式（⑤）计算梯度G。失与三元组损失在损失函数中的比重；当= 2)更新梯度M+1=M,-AVG。时，H=1,否则，ya=0;第1约束条件为三元组约 3)将M+1进行分解，得到U,V,。束条件，使相似样本与不相似样本之间以一定的 4)M+1=UrVU。间隔分离开；第2约束条件m≥0表示违反了三 5)直到收敛。元组约束条件的间隔；第3约束条件M≥0以保假定样本个数为N,共有C类且每个类的样证距离的有效性。本数相同，B和4的取值个数分别为p和q,t为 2.2优化问题求解迭代次数。由式(2)构建的三元组约束个数大致该模型的目标函数是一个凸优化问题，可以为KW2(1-1/C),并计算每个三元组约束间的距利用梯度下降方式进行求解。根据式(1)可以得离，对违反约束的三元组进行梯度下降。为取得到对抗样本的闭式解：较高的分类精度，选取合适的B和μ值进行分 =+a分i0eN 1 类，算法所需次数为2 pqtKN2(1-1/C)。所以算法 (3) 1的时间复杂度为ON2)。将对抗样本代入违反约束的初始三元组中。区分阶段的损失函数也可以表示为 3实验分析 L=(1-四)dwx,x)+ 本节在12个数据集上（如表1所示），对提出 μ∑∑1-yal+dm(xx-dnl, 的ASTCML算法与目前几个代表性算法进行比 (4) 较，并分析了实验中参数的灵敏度与提出算法的利用式(4)得到M的梯度：收敛性。 aL -I-w2X 3.1实验数据与设计本文提出的ASTCML算法与与K近邻算法 “-《÷广-1+小x (5) (K-nearest neighbor,KNN)、ITML算法2] GMML算法BI、LMNN算法I、PFLMNN算法I 式中：了表示以对抗样本构成的三元组中违反约 RVML算法P、LDMLT算法P和AML算法2进束条件间隔的三元组；=(x:一xx:-),xH= 行了对比。表1 数据描述 Table 1 Data sets description Balance Dermatology Diabetes German lonosphere Wine Zoo Segment Waveform-21 Corel_5k Satellite Wilt 样本数 625 366 768 1000 351 178101 2310 2746 5000 64354839 特征 4 34 20 34 1316 19 21 423 36 5 类别 6 2 2 7 > 50 6 2 实验中，对表1数据中的Corl5k数据集，先 PCA)进行降维，保留的数据信息大于95%，除用主成分分析(principal component analysis, Satellite和Wilt数据集外，对其他数据集进行预处

(xi , xj ,πil) (xi , xj) ξi jl 区分阶段，学到的度量尽可能区分对抗三元组。将生成的对抗样本代入初始违反约束关系的三元组中，通过调整参数动态生成新的三元组。在新的三元组中，使相似样本间距离尽可能小，相似样本与不相似样本之间以一定的间隔分离开。引入非负的松弛变量，构建如式 (2) 所示的损失函数进行度量学习： min(1−µ) ∑ i, j∼i dM(xi , xj)+µ ∑ i, j∼i ∑ l (1−yil)ξi jl s.t. dM(xi ,πil)− dM(xi , xj) ⩾ 1−ξi jl ⩾ 0 M ⩾ 0 (2) µ yi = yl yil = 1 yil = 0 ξi jl ⩾ 0 M ⩾ 0 式中：最小化损失函数中的前者表示近邻损失，后者表示三元组损失；为权衡因子，调节近邻损失与三元组损失在损失函数中的比重；当时，，否则，；第 1 约束条件为三元组约束条件，使相似样本与不相似样本之间以一定的间隔分离开；第 2 约束条件表示违反了三元组约束条件的间隔；第 3 约束条件以保证距离的有效性。 2.2 优化问题求解该模型的目标函数是一个凸优化问题，可以利用梯度下降方式进行求解。根据式 (1) 可以得到对抗样本的闭式解： πil = 1 α+1 xi + α α+1 xl ,(i, j,l) ∈ N (3) 将对抗样本代入违反约束的初始三元组中。区分阶段的损失函数也可以表示为 L =(1−µ) ∑ i, j∼i dM(xi , xj)+ µ ∑ i, j∼i ∑ l (1−yil)[1+ dM(xi , xj)− dM(xi ,πil)]+ (4) 利用式 (4) 得到 M 的梯度： ∂L ∂M =(1−µ) ∑ i, j∼i Xi j+ µ ∑ (i, j,l)∈J Xi j − ((( α α+1 )2 −1 ) [ξ ori i jl] + +1 ) Xil (5) J xi j = (xi − xj)(xi − xj) T xil = 式中：表示以对抗样本构成的三元组中违反约束条件间隔的三元组；， (xi − xl)(xi − xl) T [ξ ori i jl]+ = 1 [ξ ori i jl]+ = 0 β = α α+1 ，初始三元组中不相似样本间距离小于相似样本间距离，反之。为了便于调整参数，令，详细过程如算法 1 所示。算法 1 对抗样本三元组约束的度量学习算法。 X Y β µ 输入：样本集；：样本标签集；：调控参数；：权衡因子。输出 M。初始化 M0 = I。根据式 (3) 计算对抗样本，代入初始三元组中。迭代计算： 1) 根据式 (5) 计算梯度 ∇Gt。 2) 更新梯度 Mt+1 = Mt −λ∇Gt。 3) 将 Mt+1 进行分解，得到 U,V+。 Mt+1 = U T 4) V+U。 5) 直到收敛。 N C β µ p q t KN2 (1−1/C) β µ 2pqtKN2 (1−1/C) O(N 2 ) 假定样本个数为，共有类且每个类的样本数相同，和的取值个数分别为和，为迭代次数。由式 (2) 构建的三元组约束个数大致为，并计算每个三元组约束间的距离，对违反约束的三元组进行梯度下降。为取得较高的分类精度，选取合适的和值进行分类，算法所需次数为。所以算法 1 的时间复杂度为。 3 实验分析本节在 12 个数据集上 (如表 1 所示)，对提出的 ASTCML 算法与目前几个代表性算法进行比较，并分析了实验中参数的灵敏度与提出算法的收敛性。 3.1 实验数据与设计本文提出的 ASTCML 算法与与 K 近邻算法 (K-nearest neighbor, KNN)、 ITML 算法[ 1 2 ] 、 GMML 算法[13] 、LMNN 算法[16] 、PFLMNN 算法[18] 、 RVML 算法[21] 、LDMLT 算法[24]和 AML 算法[25] 进行了对比。表 1 数据描述 Table 1 Data sets description 数据集 Balance Dermatology Diabetes German Ionosphere Wine Zoo Segment Waveform-21 Corel_5k Satellite Wilt 样本数 625 366 768 1 000 351 178 101 2 310 2 746 5 000 6 435 4 839 特征 4 34 8 20 34 13 16 19 21 423 36 5 类别 3 6 2 2 2 3 7 7 3 50 6 2 实验中，对表 1 数据中的 Corel_5k 数据集，先用主成分分析 (principal component analysis, PCA) 进行降维，保留的数据信息大于 95%，除 Satellite 和 Wilt 数据集外，对其他数据集进行预处第 1 期王鑫，等：对抗样本三元组约束的度量学习算法 ·33·

·34· 智能系统学报第16卷理操作，对处理后的数据集进行划分，其中80% 性能。当样本数大于或等于4500时，μ的取值范的数据为训练集，20%的数据为测试集。采用5 围为{0.1,0.3,0.5,0.7,0.9}，且当数据集为Corel5k 折交叉验证的方法进行实验，将训练集随机分为时，B的取值范围为{0.2,0.4,0.6,0.8}，同时采用 5部分，轮流作为验证集，并对5次实验结果求平 3折进行交叉验证。均，选择在验证集上达到最高分类精度的参数，3.2实验结果与分析在测试集上进行测试。Satellite数据集由4435个实验结果在表2中列出，表2中粗体表示最训练样本和2000个测试样本组成，Wit数据集高的分类正确率，在次高的分类正确率下划横是由4339个训练样本和500个测试样本组成，针线。当数据集为Corel5k时，AML算法运行时间对这2个数据集，首先对训练集进行预处理操作，相对较长，不参与算法比较。实验结果显示本文记录下训练集的归一化方法，将该方法应用于测算法普遍优于代表性的度量学习方法，相比于动试集进行预处理，在所有参数实验结果中选择分态构建三元组的LDMLT算法，除在German数据类精度最高的精度，即为当前数据集的分类精集上取得次高的分类精度，在其他数据集上的分度。初始化度量矩阵M=I,参数B的取值范围类精度明显提高；与LMNN算法相比，提出算法为{0.1,02，…，0.9}，μ的取值范围为{0.1,02，…，1}。的分类精度最低与其保特一致；相比基于对抗训练的AM 此外，由式(8)可以得到，当B取值为1时，算法算法，分类精度普遍较高。可以得出，本文算法精度与LMNN算法的结果相同或相近。使用在一定程度上说明区分更加难以区分的三元组约 KNN分类器的分类正确率评价度量学习算法的束能够提升算法的性能。表2分类精度的对比 Table 2 Comparisons of classification accuracy 数据集 KNN ITML GMML RVML LDMLT LMNN PFLMNN AML ASTCML Balance 0.8080 0.9280 0.8000 0.8080 0.7840 0.8240 0.8000 0.8080 0.9760 Dermatology 0.9324 0.9595 0.9324 0.9324 0.9459 0.9730 0.9324 0.9459 0.9730 Diabetes 0.6883 0.6818 0.6883 0.6883 0.6688 0.6948 0.7273 0.7078 0.7273 German 0.6850 0.7100 0.6850 0.6850 0.7200 0.6900 0.7100 0.7050 0.7150 lonosphere 0.8592 0.8873 0.8592 0.8592 0.7887 0.9296 0.9014 0.8592 0.9437 Wine 0.9722 1.0000 0.9722 0.9722 0.9722 0.9722 0.9722 0.9722 1.0000 Z00 0.8571 0.9048 0.8571 0.8571 0.8571 0.9048 0.8571 0.8571 0.9524 Segment 0.9416 0.9675 0.9416 0.9416 0.9610 0.9589 0.9567 0.9545 0.9654 Waveform-21 0.7709 0.7564 0.7709 0.7709 0.6873 0.7909 0.7891 0.7764 0.8400 Corel 5k 0.2680 0.2630 0.2680 0.2680 0.2560 0.2930 0.2660 0.2980 Satellite 0.9065 0.8880 0.9065 0.9065 0.8270 0.9085 0.9155 0.9065 0.9105 Wilt 0.6780 0.7640 0.6780 0.6780 0.8020 0.8220 0.8040 0.7140 0.8260 Mean 0.7806 0.8092 0.7799 0.7806 0.7725 0.8135 0.8026 0.8439 3.3参数的灵敏度分析确率的变化情况。从图3、4可以看出，当测试集在本文提出的算法中，超参数B和μ的设置上取得最高分类正确率时，验证集上的分类正确对实验结果会产生一定的影响，其中参数B控制率也最高：在不同的参数设置下，验证集上分类在入侵样本附近产生对抗样本，参数“为权衡因准确率的变化幅度相对较小，而测试集上变化幅子，调节三元组损失在整个损失中的比重。在不度相对较大。同数据集下，只以最高的验证集分类正确率设置 3.4收敛性分析超参数B和4，通过固定其中的一个超参数，调整在对抗样本三元组约束的度量学习算法迭代另一个超参数，观察在验证集与测试集上分类正优化的过程中，若相邻2次损失值的差小于设定

M = I β µ β 理操作，对处理后的数据集进行划分，其中 80% 的数据为训练集，20% 的数据为测试集。采用 5 折交叉验证的方法进行实验，将训练集随机分为 5 部分，轮流作为验证集，并对 5 次实验结果求平均，选择在验证集上达到最高分类精度的参数，在测试集上进行测试。Satellite 数据集由 4 435 个训练样本和 2 000 个测试样本组成，Wilt 数据集是由 4 339 个训练样本和 500 个测试样本组成，针对这 2 个数据集，首先对训练集进行预处理操作，记录下训练集的归一化方法，将该方法应用于测试集进行预处理，在所有参数实验结果中选择分类精度最高的精度，即为当前数据集的分类精度。初始化度量矩阵，参数的取值范围为{0.1, 0.2, ···, 0.9}，的取值范围为{0.1, 0.2, ···, 1}。此外，由式 (8) 可以得到，当取值为 1 时，算法精度与 LMNN 算法的结果相同或相近。使用 KNN 分类器的分类正确率评价度量学习算法的 µ β 性能。当样本数大于或等于 4 500 时，的取值范围为{0.1, 0.3, 0.5, 0.7, 0.9}，且当数据集为 Corel_5k 时，的取值范围为{0.2, 0.4, 0.6, 0.8}，同时采用 3 折进行交叉验证。 3.2 实验结果与分析实验结果在表 2 中列出，表 2 中粗体表示最高的分类正确率，在次高的分类正确率下划横线。当数据集为 Corel_5k 时，AML 算法运行时间相对较长，不参与算法比较。实验结果显示本文算法普遍优于代表性的度量学习方法，相比于动态构建三元组的 LDMLT 算法，除在 German 数据集上取得次高的分类精度，在其他数据集上的分类精度明显提高；与 LMNN 算法相比，提出算法的分类精度最低与其保持一致；相比基于对抗训练的AML 算法，分类精度普遍较高。可以得出，本文算法在一定程度上说明区分更加难以区分的三元组约束能够提升算法的性能。表 2 分类精度的对比 Table 2 Comparisons of classification accuracy 数据集 KNN ITML GMML RVML LDMLT LMNN PFLMNN AML ASTCML Balance 0.8080 0.9280 0.800 0 0.808 0 0.784 0 0.824 0 0.8000 0.808 0 0.976 0 Dermatology 0.9324 0.9595 0.932 4 0.932 4 0.945 9 0.973 0 0.9324 0.945 9 0.973 0 Diabetes 0.6883 0.6818 0.688 3 0.688 3 0.668 8 0.694 8 0.7273 0.707 8 0.727 3 German 0.6850 0.7100 0.685 0 0.685 0 0.720 0 0.690 0 0.7100 0.705 0 0.715 0 Ionosphere 0.8592 0.8873 0.859 2 0.859 2 0.788 7 0.929 6 0.9014 0.859 2 0.943 7 Wine 0.9722 1.0000 0.972 2 0.972 2 0.972 2 0.972 2 0.9722 0.972 2 1.000 0 Zoo 0.8571 0.9048 0.857 1 0.857 1 0.857 1 0.904 8 0.8571 0.857 1 0.952 4 Segment 0.9416 0.9675 0.941 6 0.941 6 0.961 0 0.958 9 0.9567 0.954 5 0.965 4 Waveform-21 0.7709 0.7564 0.770 9 0.770 9 0.687 3 0.790 9 0.7891 0.776 4 0.840 0 Corel_5k 0.2680 0.2630 0.268 0 0.268 0 0.256 0 0.293 0 0.2660 — 0.298 0 Satellite 0.9065 0.8880 0.906 5 0.906 5 0.827 0 0.908 5 0.9155 0.906 5 0.910 5 Wilt 0.6780 0.7640 0.678 0 0.678 0 0.802 0 0.822 0 0.8040 0.714 0 0.826 0 Mean 0.7806 0.8092 0.779 9 0.780 6 0.772 5 0.813 5 0.8026 — 0.843 9 3.3 参数的灵敏度分析 β µ β µ β µ 在本文提出的算法中，超参数和的设置对实验结果会产生一定的影响，其中参数控制在入侵样本附近产生对抗样本，参数为权衡因子，调节三元组损失在整个损失中的比重。在不同数据集下，只以最高的验证集分类正确率设置超参数和，通过固定其中的一个超参数，调整另一个超参数，观察在验证集与测试集上分类正确率的变化情况。从图 3、4 可以看出，当测试集上取得最高分类正确率时，验证集上的分类正确率也最高；在不同的参数设置下，验证集上分类准确率的变化幅度相对较小，而测试集上变化幅度相对较大。 3.4 收敛性分析在对抗样本三元组约束的度量学习算法迭代优化的过程中，若相邻 2 次损失值的差小于设定 ·34· 智能系统学报第 16 卷

的阈值或迭代次数大于最大迭代次数，则算法结束。本文通过不同数据集分别在测试集上迭代 100 次的损失值变化情况分析提出算法的收敛性。从图 5 可以看出，在迭代过程中，随着迭代次数的增加，损失函数的值呈现下降趋势，表明提出算法是可以收敛的。 1.00 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 分类精度测试精度验证精度 μ (a) Dermatology 数据集 (β=0.9) 0.99 0.98 0.97 0.96 0.95 0.94 分类精度测试精度验证精度 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 μ (b) Zoo 数据集 (β=0.2) 0.98 0.96 0.94 0.92 0.90 0.88 0.86 0.84 图 3 不同 µ 下的分类精度 Fig. 3 Classification accuracy under different µ values 1.00 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 分类精度 β (a) Dermatology 数据集 (μ=0.8) 0.98 0.99 0.97 0.96 0.95 0.94 0.93 0.92 测试精度验证精度分类精度 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 β (b) Zoo 数据集 (μ=0.6) 0.96 0.95 0.94 0.93 0.92 0.91 0.90 测试精度验证精度图 4 不同 β 下的分类精度 Fig. 4 Classification accuracy under different β values 3.10 10 20 30 损失函数值/10 3 40 50 迭代次数 (a) Wine 数据集 (β=0.5 μ=0.2) 60 70 80 90 100 2.90 2.70 2.50 2.30 2.10 1.90 1.70 1.50 1.30 1.10 10 20 30 40 50 迭代次数 (b) Ionosphere 数据集 (β=0.9 μ=0.3) 60 70 80 90 100 3.45 损失函数值/10 3 3.30 3.15 3.00 2.85 2.70 2.55 2.40 2.25 2.10 图 5 损失值变化情况 Fig. 5 Change of loss value on different data sets 4 结束语本文借鉴对抗训练的思想，建立了学习对抗样本的优化模型，构建了对抗样本三元组约束度量学习模型，并提出相应的度量学习算法。理论上，基于对抗训练思想得到的三元组约束更加符合数据的情况，学习对抗样本的模型求解简单，且可以提高分类精度。实验结果验证了提出算法的性能。虽然，与已有代表性算法相比提出算法的性能有所提升，但其对参数较为敏感。如何降低模型对参数的敏感性将是值得进一步研究的问题。第 1 期王鑫，等：对抗样本三元组约束的度量学习算法 ·35·

·36· 智能系统学报第16卷参考文献： ic metric learning[Cl/Proceedings of the 24th Internation- al Conference on Machine Learning.Corvallis,Oregon, [1]QIAN Qi,JIN Rong,ZHU Shenghuo,et al.Fine-grained USA,2007:209-216. visual categorization via multi-stage metric learning[C]// [13]ZADEH P H,HOSSEINI R,SRA S.Geometric mean 2015 IEEE Conference on Computer Vision and Pattern metric learning[C]//Proceedings of the 33rd International Recognition(CVPR).Boston,USA,2015:3716-3724. Conference on Machine Learning.New York,NY,USA, [2]GAO Yue,WANG Meng,JI Rongrong,et al.3-D object 2016:2464-2471. retrieval with hausdorff distance learning[J].IEEE transac- [14]OMARA I,ZHANG Hongzhi,WANG Faqiang,et al tions on industrial electronics.2014.61(4):2088-2098. Metric learning with dynamically generated pairwise con- [3]HOI S C H,LIU W,CHANG S F.Semi-supervised dis- straints for ear recognition[J].Information,2018,9(9):215. tance metric learning for collaborative image retrieval[C/ [15]WEINBERGER K Q,BLITZER J,SAUL L.K.Distance 2008 IEEE Conference on Computer Vision and Pattern metric learning for large margin nearest neighbor classi- Recognition.Anchorage,AK,USA,2008:1-7. fication[M].WEISS Y,SCHOLKOPF B,PLATT J.Ad- [4]HOI S C H,LIU W,LYU M R,et al.Learning distance vances in Neural Information Processing Systems.Cam- metrics with contextual constraints for image retrieval[C// bridge,MA:MIT Press,2006:1473-1480 2006 IEEE Computer Society Conference on Computer [16]WEINBERGER K Q,SAUL L K.Distance metric learn- Vision and Pattern Recognition(CVPR'06).New York. ing for large margin nearest neighbor classification[J].The NY,USA.2006:2072-2078 journal of machine learning research,2009,10:207-244. [5]DONG Yanni,DU Bo,ZHANG Liangpei,et al.Hyper- [17刀杨柳，于剑，景丽萍.一种自适应的大间隔近邻分类算 spectral target detection via adaptive information-theoretic 法U.计算机研究与发展，2013,50(11)：2269-2277. metric learning with local constraints[J].Remote sensing, YANG Liu,YU Jian,JING Liping.An adaptive large in- 2018,10(9):1415. terval nearest neighbor classification algorithm[J.Journ- [6]DONG Yanni,DU Bo,ZHANG Liangpei.Target detec- al of computer research and development,2013,50(11): tion based on random forest metric learning[J].IEEE 2269-2277. journal of selected topics in applied earth observations and [18]SONG Kun,NIE Feiping.HAN Junwei,et al.Parameter remote sensing,2015,8(4):1830-1838. free large margin nearest neighbor for distance metric [7]DONG Yanni,DU Bo,ZHANG Lefei,et al.Local de- learning[C]//The 31st AAAI Conference on Artificial In- cision maximum margin metric learning for hyperspectral telligence.San Francisco,USA,2017:2555-2561 target detection[C]//2015 IEEE International Geoscience [19]LIU Meizhu,VEMURI B C.A robust and efficient and Remote Sensing Symposium (IGARSS).Milan,Italy, doubly regularized metric learning approach[C]//12th 2015:397-400 European Conference on Computer Vision.Florence, [8]HU Junlin,LU Jiwen,YUAN Junsong,et al.Large margin Itay,2012:646-659. multi-metric learning for face and kinship verification in [20]LE CAPITAINE H.Constraint selection in metric learn- the wild[C]//12th Asian Conference on Computer Vision. ing[J].Knowledge-based systems,2018,146(15):91-103. Singapore,Singapore,2015:252-267. [21]PERROT M,HABRARD A.Regressive virtual metric [9]LU Rui,WU Kailun,DUAN Zhiyao,et al.Deep ranking: learning[C]//Advances in Neural Information Processing triplet MatchNet for music metric learning[C]//2017 IEEE Systems.Montreal,Canada,2015:1810-1818 International Conference on Acoustics,Speech and Signal [22]WANG Faqiang,ZUO Wangmeng,ZHANG Lei,et al.A Processing(ICASSP).New Orleans,USA,2017:121-125. kernel classification framework for metric learning[]. [10]XING E P.NG A Y,JORDAN M I.et al.Distance met- IEEE transactions on neural networks and learning sys- ric learning,with application to clustering with side-in- tems,2015,26(9):1950-1962. formation[C]//Proceedings of the 15th International Con- [23]ZUO Wangmeng.WANG Faqiang,ZHANG D,et al.Dis- ference on Neural Information Processing Systems.Cam- tance metric learning via iterated support vector ma- bridge,MA,USA,2002:521-528. chines[J].IEEE transactions on image processing,2017, [11]YING Yiming,LI Peng.Distance metric learning with ei- 26(10:4937-4950 genvalue optimization[J].The journal of machine learn- [24]MEI Jiangyuan,LIU Meizhu,KARIMI H R,et al.Log- ing research,2012,13(1):1-26. Det divergence-based metric learning with triplet con- [12]DAVIS J V,KULIS B,JAIN P,et al.Information-theoret- straints and its applications[J].IEEE transactions on im-

参考文献： QIAN Qi, JIN Rong, ZHU Shenghuo, et al. Fine-grained visual categorization via multi-stage metric learning[C]// 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Boston, USA, 2015: 3716–3724. [1] GAO Yue, WANG Meng, JI Rongrong, et al. 3-D object retrieval with hausdorff distance learning[J]. IEEE transactions on industrial electronics, 2014, 61(4): 2088–2098. [2] HOI S C H, LIU W, CHANG S F. Semi-supervised distance metric learning for collaborative image retrieval[C]// 2008 IEEE Conference on Computer Vision and Pattern Recognition. Anchorage, AK, USA, 2008: 1–7. [3] HOI S C H, LIU W, LYU M R, et al. Learning distance metrics with contextual constraints for image retrieval[C]// 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06). New York, NY, USA, 2006: 2072–2078. [4] DONG Yanni, DU Bo, ZHANG Liangpei, et al. Hyperspectral target detection via adaptive information-theoretic metric learning with local constraints[J]. Remote sensing, 2018, 10(9): 1415. [5] DONG Yanni, DU Bo, ZHANG Liangpei. Target detection based on random forest metric learning[J]. IEEE journal of selected topics in applied earth observations and remote sensing, 2015, 8(4): 1830–1838. [6] DONG Yanni, DU Bo, ZHANG Lefei, et al. Local decision maximum margin metric learning for hyperspectral target detection[C]//2015 IEEE International Geoscience and Remote Sensing Symposium (IGARSS). Milan, Italy, 2015: 397–400. [7] HU Junlin, LU Jiwen, YUAN Junsong, et al. Large margin multi-metric learning for face and kinship verification in the wild[C]//12th Asian Conference on Computer Vision. Singapore, Singapore, 2015: 252–267. [8] LU Rui, WU Kailun, DUAN Zhiyao, et al. Deep ranking: triplet MatchNet for music metric learning[C]//2017 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). New Orleans, USA, 2017: 121–125. [9] XING E P, NG A Y, JORDAN M I, et al. Distance metric learning, with application to clustering with side-information[C]//Proceedings of the 15th International Conference on Neural Information Processing Systems. Cambridge, MA, USA, 2002: 521–528. [10] YING Yiming, LI Peng. Distance metric learning with eigenvalue optimization[J]. The journal of machine learning research, 2012, 13(1): 1–26. [11] [12] DAVIS J V, KULIS B, JAIN P, et al. Information-theoretic metric learning[C]//Proceedings of the 24th International Conference on Machine Learning. Corvallis, Oregon, USA, 2007: 209–216. ZADEH P H, HOSSEINI R, SRA S. Geometric mean metric learning[C]//Proceedings of the 33rd International Conference on Machine Learning. New York, NY, USA, 2016: 2464–2471. [13] OMARA I, ZHANG Hongzhi, WANG Faqiang, et al. Metric learning with dynamically generated pairwise constraints for ear recognition[J]. Information, 2018, 9(9): 215. [14] WEINBERGER K Q, BLITZER J, SAUL L. K. Distance metric learning for large margin nearest neighbor classification[M]. WEISS Y, SCHÖLKOPF B, PLATT J. Advances in Neural Information Processing Systems. Cambridge, MA: MIT Press, 2006: 1473–1480. [15] WEINBERGER K Q, SAUL L K. Distance metric learning for large margin nearest neighbor classification[J]. The journal of machine learning research, 2009, 10: 207–244. [16] 杨柳, 于剑, 景丽萍. 一种自适应的大间隔近邻分类算法 [J]. 计算机研究与发展, 2013, 50(11): 2269–2277. YANG Liu, YU Jian, JING Liping. An adaptive large interval nearest neighbor classification algorithm[J]. Journal of computer research and development, 2013, 50(11): 2269–2277. [17] SONG Kun, NIE Feiping, HAN Junwei, et al. Parameter free large margin nearest neighbor for distance metric learning[C]//The 31st AAAI Conference on Artificial Intelligence. San Francisco, USA, 2017: 2555–2561. [18] LIU Meizhu, VEMURI B C. A robust and efficient doubly regularized metric learning approach[C]//12th European Conference on Computer Vision. Florence, Italy, 2012: 646–659. [19] LE CAPITAINE H. Constraint selection in metric learning[J]. Knowledge-based systems, 2018, 146(15): 91–103. [20] PERROT M, HABRARD A. Regressive virtual metric learning[C]//Advances in Neural Information Processing Systems. Montréal, Canada, 2015: 1810–1818. [21] WANG Faqiang, ZUO Wangmeng, ZHANG Lei, et al. A kernel classification framework for metric learning[J]. IEEE transactions on neural networks and learning systems, 2015, 26(9): 1950–1962. [22] ZUO Wangmeng, WANG Faqiang, ZHANG D, et al. Distance metric learning via iterated support vector machines[J]. IEEE transactions on image processing, 2017, 26(10): 4937–4950. [23] MEI Jiangyuan, LIU Meizhu, KARIMI H R, et al. LogDet divergence-based metric learning with triplet constraints and its applications[J]. IEEE transactions on im- [24] ·36· 智能系统学报第 16 卷

第1期王鑫，等：对抗样本三元组约束的度量学习算法 ·37· age processing,2014,23(11):4920-4931 郭鑫垚，博士研究生，主要研究方 [25]CHEN Shuo,GONG Chen,YANG Jian,et al.Adversari- 向为度量学习。 al metric learning[C]//Proceedings of the Twenty-Sev- enth International Joint Conference on Artificial Intelli- gence.Stockholm,Sweden,2018:2021-2027. 作者简介：王鑫，硕士研究生，主要研究方向魏巍，教授，博士生导师，中国人为度量学习。工智能学会知识工程与分布智能专委会常委，主要研究方向为数据挖掘、机器学习、粒计算。主持和参与国家自然科学基金项目、山西省自然科学基金项目10余项。发表学术论文20余篇。 CAAI第六届全国大数据与社会计算学术会议 China National Conference on Dig Data and Social Computing 2021年8月21-22日，由中国人工智能学会主办，CAAI社会计算与社会智能专委会、重庆工商大学承办的“CAAI第六届全国大数据与社会计算学术会议”（以下简称BDSC2021)将在重庆召开。 BDSC创建于2012年，旨在搭建全国大数据与社会计算学术交流平台，培育社会计算与社会智能学科发展，助力社会计算与社会智能领域人才成长，建设“有仁、有信、有情”的学术共同体，已成为全国大数据与社会计算领域的知名学术交流品牌。本次会议的主题为“数字社会的重构与转型”，面向国家经济社会发展战略，立足数字社会构建，通过跨学科交叉视野剖析数字社会的机遇与挑战。会议面向全国开展大数据与社会计算领域的学术征文，重点探讨数字社会的基础性、前瞻性和战略性理论及其应用，讨论数字社会领域前沿进展，交流新的学术思想和新方法，探索数字社会对人类发展的意义，展望数字社会未来的发展趋势。本次大会将组织专家对所有投稿论文进行双盲评审，优秀论文将有机会被推荐到11本高水平期刊进入期刊快速评审通道，所有录用论文在大会上进行墙报(poster)交流。大会将邀请人工智能、IoT+5G网络、地理信息以及社会科学、系统科学等交叉领域的重量级学者做大会报告，举办系统科学的前沿讲习班。大会致力于跨越传统学科分界，呈现大数据智能时代社会研究新境界，将重磅发布极具创新性的大规模社会计算试验场和社会计算开放数据集，并举办全国社会计算大赛。征文主题： 1)社会系统建模与仿真；2)人工智能与认知科学：3)社会网络与群体行为；4)社会地理与城市计算： 5)计算人口新范式、新方法；6)数字基础建设与智能社会；7)数据价值评估与流通服务；8)数字社会与公共安全；9)数字政府与公共大数据；10)数字技术与社会韧性；11)数据与社会治理；12)数字平台建设与管理； 13)计算社会与系统工程：14)数据伦理与隐私保护。重要时间：投稿截止日期：2021年6月15日审稿通知日期：2021年7月15日审稿修改日期：2021年8月1日录用通知日期：2021年8月7日会议召开日期：2021年8月21-22日投稿链接：htps://easychair.org/conferences//?conf=bdsc202l 大会网站：htp://idke.ruc.edu.cn/BDSC2021/

age processing, 2014, 23(11): 4920–4931. CHEN Shuo, GONG Chen, YANG Jian, et al. Adversarial metric learning[C]//Proceedings of the Twenty-Seventh International Joint Conference on Artificial Intelligence. Stockholm, Sweden, 2018: 2021–2027. [25] 作者简介：王鑫，硕士研究生，主要研究方向为度量学习。郭鑫垚，博士研究生，主要研究方向为度量学习。魏巍，教授，博士生导师，中国人工智能学会知识工程与分布智能专委会常委，主要研究方向为数据挖掘、机器学习、粒计算。主持和参与国家自然科学基金项目、山西省自然科学基金项目 10 余项。发表学术论文 20 余篇。 CAAI 第六届全国大数据与社会计算学术会议 China National Conference on Dig Data and Social Computing 2021 年 8 月 21−22 日，由中国人工智能学会主办，CAAI 社会计算与社会智能专委会、重庆工商大学承办的“CAAI 第六届全国大数据与社会计算学术会议”（以下简称 BDSC 2021）将在重庆召开。 BDSC 创建于 2012 年，旨在搭建全国大数据与社会计算学术交流平台，培育社会计算与社会智能学科发展，助力社会计算与社会智能领域人才成长，建设“有仁、有信、有情”的学术共同体，已成为全国大数据与社会计算领域的知名学术交流品牌。本次会议的主题为“数字社会的重构与转型”，面向国家经济社会发展战略，立足数字社会构建，通过跨学科交叉视野剖析数字社会的机遇与挑战。会议面向全国开展大数据与社会计算领域的学术征文，重点探讨数字社会的基础性、前瞻性和战略性理论及其应用，讨论数字社会领域前沿进展，交流新的学术思想和新方法，探索数字社会对人类发展的意义，展望数字社会未来的发展趋势。本次大会将组织专家对所有投稿论文进行双盲评审，优秀论文将有机会被推荐到 11 本高水平期刊进入期刊快速评审通道，所有录用论文在大会上进行墙报（poster）交流。大会将邀请人工智能、IoT+5G 网络、地理信息以及社会科学、系统科学等交叉领域的重量级学者做大会报告，举办系统科学的前沿讲习班。大会致力于跨越传统学科分界，呈现大数据智能时代社会研究新境界，将重磅发布极具创新性的大规模社会计算试验场和社会计算开放数据集，并举办全国社会计算大赛。征文主题： 1）社会系统建模与仿真；2）人工智能与认知科学；3）社会网络与群体行为；4）社会地理与城市计算； 5）计算人口新范式、新方法；6）数字基础建设与智能社会；7）数据价值评估与流通服务；8）数字社会与公共安全；9）数字政府与公共大数据；10）数字技术与社会韧性；11）数据与社会治理；12）数字平台建设与管理； 13）计算社会与系统工程；14）数据伦理与隐私保护。重要时间：投稿截止日期：2021 年 6 月 15 日审稿通知日期：2021 年 7 月 15 日审稿修改日期：2021 年 8 月 1 日录用通知日期：2021 年 8 月 7 日会议召开日期：2021 年 8 月 21−22 日投稿链接：https://easychair.org/conferences/?conf=bdsc2021 大会网站：http://idke.ruc.edu.cn/BDSC2021/ 第 1 期王鑫，等：对抗样本三元组约束的度量学习算法 ·37·

点击进入文档下载页（PDF格式）

已到末页，全文结束

点击下载（PDF格式）

浏览记录