第12卷第2期 智能系统学报 Vol.12 No.2 2017年4月 CAAI Transactions on Intelligent Systems Apr.2017 D0I:10.11992/6is.201603005 网络出版地址：http://www.cmki.net/kcms/detail,/23.1538.tp.20160824.0928.004.html 知识迁移的极大熵聚类算法及其 在纹理图像分割中的应用 程肠，蒋亦樟，钱鹏江，王士同 (江南大学数字媒体学院，江苏无锡214122) 摘要：本文研究了一种新型的基于知识迁移的极大嫡聚类技术。拟解决两大挑战性问题：1)如何从源域中选择合 适的知识对目标域进行迁移学习以最终强化目标域的聚类性能：2)若存在源域聚类数与目标域聚类数不一致的情 况时，该如何进行迁移聚类。为此提出一种全新的迁移聚类机制，即基于聚类中心的中心匹配迁移机制。进一步将 该机制与经典极大嫡聚类算法相融合提出了基于知识迁移的极大熵聚类算法(KT-MEC)。实验表明，在不同迁移场 景下的纹理图像分割应用中，KT-MEC算法较很多现有聚类算法具有更高的精确度和抗噪性。 关键词：迁移学习：中心迁移匹配：极大嫡聚类：纹理图像分割：抗噪性 中图分类号：TP181文献标志码：A文章编号：1673-4785(2017)02-0179-09 中文引用格式：程肠，蒋亦樟，钱鹏江，等.知识迁移的极大熵聚类算法及其在纹理图像分割中的应用[J].智能系统学报，2017,12 (2):179-187. 英文引用格式：CHENG Yang,JIANG Yizhang,QIAN Pengjiang,etal.A maximum entropy clustering algorithm based on knowl- edge transfer and its application to texture image segmentation[J].CAAI transactions on intelligent systems,2017,12(2):178- 187. A maximum entropy clustering algorithm based on knowledge transfer and its application to texture image segmentation CHENG Yang,JIANG Yizhang,QIAN Pengjiang,WANG Shitong School of Digital Media,Jiangnan University,Wuxi 214122,China) Abstract:In this paper,we propose a novel technique for maximum entropy clustering (MEC)based on knowledge transfer.More specifically,we aim to solve the following two challenging questions.First,how can knowledge be appropriately selected from a source domain to enhance clustering performance in the target domain via transfer learning?Second,how best do we conduct transfer clustering if the number of clusters in the source domain and the target domain are inconsistent?To address these questions,we designed a new transfer clustering mechanism called the central matching transfer mechanism,which we based on clustering centers.Further,we developed a knowl- edge-transfer-based maximum entropy clustering (KT-MEC)algorithm by incorporating our mechanism into the classic MEC approach.Our experimental results reveal that our proposed KT-MEC algorithm achieves a higher level of accuracy and better noise immunity than many existing methods when applied to texture image segmentation in different transfer scenarios. Keywords:transfer learning;center transfer matching;maximum entropy clustering;texture image segmentation; robustness 在实际生产中，大部分机器学习方法处理的对 收稿日期：2016-03-04.网络出版日期：2016-08-24 象均为含噪数据集且存在数据量不足的问题。如对 基金项目：国家自然科学基金项目(61572236)：江苏省自然科学基金项于图像分割)任务而言，图像数据往往含有很大的 目(BK20160187):江苏省产学研前瞻性联合研究项目 (BY2013015-02). 噪声。图像数据含噪程度越高，使用的机器学习方 通信作者：蒋亦樟.E-mail:jyz0512@163.com 法对其进行分割的性能就变得越弱。一般来说，无
第 １２ 卷第 ２ 期 智 能 系 统 学 报 Ｖｏｌ．１２ №．２ ２０１７ 年 ４ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ａｐｒ． ２０１７ ＤＯＩ：１０．１１９９２ ／ ｔｉｓ．２０１６０３００５ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ｔｐ．２０１６０８２４．０９２８．００４．ｈｔｍｌ 知识迁移的极大熵聚类算法及其 在纹理图像分割中的应用 程旸，蒋亦樟，钱鹏江，王士同 （江南大学 数字媒体学院，江苏 无锡 ２１４１２２） 摘 要：本文研究了一种新型的基于知识迁移的极大熵聚类技术。 拟解决两大挑战性问题： １）如何从源域中选择合 适的知识对目标域进行迁移学习以最终强化目标域的聚类性能；２）若存在源域聚类数与目标域聚类数不一致的情 况时，该如何进行迁移聚类。 为此提出一种全新的迁移聚类机制，即基于聚类中心的中心匹配迁移机制。 进一步将 该机制与经典极大熵聚类算法相融合提出了基于知识迁移的极大熵聚类算法（ＫＴ⁃ＭＥＣ）。 实验表明，在不同迁移场 景下的纹理图像分割应用中，ＫＴ⁃ＭＥＣ 算法较很多现有聚类算法具有更高的精确度和抗噪性。 关键词：迁移学习；中心迁移匹配；极大熵聚类；纹理图像分割；抗噪性 中图分类号： ＴＰ１８１ 文献标志码：Ａ 文章编号：１６７３－４７８５（２０１７）０２－０１７９－０９ 中文引用格式：程旸，蒋亦樟，钱鹏江，等． 知识迁移的极大熵聚类算法及其在纹理图像分割中的应用［ Ｊ］． 智能系统学报， ２０１７， １２ （２）： １７９－１８７． 英文引用格式：ＣＨＥＮＧ Ｙａｎｇ， ＪＩＡＮＧ Ｙｉｚｈａｎｇ， ＱＩＡＮ Ｐｅｎｇｊｉａｎｇ， ｅｔ ａｌ． Ａ ｍａｘｉｍｕｍ ｅｎｔｒｏｐｙ ｃｌｕｓｔｅｒｉｎｇ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ ｋｎｏｗｌ⁃ ｅｄｇｅ ｔｒａｎｓｆｅｒ ａｎｄ ｉｔｓ ａｐｐｌｉｃａｔｉｏｎ ｔｏ ｔｅｘｔｕｒｅ ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ［ Ｊ］． ＣＡＡＩ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｉｎｔｅｌｌｉｇｅｎｔ ｓｙｓｔｅｍｓ， ２０１７， １２（２）： １７８－ １８７． Ａ ｍａｘｉｍｕｍ ｅｎｔｒｏｐｙ ｃｌｕｓｔｅｒｉｎｇ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ ｋｎｏｗｌｅｄｇｅ ｔｒａｎｓｆｅｒ ａｎｄ ｉｔｓ ａｐｐｌｉｃａｔｉｏｎ ｔｏ ｔｅｘｔｕｒｅ ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ ＣＨＥＮＧ Ｙａｎｇ， ＪＩＡＮＧ Ｙｉｚｈａｎｇ， ＱＩＡＮ Ｐｅｎｇｊｉａｎｇ， ＷＡＮＧ Ｓｈｉｔｏｎｇ （Ｓｃｈｏｏｌ ｏｆ Ｄｉｇｉｔａｌ Ｍｅｄｉａ， Ｊｉａｎｇｎａｎ Ｕｎｉｖｅｒｓｉｔｙ， Ｗｕｘｉ ２１４１２２， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｉｎ ｔｈｉｓ ｐａｐｅｒ， ｗｅ ｐｒｏｐｏｓｅ ａ ｎｏｖｅｌ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ｍａｘｉｍｕｍ ｅｎｔｒｏｐｙ ｃｌｕｓｔｅｒｉｎｇ （ＭＥＣ） ｂａｓｅｄ ｏｎ ｋｎｏｗｌｅｄｇｅ ｔｒａｎｓｆｅｒ． Ｍｏｒｅ ｓｐｅｃｉｆｉｃａｌｌｙ， ｗｅ ａｉｍ ｔｏ ｓｏｌｖｅ ｔｈｅ ｆｏｌｌｏｗｉｎｇ ｔｗｏ ｃｈａｌｌｅｎｇｉｎｇ ｑｕｅｓｔｉｏｎｓ． Ｆｉｒｓｔ， ｈｏｗ ｃａｎ ｋｎｏｗｌｅｄｇｅ ｂｅ ａｐｐｒｏｐｒｉａｔｅｌｙ ｓｅｌｅｃｔｅｄ ｆｒｏｍ ａ ｓｏｕｒｃｅ ｄｏｍａｉｎ ｔｏ ｅｎｈａｎｃｅ ｃｌｕｓｔｅｒｉｎｇ ｐｅｒｆｏｒｍａｎｃｅ ｉｎ ｔｈｅ ｔａｒｇｅｔ ｄｏｍａｉｎ ｖｉａ ｔｒａｎｓｆｅｒ ｌｅａｒｎｉｎｇ？ Ｓｅｃｏｎｄ， ｈｏｗ ｂｅｓｔ ｄｏ ｗｅ ｃｏｎｄｕｃｔ ｔｒａｎｓｆｅｒ ｃｌｕｓｔｅｒｉｎｇ ｉｆ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｃｌｕｓｔｅｒｓ ｉｎ ｔｈｅ ｓｏｕｒｃｅ ｄｏｍａｉｎ ａｎｄ ｔｈｅ ｔａｒｇｅｔ ｄｏｍａｉｎ ａｒｅ ｉｎｃｏｎｓｉｓｔｅｎｔ？ Ｔｏ ａｄｄｒｅｓｓ ｔｈｅｓｅ ｑｕｅｓｔｉｏｎｓ， ｗｅ ｄｅｓｉｇｎｅｄ ａ ｎｅｗ ｔｒａｎｓｆｅｒ ｃｌｕｓｔｅｒｉｎｇ ｍｅｃｈａｎｉｓｍ ｃａｌｌｅｄ ｔｈｅ ｃｅｎｔｒａｌ ｍａｔｃｈｉｎｇ ｔｒａｎｓｆｅｒ ｍｅｃｈａｎｉｓｍ， ｗｈｉｃｈ ｗｅ ｂａｓｅｄ ｏｎ ｃｌｕｓｔｅｒｉｎｇ ｃｅｎｔｅｒｓ． Ｆｕｒｔｈｅｒ， ｗｅ ｄｅｖｅｌｏｐｅｄ ａ ｋｎｏｗｌ⁃ ｅｄｇｅ⁃ｔｒａｎｓｆｅｒ⁃ｂａｓｅｄ ｍａｘｉｍｕｍ ｅｎｔｒｏｐｙ ｃｌｕｓｔｅｒｉｎｇ （ＫＴ⁃ＭＥＣ） ａｌｇｏｒｉｔｈｍ ｂｙ ｉｎｃｏｒｐｏｒａｔｉｎｇ ｏｕｒ ｍｅｃｈａｎｉｓｍ ｉｎｔｏ ｔｈｅ ｃｌａｓｓｉｃ ＭＥＣ ａｐｐｒｏａｃｈ． Ｏｕｒ ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｒｅｖｅａｌ ｔｈａｔ ｏｕｒ ｐｒｏｐｏｓｅｄ ＫＴ⁃ＭＥＣ ａｌｇｏｒｉｔｈｍ ａｃｈｉｅｖｅｓ ａ ｈｉｇｈｅｒ ｌｅｖｅｌ ｏｆ ａｃｃｕｒａｃｙ ａｎｄ ｂｅｔｔｅｒ ｎｏｉｓｅ ｉｍｍｕｎｉｔｙ ｔｈａｎ ｍａｎｙ ｅｘｉｓｔｉｎｇ ｍｅｔｈｏｄｓ ｗｈｅｎ ａｐｐｌｉｅｄ ｔｏ ｔｅｘｔｕｒｅ ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ ｉｎ ｄｉｆｆｅｒｅｎｔ ｔｒａｎｓｆｅｒ ｓｃｅｎａｒｉｏｓ． Ｋｅｙｗｏｒｄｓ： ｔｒａｎｓｆｅｒ ｌｅａｒｎｉｎｇ； ｃｅｎｔｅｒ ｔｒａｎｓｆｅｒ ｍａｔｃｈｉｎｇ； ｍａｘｉｍｕｍ ｅｎｔｒｏｐｙ ｃｌｕｓｔｅｒｉｎｇ； ｔｅｘｔｕｒｅ ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ； ｒｏｂｕｓｔｎｅｓｓ 收稿日期：２０１６－０３－０４． 网络出版日期：２０１６－０８－２４． 基金项目：国家自然科学基金项目（６１５７２２３６）；江苏省自然科学基金项 目（ ＢＫ２０１６０１８７ ）； 江 苏 省 产 学 研 前 瞻 性 联 合 研 究 项 目 （ＢＹ２０１３０１５⁃０２）． 通信作者：蒋亦樟． Ｅ⁃ｍａｉｌ：ｊｙｚ０５１２＠ １６３．ｃｏｍ． 在实际生产中，大部分机器学习方法处理的对 象均为含噪数据集且存在数据量不足的问题。 如对 于图像分割［１］任务而言，图像数据往往含有很大的 噪声。 图像数据含噪程度越高，使用的机器学习方 法对其进行分割的性能就变得越弱。 一般来说，无
.180 智能系统学报 第12卷 监督的聚类方法通常用来获得图像的分割结 心迁移匹配机制用于处理源域和目标域聚类数不一 果[2-)，比较著名的算法有模糊C均值算法 致的情况。无论源域与目标域的聚类数是否相同， (FCM)[4)、可能性聚类算法(PCM)【s)、极大熵聚类 该中心迁移匹配机制均可适用，且能够找到源域与 算法[6等。这些方法虽简单实用，但其对于含噪图 目标域类中心的最佳匹配关系。将上述迁移知识与 像数据的分割效果并不理想。尽管已有学者致力于 中心迁移匹配机制融入到经典的极大嫡聚类算法 解决该问题，但效果并不明显。 中，本文提出了一种全新的基于知识迁移的极大熵 聚类算法，并将该算法成功应用于纹理图像分割中。 1问题描述 实验结果表明，本文所提出的基于知识迁移的极大 迁移学习技术[的提出，为我们提供了一种新 熵聚类算法在不同的迁移场景下对于纹理图像的分 的解决问题的思路。传统的机器学习假设训练数据 割性能均优于其他迁移以及非迁移聚类算法。本文 与测试数据服从相同的数据分布。然而，大量实际 工作的创新主要涵盖以下几点： 情况中并不满足这种同分布假设。从另外一个角度 1)确定了源域中哪种知识能够进行有效迁移， 上看，如果我们已经有了大量的、在不同分布下的训 即从源域数据中获取的聚类中心知识可以用来指导 练数据，完全丢弃这些数据是非常浪费的。如何合 并增强目标域的聚类性能； 理地利用这些数据就是迁移学习要解决的问题。迁 2)给出了一种解决源域与目标域聚类数不同 移学习可以从现有的数据中迁移知识，用来帮助将 时，如何进行有效迁移的途径，即提出了一种通用的 来的学习。迁移学习的目标是将从一个环境中学到 中心迁移匹配机制，不仅能够有效解决源域与目标 的知识用来帮助新环境中的学习任务，其学习过程 域聚类数不相同时的迁移问题，还能指导源域、目标 类似人类的学习和思维方式。我们面临的问题如图 域聚类数相同时，各类中心如何一一对应的问题。 1所示。 3)将上述两个问题的解决策略融入到极大熵 聚类算法后，本文提出了一种新的基于知识迁移的 极大嫡聚类算法，实验表明该算法的聚类性能较其 知识来源 求 他迁移聚类算法以及非迁移聚类算法在处理不同迁 源域优质图像 解 移场景下的纹理分割图像时，具有更加优良的性能。 待分割日标 目标域理想 分割结果 本文所用的符号说明如表1所示。 表1符号说明 目标域含噪图像 Table 1 The explanation of some notations 图1问题描述 符号 描述 Fig.1 The description of the problem 隶属度矩阵，U,代表第i个 源域的数据中往往存在一部分数据为可用数 U=[ug]cxv 数据属于第个聚类中心的可能性 据，如源域优质图像，目标域的数据通常呈现数据不 足或噪声污染严重[8]等情况，如目标域含噪图像。 P [Palexc. 知识迁移隶属度矩阵，P:代表目标域第j 个中心属于源域第k个聚类中心的程度 如何才能得到最接近目标域理想分割的效果图，如 V=[V,… Ve]T 果能够将源域的知识成功迁移到目标域中进行学 聚类中心矩阵V,代表第i个聚类中心 习，是否能够大幅提高图像分割性能呢？ V=[va to]T 为了验证本文的设想，实现提高图像分割性能的 2 熵的正则化参数 目标，本文将迁移学习方法融入到经典的极大嫡聚类 迁移平衡参数 算法[o(maximum entropy clustering,MEC)中，以提高 聚类数 极大嫡算法的聚类性能，进而提高该算法对图像分割 总的迭代次数 的性能。在将迁移学习策略融入到极大嫡聚类算法 N 样本总数 的过程中，我们面临的挑战有：1)选择源域的何种知 D 特征总数 识进行迁移学习以增强目标域的聚类性能：2)当源域 如果将s作为一个符号的下标， 和目标域的聚类数不一致时如何迁移。 表示这个符号属于源域 针对挑战1)，本文选用聚类中心作为迁移知 识，因源域的聚类中心是各类所包含点的高度浓缩， 如果将1作为一个符号的下标， 表示这个符号属于目标域 亦是各类的代表点，将其作为聚类中的高级知识具 有更强的指导性：针对挑战2)，本文提出了一个中
监督 的 聚 类 方 法 通 常 用 来 获 得 图 像 的 分 割 结 果［２－３］ ， 比 较 著 名 的 算 法 有 模 糊 Ｃ 均 值 算 法 （ＦＣＭ） ［４］ 、可能性聚类算法（ ＰＣＭ） ［５］ 、极大熵聚类 算法［６］等。 这些方法虽简单实用，但其对于含噪图 像数据的分割效果并不理想。 尽管已有学者致力于 解决该问题，但效果并不明显。 １ 问题描述 迁移学习技术［７］的提出，为我们提供了一种新 的解决问题的思路。 传统的机器学习假设训练数据 与测试数据服从相同的数据分布。 然而，大量实际 情况中并不满足这种同分布假设。 从另外一个角度 上看，如果我们已经有了大量的、在不同分布下的训 练数据，完全丢弃这些数据是非常浪费的。 如何合 理地利用这些数据就是迁移学习要解决的问题。 迁 移学习可以从现有的数据中迁移知识，用来帮助将 来的学习。 迁移学习的目标是将从一个环境中学到 的知识用来帮助新环境中的学习任务，其学习过程 类似人类的学习和思维方式。 我们面临的问题如图 １ 所示。 图 １ 问题描述 Ｆｉｇ．１ Ｔｈｅ ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ ｔｈｅ ｐｒｏｂｌｅｍ 源域的数据中往往存在一部分数据为可用数 据，如源域优质图像，目标域的数据通常呈现数据不 足或噪声污染严重［８－９］等情况，如目标域含噪图像。 如何才能得到最接近目标域理想分割的效果图，如 果能够将源域的知识成功迁移到目标域中进行学 习，是否能够大幅提高图像分割性能呢？ 为了验证本文的设想，实现提高图像分割性能的 目标，本文将迁移学习方法融入到经典的极大熵聚类 算法［１０］ （ｍａｘｉｍｕｍ ｅｎｔｒｏｐｙ ｃｌｕｓｔｅｒｉｎｇ，ＭＥＣ）中，以提高 极大熵算法的聚类性能，进而提高该算法对图像分割 的性能。 在将迁移学习策略融入到极大熵聚类算法 的过程中，我们面临的挑战有：１）选择源域的何种知 识进行迁移学习以增强目标域的聚类性能；２）当源域 和目标域的聚类数不一致时如何迁移。 针对挑战 １），本文选用聚类中心作为迁移知 识，因源域的聚类中心是各类所包含点的高度浓缩， 亦是各类的代表点，将其作为聚类中的高级知识具 有更强的指导性；针对挑战 ２），本文提出了一个中 心迁移匹配机制用于处理源域和目标域聚类数不一 致的情况。 无论源域与目标域的聚类数是否相同， 该中心迁移匹配机制均可适用，且能够找到源域与 目标域类中心的最佳匹配关系。 将上述迁移知识与 中心迁移匹配机制融入到经典的极大熵聚类算法 中，本文提出了一种全新的基于知识迁移的极大熵 聚类算法，并将该算法成功应用于纹理图像分割中。 实验结果表明，本文所提出的基于知识迁移的极大 熵聚类算法在不同的迁移场景下对于纹理图像的分 割性能均优于其他迁移以及非迁移聚类算法。 本文 工作的创新主要涵盖以下几点： １）确定了源域中哪种知识能够进行有效迁移， 即从源域数据中获取的聚类中心知识可以用来指导 并增强目标域的聚类性能； ２）给出了一种解决源域与目标域聚类数不同 时，如何进行有效迁移的途径，即提出了一种通用的 中心迁移匹配机制，不仅能够有效解决源域与目标 域聚类数不相同时的迁移问题，还能指导源域、目标 域聚类数相同时，各类中心如何一一对应的问题。 ３）将上述两个问题的解决策略融入到极大熵 聚类算法后，本文提出了一种新的基于知识迁移的 极大熵聚类算法，实验表明该算法的聚类性能较其 他迁移聚类算法以及非迁移聚类算法在处理不同迁 移场景下的纹理分割图像时，具有更加优良的性能。 本文所用的符号说明如表 １ 所示。 表 １ 符号说明 Ｔａｂｌｅ １ Ｔｈｅ ｅｘｐｌａｎａｔｉｏｎ ｏｆ ｓｏｍｅ ｎｏｔａｔｉｏｎｓ 符号 描述 Ｕ ＝ ［ｕｉｊ］ Ｃ×Ｎ 隶属度矩阵， Ｕｉｊ 代表第 ｉ 个 数据属于第 ｊ 个聚类中心的可能性 Ｐ ＝ ［ｐｊｋ］ Ｃ ｔ ×Ｃ ｓ 知识迁移隶属度矩阵， ｐｊｋ 代表目标域第 ｊ 个中心属于源域第 ｋ 个聚类中心的程度 Ｖ ＝ ［Ｖ１ … ＶＣ ］ Ｔ Ｖｉ ＝ ［ｖｉ１ … ｖｉＤ ］ Ｔ 聚类中心矩阵 Ｖｉ 代表第 ｉ 个聚类中心 γ 熵的正则化参数 λ 迁移平衡参数 Ｃ 聚类数 Ｔ 总的迭代次数 Ｎ 样本总数 Ｄ 特征总数 ｓ 如果将 ｓ 作为一个符号的下标， 表示这个符号属于源域 ｔ 如果将 ｔ 作为一个符号的下标， 表示这个符号属于目标域 ·１８０· 智 能 系 统 学 报 第 １２ 卷
第2期 程肠，等：知识迁移的极大嫡聚类算法及其在纹理图像分割中的应用 ·181· 2相关工作 受到许多专家学者的关注，本文将研究中较有价值 的文献罗列如下：文献[11]提出了一种自学聚类算 2.1经典MEC算法 法，该算法是第1个基于互信息的迁移聚类算法，但 MEC聚类算法是基于划分的聚类算法中最具 是由于该算法运行的前提是假定源域数据是可用 代表性的算法之一，该算法的数学表达式简单明了、 的，这在实际生产应用中并不切实际，所以该算法具 物理意义明确，是广大学者较常使用的聚类算法，关 有一定的局限性：文献[12]提出了一种基于谱聚类 于MEC算法的变形算法较经典的如文献[10]。特 的迁移聚类算法，该算法主要针对光谱聚类；文献 别是在针对含有噪声的纹理图像的分割中，MC聚 [13]提出了一种极大嫡的迁移聚类算法，该算法提 类算法相比经典的模糊C均值聚类FCM以及可能 出了基于类中心和隶属度的两种知识迁移机制，但 性聚类PCM等聚类算法具有更好的抗噪性，进而能 该算法并未解决当源域目标域聚类数不一致时，如 够获得更好的聚类性，使得分割结果更加逼近理想 何进行迁移的问题。除了直接提出的迁移聚类算 分割结果。综上，本文选用了MEC算法。MEC算 法，还存在如协同聚类]、多任务聚类、联合聚 法的函数表达式为 类[6]、半监督聚类切)等具有相关性的聚类算法。 其中，协同聚类算法的核心思想为结合样本间不同 的协作能力形成拉动效应，共同推动事物的发展，从 而提高样本的整体聚类精度。多任务聚类的核心思 st.0≤ug≤1， 想为多个聚类任务同时进行，各个聚类任务之间相 互协调配合，以提高聚类性能。联合聚类顾名思义 1≤i≤C,1≤j≤N 就是联合多个聚类算法进行一定关系的联合使用， (1) 聚类精度的提高对于具体聚类算法的选择比较敏 式中：x为第j个数据样本，V,为第i个聚类中心，“ 感。半监督聚类算法需要已知一部分数据样本的标 为样本x属于聚类中心V:的隶属度，C为聚类数，N 签，根据这些标签来指导整个样本数据的聚类过程， 为样本总数，y为熵的正则化参数，Ix:-V:‖2代 从而提高聚类性能。 表样本x与聚类中心V:之间的距离。 现有的迁移聚类算法及其相关算法在处理含噪 由拉格朗日乘子法则，求解式(1)，解得聚类中 的图像分割数据时，均存在各种问题。如文献[13]提 心V:和隶属度U:的表达式为 出的迁移聚类算法无法解决当源域与目标域的图像 分割数不一致时，如何实现迁移的问题。对于其他相 -,i=1,2,…,C (2) 关算法如联合算法来说，图像本身还有噪声，经过层 层的聚类算法进行处理，误差被层层放大，最终的聚 类性能则被削弱。本文所做研究主要针对纹理图像 exp(-∥5-yI2 分割进行展开，我们将在下一节针对算法的抗噪性、 g= 源域目标域聚类数是否一致等问题进行详细描述。 ep(-5v巴 (3) 3基于知识迁移的MEC聚类算法 k=1 i=1,2,…,C;j=1,2,…,N。 3.1基于聚类中心的知识迁移机制 MEC算法步骤如下： 源域中存在许多知识可用于迁移到目标域中进 1)给定聚类数C,样本总数N,正则化参数Y, 行学习。问题在于在具体选择时，应该选择哪种或哪 聚类精度ε，最大迭代次数T,初始化隶属度矩阵U 几种知识的组合进行迁移。源域中存在可以迁移的 和聚类中心V 知识主要有：聚类中心、隶属度、数据样本以及其他经 2)根据式(2)更新聚类中心矩阵V; 过二次或多次处理后获得的知识。考虑到源域的聚 3)根据式(3)更新隶属度矩阵U: 类中心具有较高的数据集中特征，且该知识作为自然 4)当‖U(t+1)-U(t)‖<e或迭代次数达 聚类知识的核心，本文最终选择了聚类中心作为知识 到最大迭代次数T时，算法运行终止，否则，返回2)： 迁移的对象。基于中心迁移的表达式计算的是源域 5)算法收敛后，输出聚类中心V和隶属度矩阵U。 的聚类中心V,与目标域V,之间距离和。 2.2相关迁移聚类算法 4,(V,V,)=a∑IV.-VI2 (4) 近年来，迁移聚类算法及其相关算法的研究已
２ 相关工作 ２．１ 经典 ＭＥＣ 算法 ＭＥＣ 聚类算法是基于划分的聚类算法中最具 代表性的算法之一，该算法的数学表达式简单明了、 物理意义明确，是广大学者较常使用的聚类算法，关 于 ＭＥＣ 算法的变形算法较经典的如文献［１０］。 特 别是在针对含有噪声的纹理图像的分割中，ＭＥＣ 聚 类算法相比经典的模糊 Ｃ 均值聚类 ＦＣＭ 以及可能 性聚类 ＰＣＭ 等聚类算法具有更好的抗噪性，进而能 够获得更好的聚类性，使得分割结果更加逼近理想 分割结果。 综上，本文选用了 ＭＥＣ 算法。 ＭＥＣ 算 法的函数表达式为 ｍｉｎ Ｕ，Ｖ ∑ Ｃ ｉ ＝ １ ∑ Ｎ ｊ ＝ １ μｉｊ‖ｘｊ － Ｖｉ‖２ ＋ γ∑ Ｃ ｉ ＝ １ ∑ Ｎ ｊ ＝ １ μｉｊ ( ｌｎ μｉｊ) ｓ．ｔ． ０ ≤ μｉｊ ≤ １， ∑ Ｃ ｉ ＝ １ μｉｊ ＝ １， １ ≤ ｉ ≤ Ｃ，１ ≤ ｊ ≤ Ｎ （１） 式中： ｘｊ 为第 ｊ 个数据样本， Ｖｉ 为第 ｉ 个聚类中心， ｕｉｊ 为样本 ｘｊ 属于聚类中心 Ｖｉ 的隶属度，Ｃ 为聚类数，Ｎ 为样本总数， γ 为熵的正则化参数， ‖ｘｊ － Ｖｉ‖２ 代 表样本 ｘｊ 与聚类中心 Ｖｉ 之间的距离。 由拉格朗日乘子法则，求解式（１），解得聚类中 心 Ｖｉ 和隶属度 Ｕｉｊ 的表达式为 Ｖｉ ＝ ∑ Ｎ ｊ ＝ １ μｉｊｘｊ ∑ Ｎ ｊ ＝ １ μｉｊ ，ｉ ＝ １，２，…，Ｃ （２） μｉｊ ＝ ｅｘｐ（ － ‖ｘｊ － Ｖｉ‖２ γ ） ∑ Ｃ ｋ ＝ １ ｅｘｐ（ － ‖ｘｊ － Ｖｋ‖２ γ ） ｉ ＝ １，２，…，Ｃ； ｊ ＝ １，２，…，Ｎ。 （３） ＭＥＣ 算法步骤如下： １）给定聚类数 Ｃ，样本总数 Ｎ，正则化参数 γ ， 聚类精度 ε ，最大迭代次数 Ｔ，初始化隶属度矩阵 Ｕ 和聚类中心 Ｖ； ２）根据式（２）更新聚类中心矩阵 Ｖ； ３）根据式（３）更新隶属度矩阵 Ｕ； ４）当 ‖Ｕ(ｔ ＋ １) － Ｕ(ｔ) ‖ ＜ ε 或迭代次数达 到最大迭代次数 Ｔ 时，算法运行终止，否则，返回 ２）； ５）算法收敛后，输出聚类中心 Ｖ 和隶属度矩阵 Ｕ。 ２．２ 相关迁移聚类算法 近年来，迁移聚类算法及其相关算法的研究已 受到许多专家学者的关注，本文将研究中较有价值 的文献罗列如下：文献［１１］提出了一种自学聚类算 法，该算法是第 １ 个基于互信息的迁移聚类算法，但 是由于该算法运行的前提是假定源域数据是可用 的，这在实际生产应用中并不切实际，所以该算法具 有一定的局限性；文献［１２］提出了一种基于谱聚类 的迁移聚类算法，该算法主要针对光谱聚类；文献 ［１３］提出了一种极大熵的迁移聚类算法，该算法提 出了基于类中心和隶属度的两种知识迁移机制，但 该算法并未解决当源域目标域聚类数不一致时，如 何进行迁移的问题。 除了直接提出的迁移聚类算 法，还存在如协同聚类［１４］ 、多任务聚类［１５］ 、联合聚 类［１６］ 、半监督聚类［１７］ 等具有相关性的聚类算法。 其中，协同聚类算法的核心思想为结合样本间不同 的协作能力形成拉动效应，共同推动事物的发展，从 而提高样本的整体聚类精度。 多任务聚类的核心思 想为多个聚类任务同时进行，各个聚类任务之间相 互协调配合，以提高聚类性能。 联合聚类顾名思义 就是联合多个聚类算法进行一定关系的联合使用， 聚类精度的提高对于具体聚类算法的选择比较敏 感。 半监督聚类算法需要已知一部分数据样本的标 签，根据这些标签来指导整个样本数据的聚类过程， 从而提高聚类性能。 现有的迁移聚类算法及其相关算法在处理含噪 的图像分割数据时，均存在各种问题。 如文献［１３］提 出的迁移聚类算法无法解决当源域与目标域的图像 分割数不一致时，如何实现迁移的问题。 对于其他相 关算法如联合算法来说，图像本身还有噪声，经过层 层的聚类算法进行处理，误差被层层放大，最终的聚 类性能则被削弱。 本文所做研究主要针对纹理图像 分割进行展开，我们将在下一节针对算法的抗噪性、 源域目标域聚类数是否一致等问题进行详细描述。 ３ 基于知识迁移的 ＭＥＣ 聚类算法 ３．１ 基于聚类中心的知识迁移机制 源域中存在许多知识可用于迁移到目标域中进 行学习。 问题在于在具体选择时，应该选择哪种或哪 几种知识的组合进行迁移。 源域中存在可以迁移的 知识主要有：聚类中心、隶属度、数据样本以及其他经 过二次或多次处理后获得的知识。 考虑到源域的聚 类中心具有较高的数据集中特征，且该知识作为自然 聚类知识的核心，本文最终选择了聚类中心作为知识 迁移的对象。 基于中心迁移的表达式计算的是源域 的聚类中心 Ｖｓ 与目标域 Ｖｔ 之间距离和。 Δ１（Ｖｓ，Ｖｔ） ＝ λ∑ Ｃｔ ｊ ＝ １ ‖ Ｖｊ，ｔ － Ｖｊ，ｓ‖２ （４） 第 ２ 期 程旸，等：知识迁移的极大熵聚类算法及其在纹理图像分割中的应用 ·１８１·
.182 智能系统学报 第12卷 式中：入为迁移平衡参数，一般大于0，其值越大，表 1)知识提取 示源域知识在目标域中所占分量越大；C,为目标域 利用经典的极大嫡聚类算法对源域的数据集进 聚类数；V为目标域中第j个聚类中心；V为源 行聚类，得到源域的聚类中心V,。知识提取的表达 域中第j个聚类中心。 式为 3.2基于聚类中心的迁移匹配机制 式(4)尽管实现了源域知识向目标域迁移进行 指导学习的目的，但其并未解决源域与目标域的聚 类数不相同时，如何进行迁移和中心间的匹配问题。 st4e[0,1],∑u=1,1≤i≤G,1≤j≤N 本小节，我们将致力于探讨能否确定一个通用的准 = 则，无论源域与目标域的聚类数是否一致均能自适 (6) 应地匹配。为了解决上述问题，本文引入了模糊聚 通过求解式(6)，得到源域聚类中心V,。 类理论来解决该问题，从而提出了一种中心迁移匹 2)知识匹配与迁移 配机制。中心迁移匹配机制的表达式为 利用中心迁移匹配机制将阶段1得到的聚类知 识进行自适应匹配，使源域中的聚类中心（知识）能 4,(Dv,y)=AΣP=IV.-V. C 够与目标域中的聚类中心进行完美匹配，以解决源 域和目标域不同类时的迁移问题。同时，将匹配后 stp4e[0,1],∑P4=1,1≤i≤N 的源域知识迁移到目标域中加以利用。结合极大熵 k=1 聚类算法，基于知识迁移的极大嫡聚类算法(KT 1≤广≤C,1≤k≤C MEC),该算法的函数表达式为 (5) 式(5)解决了源域的聚类中心V,与目标域V, JKT-MEC 、5‖xw-,/ 之间的匹配问题。其中，参数P,:为知识迁移隶属 度，P:表示目标域的第j个类中心与源域的第k个 2 g.+A∑ pV-V+ = 类中心进行匹配的隶属度。当P:→1，表示目标域 的第j个类中心完全匹配源域的第k个类中心：当 ∑PlnP (7) P:→0，表示目标域的第j个类中心不匹配源域的第 k个类中心，若出现不匹配的情况，源域中未找到匹 .ue[0,l],∑u=1,p4∈[0,1].∑pt 配聚类中心的那个聚类中心将会从源域的聚类中心 =1 =1 中删除掉。V,为目标域数据样本的大小，C,为目标 1≤j≤N,1≤i≤C,1≤k≤C 域聚类数，C,为源域聚类数。 式中：“为目标域隶属度，为目标域第j个样本 3.3 基于知识迁移的极大熵聚类算法 数据，V,为目标域第i个聚类中心，y为嫡的正则 将上述知识迁移机制与知识匹配机制融入到 化参数，C,为目标域聚类数，N,为目标域样本总数， MEC聚类算法后，本文提出一种基于知识迁移的极 入为知识迁移的平衡系数，P:表示目标域的第i个 大嫡聚类算法。该算法的流程主要分为两个阶段， 类中心迁移到源域的第k个类中心的知识迁移隶属 流程图如图2所示。 度，V为源域的第k个类中心，刀为迁移项的正则 阶段1：知识提取 化参数。通过拉格朗日乘子法最小化式(7)，各参 聚类知识 数表达式如下： 源域 MEC算法 数据果 …,'cr 目标域隶属度u,1: 阶段2：知识匹配与迁移 ep(-5-.I3 = 目标域 基于知识的中心迁移匹配 数据集 ∑ep(-a- 2 目标域聚类中心4： 基于知识迁移的极大嫡聚类算法 N: C 最优聚类结果 s11 图2KT-MEC算法流程图 Th +pa Fig.2 The flowchart of KT-MEC algorithm k=
式中： λ 为迁移平衡参数，一般大于 ０，其值越大，表 示源域知识在目标域中所占分量越大； Ｃｔ 为目标域 聚类数； Ｖｊ，ｔ 为目标域中第 ｊ 个聚类中心； Ｖｊ，ｓ 为源 域中第 ｊ 个聚类中心。 ３．２ 基于聚类中心的迁移匹配机制 式（４）尽管实现了源域知识向目标域迁移进行 指导学习的目的，但其并未解决源域与目标域的聚 类数不相同时，如何进行迁移和中心间的匹配问题。 本小节，我们将致力于探讨能否确定一个通用的准 则，无论源域与目标域的聚类数是否一致均能自适 应地匹配。 为了解决上述问题，本文引入了模糊聚 类理论来解决该问题，从而提出了一种中心迁移匹 配机制。 中心迁移匹配机制的表达式为 Δ２ Ｐｔ，ｓ，Ｖｔ，Ｖｓ ( ) ＝ λ∑ Ｃｔ ｊ ＝ １ ∑ Ｃｓ ｋ ＝ １ ｐｊｋ ‖ Ｖｊ，ｔ － Ｖｋ，ｓ‖２ ｓ．ｔ． ｐｊｋ ∈ ［０，１］，∑ Ｃｓ ｋ ＝ １ ｐｊｋ ＝ １，１ ≤ ｉ ≤ Ｎｔ １ ≤ ｊ ≤ Ｃｔ，１ ≤ ｋ ≤ Ｃｓ （５） 式（５）解决了源域的聚类中心 Ｖｓ 与目标域 Ｖｔ 之间的匹配问题。 其中，参数 Ｐｔ，ｓ 为知识迁移隶属 度， ｐｊｋ 表示目标域的第 ｊ 个类中心与源域的第 ｋ 个 类中心进行匹配的隶属度。 当 ｐｊｋ → １，表示目标域 的第 ｊ 个类中心完全匹配源域的第 ｋ 个类中心；当 ｐｊｋ → ０，表示目标域的第 ｊ 个类中心不匹配源域的第 ｋ 个类中心，若出现不匹配的情况，源域中未找到匹 配聚类中心的那个聚类中心将会从源域的聚类中心 中删除掉。 Ｎｔ 为目标域数据样本的大小， Ｃｔ 为目标 域聚类数， Ｃｓ 为源域聚类数。 ３．３ 基于知识迁移的极大熵聚类算法 将上述知识迁移机制与知识匹配机制融入到 ＭＥＣ 聚类算法后，本文提出一种基于知识迁移的极 大熵聚类算法。 该算法的流程主要分为两个阶段， 流程图如图 ２ 所示。 图 ２ ＫＴ⁃ＭＥＣ 算法流程图 Ｆｉｇ．２ Ｔｈｅ ｆｌｏｗｃｈａｒｔ ｏｆ ＫＴ⁃ＭＥＣ ａｌｇｏｒｉｔｈｍ １）知识提取 利用经典的极大熵聚类算法对源域的数据集进 行聚类，得到源域的聚类中心 Ｖｓ 。 知识提取的表达 式为 ＪＭＥＣ ＝ ∑ Ｃｓ ｉ ＝ １ ∑ Ｎｓ ｊ ＝ １ μｉｊ，ｓ ‖ ｘｊ，ｔ － Ｖｉ，ｓ‖２ ＋ γ∑ Ｃｓ ｉ ＝ １ ∑ Ｎｓ ｊ ＝ １ μｉｊ，ｓ ｌｎ μｉｊ，ｓ ｓ．ｔ． μｉｊ，ｓ ∈ ［０，１］，∑ Ｃｓ ｉ ＝ １ μｉｊ，ｓ ＝ １，１ ≤ ｉ ≤ Ｃｓ，１ ≤ ｊ ≤ Ｎｓ （６） 通过求解式（６），得到源域聚类中心 Ｖｓ 。 ２）知识匹配与迁移 利用中心迁移匹配机制将阶段 １ 得到的聚类知 识进行自适应匹配，使源域中的聚类中心（知识）能 够与目标域中的聚类中心进行完美匹配，以解决源 域和目标域不同类时的迁移问题。 同时，将匹配后 的源域知识迁移到目标域中加以利用。 结合极大熵 聚类算法，基于知识迁移的极大熵聚类算法（ＫＴ⁃ ＭＥＣ），该算法的函数表达式为 ＪＫＴ－ＭＥＣ ＝ ∑ Ｃｔ ｉ ＝ １ ∑ Ｎｔ ｊ ＝ １ μｉｊ，ｔ ‖ ｘｊ，ｔ － Ｖｉ，ｔ‖２ ＋ γ∑ Ｃｔ ｉ ＝ １ ∑ Ｎｔ ｊ ＝ １ μｉｊ，ｔ ｌｎ μｉｊ，ｔ ＋ λ∑ Ｃｔ ｉ ＝ １ ∑ Ｃｓ ｋ ＝ １ ｐｉｋ ‖ Ｖｉ，ｔ － Ｖｋ，ｓ‖２ ＋ η∑ Ｃｔ ｉ ＝ １ ∑ Ｃｓ ｋ ＝ １ ｐｉｋ ｌｎ ｐｉｋ （７） ｓ．ｔ．ｕｉｊ，ｔ ∈ ［０，１］，∑ Ｃｔ ｉ ＝ １ μｉｊ，ｔ ＝ １，ｐｉｋ ∈ ［０，１］，∑ Ｃｓ ｋ ＝ １ ｐｉｋ ＝ １ １ ≤ ｊ ≤ Ｎｔ，１ ≤ ｉ ≤ Ｃｔ，１ ≤ ｋ ≤ Ｃｓ 式中： ｕｉｊ，ｔ 为目标域隶属度， ｘｊ，ｔ 为目标域第 ｊ 个样本 数据， Ｖｉ，ｔ 为目标域第 ｉ 个聚类中心， γ 为熵的正则 化参数， Ｃｔ 为目标域聚类数， Ｎｔ 为目标域样本总数， λ 为知识迁移的平衡系数， ｐｉｋ 表示目标域的第 ｉ 个 类中心迁移到源域的第 ｋ 个类中心的知识迁移隶属 度， Ｖｋ，ｓ 为源域的第 ｋ 个类中心， η 为迁移项的正则 化参数。 通过拉格朗日乘子法最小化式（７），各参 数表达式如下： 目标域隶属度 ｕｉｊ，ｔ ： μｉｊ，ｔ ＝ ｅｘｐ（ － ‖ ｘｊ，ｔ － Ｖｉ，ｔ‖２ γ ） ∑ Ｃｔ ｌ ＝ １ ｅｘｐ（ － ‖ ｘｊ，ｔ － Ｖｌ，ｔ‖２ γ ） 目标域聚类中心 ｖｉ，ｔ ： ｖｉ，ｔ ＝ ∑ Ｎｔ ｊ ＝ １ μｉｊ，ｔ ｘｊ，ｔ ＋ λ∑ Ｃｓ ｋ ＝ １ ｐｉｋ Ｖｋ，ｓ ∑ Ｎｔ ｊ ＝ １ μｉｊ，ｔ ＋ λ∑ Ｃｓ ｋ ＝ １ ｐｉｋ ·１８２· 智 能 系 统 学 报 第 １２ 卷
第2期 程肠，等：知识迁移的极大嫡聚类算法及其在纹理图像分割中的应用 ·183 知识迁移隶属度Pk: 为3、4、5、6，σ=0.1。 exp(-Vi) ∑ep(-4 vv巴 通过上述两个阶段的流程，将各源域与目标域 (a源域S b)7 (c)7 (d)7 的相关数据带入到各表达式中，得到最终的聚类结 果。KT-MEC聚类算法的详细步骤如下： 输入源域数据集x,目标域数据集x,源域聚 类数C,目标域聚类数C,嫡的正则化参数y,收敛 ©T, (0T (g)T (h)7 ①T 精度ε，最大迭代次数T: 输出目标域隶属度U,目标域聚类中心V,。 图3源域及不同情况下目标域的纹理图像数据 知识提取阶段： Fig.3 Texture image datasets of one source domain and 1)随机初始化源域的隶属度矩阵U,; some different target domains 2)利用式(2)求得源域的聚类中心V,: 理想分割图可用来为各算法的分割性能优劣作 3)利用式(3)求得源域的隶属度U,: 参考，理想的纹理分割结果如图4所示。 4)满足迭代终止条件则输出源域聚类中心V, 并终止算法，否则返回2)。 知识匹配与迁移阶段： 1)随机初始化目标域的隶属度矩阵U,以及聚 类中心V,； 2)利用式(8)求得目标域的隶属度矩阵U,; (aT、T bT、T (c)7. 3)利用式(9)求得目标域聚类中心矩阵V,: 4)利用式(10)求得目标域的知识迁移隶属度 矩阵Ps; 5)如满足迭代终止条件则输出目标域隶属度 矩阵，聚类中心V,并终止算法，否则返回2)。 (d)Ta (e), (f)T. 4实验与分析 图4不同纹理图像的理想分割结果 为了评估本文所提KT-MEC聚类算法的性能， Fig.4 Ideal segmentation result of different texture images 实验所使用的对比算法有：非迁移MEC聚类算法、 纹理图像分割的过程概括如下。文献[先采 自学聚类算法(STC)m)、迁移谱聚类算法 用Gabor滤波器在6个方向提取纹理图像特征的滤 (TSC)[2]、DRCC协同聚类算法[s)、CombKM多任 波器组。每个纹理图像的数据集包含30维特征，数 务聚类算法u)。本文实验所用数据集为Brodatz纹 据集大小为10000。不同算法得到的类被认为分割 理图像分割数据集。 图像的一个区域。 Brodatz纹理图像由7个基本纹理图像(D3、D。、 4.1实验参数设置 D2DgD3D6、Dg)合成，具体见图3。合成纹理 通常用来衡量聚类算法性能的指标有：NMI、 图像的大小被重新调整为100像素×100像素。为 RL、Entropy、F-measure等，本文主要采用以下两种评 了模拟真实数据集环境，本文将不同标准偏差的高 估指标： 斯噪声添加到各个纹理图像中。实验中，图3(a)为 源域的图像数据，图3(b)~(i)为在不同的目标域 (NogN NMI=- 中的图像数据。为了模拟不同的迁移场景，我们设 计了两种不同迁纹理图像分割任务，目标域图像T, N log N/N· ∑N,log N/N ~T4与源域图像的类别数均为7，σ=0.1,0.2,0.0， Joo +fu 0.1;目标域图像T,~T。与源域图像的类别数分别 RI=N(N-1)/2
知识迁移隶属度 ｐｉｋ ： ｐｉｋ ＝ ｅｘｐ（ － λ ‖ Ｖｉ，ｔ － Ｖｋ，ｓ‖２ η ） ∑ Ｃｓ ｌ ＇ ＝ １ ｅｘｐ（ － λ ‖ Ｖｉ，ｔ － Ｖｌ ＇，ｓ‖２ η ） 通过上述两个阶段的流程，将各源域与目标域 的相关数据带入到各表达式中，得到最终的聚类结 果。 ＫＴ⁃ＭＥＣ 聚类算法的详细步骤如下： 输入 源域数据集 ｘｓ，目标域数据集 ｘｔ，源域聚 类数 Ｃｓ，目标域聚类数 Ｃｔ，熵的正则化参数 γ，收敛 精度 ε，最大迭代次数 Ｔ； 输出 目标域隶属度Ｕｔ，目标域聚类中心Ｖｔ。 知识提取阶段： １）随机初始化源域的隶属度矩阵Ｕｓ； ２）利用式（２）求得源域的聚类中心Ｖｓ； ３）利用式（３）求得源域的隶属度Ｕｓ； ４）满足迭代终止条件则输出源域聚类中心Ｖｓ 并终止算法，否则返回 ２）。 知识匹配与迁移阶段： １）随机初始化目标域的隶属度矩阵Ｕｔ 以及聚 类中心Ｖｔ； ２）利用式（８）求得目标域的隶属度矩阵Ｕｔ； ３）利用式（９）求得目标域聚类中心矩阵Ｖｔ； ４）利用式（１０）求得目标域的知识迁移隶属度 矩阵Ｐｔｓ； ５）如满足迭代终止条件则输出目标域隶属度 矩阵Ｕｔ，聚类中心Ｖｔ，并终止算法，否则返回 ２）。 ４ 实验与分析 为了评估本文所提 ＫＴ⁃ＭＥＣ 聚类算法的性能， 实验所使用的对比算法有：非迁移 ＭＥＣ 聚类算法、 自 学 聚 类 算 法 （ ＳＴＣ ） ［１１］ 、 迁 移 谱 聚 类 算 法 （ＴＳＣ） ［１２］ 、ＤＲＣＣ 协同聚类算法［１５］ 、ＣｏｍｂＫＭ 多任 务聚类算法［１５］ 。 本文实验所用数据集为 Ｂｒｏｄａｔｚ 纹 理图像分割［１７］数据集。 Ｂｒｏｄａｔｚ 纹理图像由 ７ 个基本纹理图像（Ｄ３ 、Ｄ６ 、 Ｄ２１ 、Ｄ４９ 、Ｄ５３ 、Ｄ５６ 、Ｄ９３ ）合成，具体见图 ３。 合成纹理 图像的大小被重新调整为 １００ 像素×１００ 像素。 为 了模拟真实数据集环境，本文将不同标准偏差的高 斯噪声添加到各个纹理图像中。 实验中，图 ３（ａ）为 源域的图像数据，图 ３（ ｂ） ～ （ ｉ）为在不同的目标域 中的图像数据。 为了模拟不同的迁移场景，我们设 计了两种不同迁纹理图像分割任务，目标域图像 Ｔ１ ～ Ｔ４ 与源域图像的类别数均为 ７， σ ＝ ０．１，０．２，０．０， ０．１；目标域图像 Ｔ５ ～ Ｔ８ 与源域图像的类别数分别 为 ３、４、５、６， σ ＝ ０．１。 图 ３ 源域及不同情况下目标域的纹理图像数据 Ｆｉｇ．３ Ｔｅｘｔｕｒｅ ｉｍａｇｅ ｄａｔａｓｅｔｓ ｏｆ ｏｎｅ ｓｏｕｒｃｅ ｄｏｍａｉｎ ａｎｄ ｓｏｍｅ ｄｉｆｆｅｒｅｎｔ ｔａｒｇｅｔ ｄｏｍａｉｎｓ 理想分割图可用来为各算法的分割性能优劣作 参考，理想的纹理分割结果如图 ４ 所示。 图 ４ 不同纹理图像的理想分割结果 Ｆｉｇ．４ Ｉｄｅａｌ ｓｅｇｍｅｎｔａｔｉｏｎ ｒｅｓｕｌｔ ｏｆ ｄｉｆｆｅｒｅｎｔ ｔｅｘｔｕｒｅ ｉｍａｇｅｓ 纹理图像分割的过程概括如下。 文献［１９］ 先采 用 Ｇａｂｏｒ 滤波器在 ６ 个方向提取纹理图像特征的滤 波器组。 每个纹理图像的数据集包含 ３０ 维特征，数 据集大小为 １０ ０００。 不同算法得到的类被认为分割 图像的一个区域。 ４．１ 实验参数设置 通常用来衡量聚类算法性能的指标有：ＮＭＩ、 ＲＩ、Ｅｎｔｒｏｐｙ、Ｆ⁃ｍｅａｓｕｒｅ 等，本文主要采用以下两种评 估指标： ＮＭＩ ＝ ∑ Ｃ ｉ ＝ １ ∑ Ｃ ｊ ＝ １ （Ｎｉ，ｊ ｌｏｇ Ｎ·Ｎｉ，ｊ） ／ Ｎｉ·Ｎｊ ∑ Ｃ ｉ ＝ １ Ｎｉ ｌｏｇ Ｎｉ ／ Ｎ·∑ Ｃ ｊ ＝ １ Ｎｊ ｌｏｇ Ｎｊ ／ Ｎ ＲＩ ＝ ｆ ００ ＋ ｆ １１ Ｎ（Ｎ － １） ／ ２ 第 ２ 期 程旸，等：知识迁移的极大熵聚类算法及其在纹理图像分割中的应用 ·１８３·
.184 智能系统学报 第12卷 式中：N,表示第i个聚类与类j的契合程度，N:表 在本文所使用的对比算法中，极大嫡聚类MEC 示第i个聚类所包含的数据样本量，N,表示类j所 的嫡正则化参数y∈{0：0.05：1}，协同聚类 包含的数据样本量，而N表示整个数据样本的总量 DRCC的正则化参数A和4取值为 大小。RI表达式中的f。表示数据点具有不同的类 {0.1,1,10,100,500,1000}。 标签并且属于不同类的配对点数目，f,则表示数据 上述所有参数均由网格搜索[18]得到最优值， 点具有相同的类标签并且属于同一类的配对点数 实验结果均为运行算法15次的结果取均值及方 目，而N表示整个数据样本的总量大小。NMI、I 差所得。实验均在MARTLAB8.1.0.604 两种评价指标的取值范围均为[0,1]，取值越大表 (R2013a)平台下完成，操作系统为64位Win 明算法的性能越好。 dows7,CPU Intel(R)Core(TM)i3-3240 3.40 在本文所使用的迁移算法中，KT-MEC算法的 GHz,内存为4GB。 嫡正则化参数y∈{0：0.05：1}，迁移平衡因子 4.2聚类数相同的纹理图像分割 入∈{0.1,0.5,1,5,10,50,100,500,1000}，迁移隶 表2与图5分别为源域与目标域聚类数相同 属度的正则化参数7∈{0：0.05：1}。TSC算法和 时，各算法对纹理图像进行分割时的聚类性能对比 ST℃算法的参数设置详见文献[11]和文献[12]。 与图像分割结果对比。 表2源域与目标域的聚类数相同时的各算法聚类性能对比 Table 2 Performance comparison of algorithms when the number of clusters of source domain and target domain are same 数据集 评价指标 MEC CombKM DRCC STC TSC KT-MEC NMI-mean 0.4151 0.2500 0.2480 0.4986 0.5133 0.6336 NMI-std 0.0052 0.0308 0.0213 0 0.0066 0.0049 T RI-mean 0.8268 0.7532 0.7905 0.8690 0.8772 0.9063 RI-std 0.0087 0.0154 0.0037 0 0.0022 0.0011 NMI-mean 0.3027 0.2311 0.2264 0.3696 0.3470 0.5350 NMI-std 0.0048 0.0481 0.0188 0 0 0.0091 RI-mean 0.7777 0.7063 0.7783 0.7839 0.7708 0.8569 RI-std 0.0052 0.0287 0.0015 0 0 0.0124 NMI-mean 0.6039 0.6092 0.3422 0.6511 0.6104 0.6198 NMI-std 0.0359 0.0240 0.0241 0 5.77×104 0.0032 RI-mean 0.8553 0.8611 0.7849 0.8877 0.8726 0.8644 RI-std 0.0185 0.0268 0.0204 0 2.31×104 0.0008 NMI-mean 0.4557 0.4261 0.2413 0.5497 0.5511 0.6147 NMI-std 0.0197 0.0193 0.0143 0 0 0.0011 T RI-mean 0.8178 0.8082 0.7848 0.8472 0.8496 0.8757 RI-std 0.0044 0.0073 0.0013 0 0 0.0008 (a)6种算法分别在数据集T,上的图像分割结果 (b)6种算法分别在数据集T2上的图像分割结果
式中： Ｎｉ，ｊ 表示第 ｉ 个聚类与类 ｊ 的契合程度， Ｎｉ 表 示第 ｉ 个聚类所包含的数据样本量， Ｎｊ 表示类 ｊ 所 包含的数据样本量，而 Ｎ 表示整个数据样本的总量 大小。 ＲＩ 表达式中的 ｆ ００ 表示数据点具有不同的类 标签并且属于不同类的配对点数目， ｆ １１ 则表示数据 点具有相同的类标签并且属于同一类的配对点数 目，而 Ｎ 表示整个数据样本的总量大小。 ＮＭＩ、ＲＩ 两种评价指标的取值范围均为［０，１］，取值越大表 明算法的性能越好。 在本文所使用的迁移算法中，ＫＴ⁃ＭＥＣ 算法的 熵正则化参数 γ ∈｛ ０ ∶ ０． ０５ ∶ １｝，迁移平衡因子 λ ∈｛０．１，０．５，１，５，１０，５０，１００，５００，１ ０００｝ ， 迁移隶 属度的正则化参数 η ∈｛０ ∶ ０．０５ ∶ １｝。 ＴＳＣ 算法和 ＳＴＣ 算法的参数设置详见文献［１１］和文献［１２］。 在本文所使用的对比算法中，极大熵聚类 ＭＥＣ 的熵正则化参数 γ ∈ ｛ ０ ∶ ０． ０５ ∶ １｝， 协同聚类 ＤＲＣＣ 的 正 则 化 参 数 λ 和 μ 取 值 为 {０．１，１，１０，１００，５００，１ ０００} 。 上述所有参数均由网格搜索［ １８］ 得到最优值， 实验结果均为运行算法 １５ 次的结果取均值及方 差 所 得。 实 验 均 在 ＭＡＲＴＬＡＢ ８． １． ０． ６０４ （Ｒ２０１３ａ）平 台 下 完 成， 操 作 系 统 为 ６４ 位 Ｗｉｎ⁃ ｄｏｗｓ７，ＣＰＵ 为 Ｉｎｔｅｌ（ Ｒ） Ｃｏｒｅ（ ＴＭ） ｉ３⁃３２４０ ３． ４０ ＧＨｚ，内存为 ４ ＧＢ。 ４．２ 聚类数相同的纹理图像分割 表 ２ 与图 ５ 分别为源域与目标域聚类数相同 时，各算法对纹理图像进行分割时的聚类性能对比 与图像分割结果对比。 表 ２ 源域与目标域的聚类数相同时的各算法聚类性能对比 Ｔａｂｌｅ ２ Ｐｅｒｆｏｒｍａｎｃｅ ｃｏｍｐａｒｉｓｏｎ ｏｆ ａｌｇｏｒｉｔｈｍｓ ｗｈｅｎ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｃｌｕｓｔｅｒｓ ｏｆ ｓｏｕｒｃｅ ｄｏｍａｉｎ ａｎｄ ｔａｒｇｅｔ ｄｏｍａｉｎ ａｒｅ ｓａｍｅ 数据集 评价指标 ＭＥＣ ＣｏｍｂＫＭ ＤＲＣＣ ＳＴＣ ＴＳＣ ＫＴ⁃ＭＥＣ Ｔ１ ＮＭＩ⁃ｍｅａｎ ０．４１５ １ ０．２５０ ０ ０．２４８ ０ ０．４９８ ６ ０．５１３ ３ ０．６３３ ６ ＮＭＩ⁃ｓｔｄ ０．００５ ２ ０．０３０ ８ ０．０２１ ３ ０ ０．００６ ６ ０．００４ ９ ＲＩ⁃ｍｅａｎ ０．８２６ ８ ０．７５３ ２ ０．７９０ ５ ０．８６９ ０ ０．８７７ ２ ０．９０６ ３ ＲＩ⁃ｓｔｄ ０．００８ ７ ０．０１５ ４ ０．００３ ７ ０ ０．００２ ２ ０．００１ １ Ｔ２ ＮＭＩ⁃ｍｅａｎ ０．３０２ ７ ０．２３１ １ ０．２２６ ４ ０．３６９ ６ ０．３４７ ０ ０．５３５ ０ ＮＭＩ⁃ｓｔｄ ０．００４ ８ ０．０４８ １ ０．０１８ ８ ０ ０ ０．００９ １ ＲＩ⁃ｍｅａｎ ０．７７７ ７ ０．７０６ ３ ０．７７８ ３ ０．７８３ ９ ０．７７０ ８ ０．８５６ ９ ＲＩ⁃ｓｔｄ ０．００５ ２ ０．０２８ ７ ０．００１ ５ ０ ０ ０．０１２ ４ Ｔ３ ＮＭＩ⁃ｍｅａｎ ０．６０３ ９ ０．６０９ ２ ０．３４２ ２ ０．６５１ １ ０．６１０ ４ ０．６１９ ８ ＮＭＩ⁃ｓｔｄ ０．０３５ ９ ０．０２４ ０ ０．０２４ １ ０ ５．７７×１０ －４ ０．００３ ２ ＲＩ⁃ｍｅａｎ ０．８５５ ３ ０．８６１ １ ０．７８４ ９ ０．８８７ ７ ０．８７２ ６ ０．８６４ ４ ＲＩ⁃ｓｔｄ ０．０１８ ５ ０．０２６ ８ ０．０２０ ４ ０ ２．３１×１０ －４ ０．０００ ８ Ｔ４ ＮＭＩ⁃ｍｅａｎ ０．４５５ ７ ０．４２６ １ ０．２４１ ３ ０．５４９ ７ ０．５５１ １ ０．６１４ ７ ＮＭＩ⁃ｓｔｄ ０．０１９ ７ ０．０１９ ３ ０．０１４ ３ ０ ０ ０．００１ １ ＲＩ⁃ｍｅａｎ ０．８１７ ８ ０．８０８ ２ ０．７８４ ８ ０．８４７ ２ ０．８４９ ６ ０．８７５ ７ ＲＩ⁃ｓｔｄ ０．００４ ４ ０．００７ ３ ０．００１ ３ ０ ０ ０．０００ ８ （ａ） ６ 种算法分别在数据集 Ｔ１ 上的图像分割结果 （ｂ） ６ 种算法分别在数据集 Ｔ２ 上的图像分割结果 ·１８４· 智 能 系 统 学 报 第 １２ 卷
第2期 程肠，等：知识迁移的极大嫡聚类算法及其在纹理图像分割中的应用 ·185. 如表2和图5的聚类结果所示，本文提出的KT-MEC 算法与协同算法DRCC以及多任务聚类算法Com bKM相比，本文算法仍然较优，这是因为多任务聚类 与迁移聚类的原理明显不同。协同聚类与多任务聚 类在集中完成多个聚类任务的同时，通过使用每个聚 类任务的独立信息和多个聚类任务间的潜在相关信 息，以获得良好的聚类性能。然而，在迁移聚类场景 中，目标域的数据不能提供正确的聚类信息，这就会 使得协同聚类和多任务聚类算法的聚类性能变弱。 中” 此外，由于本文提出的KT-MEC算法较其他迁 (c)6种算法分别在数据集T,上的图像分割结果 移聚类算法、协同聚类算法、多任务聚类算法具有更 好的聚类性能，这进一步表明先进的集群知识（如聚 类中心)可以被看作是一种有效的迁移知识，以提高 目标域的聚类性能。这也表明本文提出的聚类中心 自适应匹配机制能使源域的类中心与目标域的类中 心进行成功匹配，达到知识迁移的目的。 4.3聚类数不同的纹理图像分割 表3与图6分别为源域与目标域聚类数不同 时，各算法对纹理图像进行分割时的聚类性能对比 与图像分割结果对比。 (d)6种算法分别在数据集T:上的图像分割结果 由于协同聚类算法DRCC、迁移聚类算法STC 图5源域与目标域聚类数相同的含噪纹理图像分割结果 和T$C的聚类机制需要源域与目标域有相同的聚类 Fig.5 Segmentation results of clustering algorithms for 数，所以这3种聚类算法不能在源域与目标域聚类 noisy texture images with the same number of 数不同的迁移场景下运行。 clusters between source domain and target domain 表3和图6的实验结果表明本文提出KT-MEC 从表2和图5的聚类结果可以观察到，迁移聚类 聚类算法在图像分割性能上较经典的非迁移MEC 算法(STC、TSC、KT-MEC)在T,~T,数据集上取得了比 算法以及CombKM算法具有更优的聚类性能。此 传统的非迁移聚类算法更高的聚类精度。表2中NM 外，得益于本文提出的基于知识的中心迁移机制，源 和值以及图5中可视化的分割结果，均表明本文所 域与目标域聚类数不同的迁移场景中的聚类结果表 提出的KT-MEC聚类算法优于经典的MEC算法。以 上结果进一步表明，在含噪的数据环境中，本文KT 明了本文提出的基于知识的中心匹配机制可挖掘出 EC算法具有比MEC更好的鲁棒性，也进一步表明迁 源域和目标域之间完美的聚类中心的配对关系，进 移学习技术是提高算法鲁棒性的有效途径。 而确保知识迁移的质量。 表3源域与目标域的聚类数不同时的各算法聚类性能对比 Table 3 Performance comparison of algorithms when the number of clusters of source domain and target domain are different 数据集 评价指标 MEC CombKM DRCC STC TSC KT-MEC NMI-mean 0.4644 0.5557 一 0.6501 NMI-std 0.0002 0.0201 T 一 一 7.064×105 RI-mean 0.7817 0.7310 一 一 0.8360 RI-std 0.0001 0.0220 5.90x105 NMI-mean 0.2680 0.5087 一 0.7628 NMI-std 0.0050 0.0690 - 1.11×10-16 RI-mean 0.6872 0.6578 0.9168 RI-std 0.0020 0.0888 1.35×10-6
（ｃ） ６ 种算法分别在数据集 Ｔ３ 上的图像分割结果 （ｄ） ６ 种算法分别在数据集 Ｔ４ 上的图像分割结果 图 ５ 源域与目标域聚类数相同的含噪纹理图像分割结果 Ｆｉｇ．５ Ｓｅｇｍｅｎｔａｔｉｏｎ ｒｅｓｕｌｔｓ ｏｆ ｃｌｕｓｔｅｒｉｎｇ ａｌｇｏｒｉｔｈｍｓ ｆｏｒ ｎｏｉｓｙ ｔｅｘｔｕｒｅ ｉｍａｇｅｓ ｗｉｔｈ ｔｈｅ ｓａｍｅ ｎｕｍｂｅｒ ｏｆ ｃｌｕｓｔｅｒｓ ｂｅｔｗｅｅｎ ｓｏｕｒｃｅ ｄｏｍａｉｎ ａｎｄ ｔａｒｇｅｔ ｄｏｍａｉｎ 从表 ２ 和图 ５ 的聚类结果可以观察到，迁移聚类 算法（ＳＴＣ、ＴＳＣ、ＫＴ⁃ＭＥＣ）在 Ｔ１ ～Ｔ４ 数据集上取得了比 传统的非迁移聚类算法更高的聚类精度。 表 ２ 中 ＮＭＩ 和 ＲＩ 值以及图 ５ 中可视化的分割结果，均表明本文所 提出的 ＫＴ⁃ＭＥＣ 聚类算法优于经典的 ＭＥＣ 算法。 以 上结果进一步表明，在含噪的数据环境中，本文 ＫＴ⁃ ＭＥＣ 算法具有比 ＭＥＣ 更好的鲁棒性，也进一步表明迁 移学习技术是提高算法鲁棒性的有效途径。 如表 ２ 和图 ５ 的聚类结果所示，本文提出的 ＫＴ⁃ＭＥＣ 算法与协同算法 ＤＲＣＣ 以及多任务聚类算法 Ｃｏｍ⁃ ｂＫＭ 相比，本文算法仍然较优，这是因为多任务聚类 与迁移聚类的原理明显不同。 协同聚类与多任务聚 类在集中完成多个聚类任务的同时，通过使用每个聚 类任务的独立信息和多个聚类任务间的潜在相关信 息，以获得良好的聚类性能。 然而，在迁移聚类场景 中，目标域的数据不能提供正确的聚类信息，这就会 使得协同聚类和多任务聚类算法的聚类性能变弱。 此外，由于本文提出的 ＫＴ⁃ＭＥＣ 算法较其他迁 移聚类算法、协同聚类算法、多任务聚类算法具有更 好的聚类性能，这进一步表明先进的集群知识（如聚 类中心）可以被看作是一种有效的迁移知识，以提高 目标域的聚类性能。 这也表明本文提出的聚类中心 自适应匹配机制能使源域的类中心与目标域的类中 心进行成功匹配，达到知识迁移的目的。 ４．３ 聚类数不同的纹理图像分割 表 ３ 与图 ６ 分别为源域与目标域聚类数不同 时，各算法对纹理图像进行分割时的聚类性能对比 与图像分割结果对比。 由于协同聚类算法 ＤＲＣＣ、迁移聚类算法 ＳＴＣ 和 ＴＳＣ 的聚类机制需要源域与目标域有相同的聚类 数，所以这 ３ 种聚类算法不能在源域与目标域聚类 数不同的迁移场景下运行。 表 ３ 和图 ６ 的实验结果表明本文提出 ＫＴ⁃ＭＥＣ 聚类算法在图像分割性能上较经典的非迁移 ＭＥＣ 算法以及 ＣｏｍｂＫＭ 算法具有更优的聚类性能。 此 外，得益于本文提出的基于知识的中心迁移机制，源 域与目标域聚类数不同的迁移场景中的聚类结果表 明了本文提出的基于知识的中心匹配机制可挖掘出 源域和目标域之间完美的聚类中心的配对关系，进 而确保知识迁移的质量。 表 ３ 源域与目标域的聚类数不同时的各算法聚类性能对比 Ｔａｂｌｅ ３ Ｐｅｒｆｏｒｍａｎｃｅ ｃｏｍｐａｒｉｓｏｎ ｏｆ ａｌｇｏｒｉｔｈｍｓ ｗｈｅｎ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｃｌｕｓｔｅｒｓ ｏｆ ｓｏｕｒｃｅ ｄｏｍａｉｎ ａｎｄ ｔａｒｇｅｔ ｄｏｍａｉｎ ａｒｅ ｄｉｆｆｅｒｅｎｔ 数据集 评价指标 ＭＥＣ ＣｏｍｂＫＭ ＤＲＣＣ ＳＴＣ ＴＳＣ ＫＴ⁃ＭＥＣ Ｔ５ ＮＭＩ⁃ｍｅａｎ ０．４６４ ４ ０．５５５ ７ — — — ０．６５０ １ ＮＭＩ⁃ｓｔｄ ０．０００ ２ ０．０２０ １ — — — ７．０６４×１０ －５ ＲＩ⁃ｍｅａｎ ０．７８１ ７ ０．７３１ ０ — — — ０．８３６ ０ ＲＩ⁃ｓｔｄ ０．０００ １ ０．０２２ ０ — — — ５．９０×１０ －５ Ｔ６ ＮＭＩ⁃ｍｅａｎ ０．２６８ ０ ０．５０８ ７ — — — ０．７６２ ８ ＮＭＩ⁃ｓｔｄ ０．００５ ０ ０．０６９ ０ — — — １．１１×１０ －１６ ＲＩ⁃ｍｅａｎ ０．６８７ ２ ０．６５７ ８ — — — ０．９１６ ８ ＲＩ⁃ｓｔｄ ０．００２ ０ ０．０８８ ８ — — — １．３５×１０ －１６ 第 ２ 期 程旸，等：知识迁移的极大熵聚类算法及其在纹理图像分割中的应用 ·１８５·
.186 智能系统学报 第12卷 续表3 数据集 评价指标 MEC CombKM DRCC STC TSC KT-MEC NMI-mean 0.2910 0.5769 0.7278 NMI-std 0.0080 0.0189 T 0 RI-mean 0.7325 0.7347 一 0.9054 RI-std 0.0033 0.0476 一 一 0 NMI-mean 0.2038 0.5728 一 一 0.6914 NMI-std 0.0225 0.0329 一 T 1.11×10-6 RI-mean 0.7399 0.7941 0.9032 RI-std 0.0059 0.0160 0 5结束语 本文研究是基于迁移学习的聚类算法，实验部分 主要针对纹理图像的分割。本文算法对迁移聚类算 法的贡献主要有两方面：1)确定了聚类中心作为迁移 (a)6种算法分别在数据集T,上的图像分割结果 知识，实验证明了将聚类中心作为迁移知识能够更好 地增强目标域的聚类性能：2)找到了一个解决无论源 域与目标域的聚类数是否一致，都能够成功进行迁移 的通用策略。基于上述工作，结合传统的非迁移极大 嫡聚类算法，本文提出了基于知识迁移的极大嫡聚类 算法，并将该算法与其他迁移算法、非迁移算法、协同 (b)6种算法分别在数据集T。上的图像分割结果 聚类算法、多任务聚类算法等一系列相关算法进行了 性能对比，实验表明本文KT-MEC聚类算法的性能在 纹理图像分割上较其他算法具有更加优良的性能。 KT-MEC聚类算法不仅能够提高算法的聚类精度，增 强图像的分割效果，还能适应不同迁移场景下的聚类 任务，具有较强的鲁棒性。 (©)6种算法分别在数据集T上的图像分割结果 虽然本文KT-MEC聚类算法在纹理图像的分割 上具有较好的性能，但该算法的适应性上还需进行 进一步的研究。随着数据的爆炸式增长，数据复杂 性的迅速增加，KT-MEC聚类算法是否能够适用于 高维复杂数据还有待研究。 参考文献： ()6种算法分别在数据集了，上的图像分割结果 图6源域与目标域聚类数不同的含噪纹理图像分割结果 [1]ZHU Lin,CHUNG F L.WANG Shitong.Generalized fuzzy Fig.6 Segmentation results of clustering algorithms for c-means clustering algorithm with improved fuzzy partitions noisy texture images with the different number [J].IEEE transactions on systems,man,and cybernetics, of clusters between source domain and target do- part B (cybernetics),2009,39(3):578-591. main [2]KIM S,YOO C D,NOWOZIN S,et al.Image segmentation 上述实验结果表明本文提出的KT-MEC聚类算 usinghigher-order correlation clustering[J].IEEE transac- 法在不同的迁移场景中的聚类性能均优于现有的相 tions on pattern analysis and machine intelligence,2014,36 (9):1761-1774 关聚类算法。特别是，KT-MEC聚类算法适用于一 [3]JIANG Yizhang,CHUNG F L,WANG Shitong,et al.Col- 般的迁移场景，即无论是源域和目标域的聚类的数 laborative fuzzy clustering from multiple weighted views[J]. 目是相同或不同时，本文KT-MEC算法均能适用且 IEEE transactions on cybernetics,2015,45(4):688-701. 能获得比其他聚类算法更好的聚类结果。 [4]BEZDEK J C.Pattern recognition with fuzzy objective func- tion algorithms M].USA:Springer Science Business
续表 ３ 数据集 评价指标 ＭＥＣ ＣｏｍｂＫＭ ＤＲＣＣ ＳＴＣ ＴＳＣ ＫＴ⁃ＭＥＣ Ｔ７ ＮＭＩ⁃ｍｅａｎ ０．２９１ ０ ０．５７６ ９ — — — ０．７２７８ ＮＭＩ⁃ｓｔｄ ０．００８ ０ ０．０１８ ９ — — — ０ ＲＩ⁃ｍｅａｎ ０．７３２ ５ ０．７３４ ７ — — — ０．９０５ ４ ＲＩ⁃ｓｔｄ ０．００３ ３ ０．０４７ ６ — — — ０ Ｔ８ ＮＭＩ⁃ｍｅａｎ ０．２０３ ８ ０．５７２ ８ — — — ０．６９１ ４ ＮＭＩ⁃ｓｔｄ ０．０２２ ５ ０．０３２ ９ — — — １．１１×１０ －１６ ＲＩ⁃ｍｅａｎ ０．７３９ ９ ０．７９４ １ — — — ０．９０３ ２ ＲＩ⁃ｓｔｄ ０．００５ ９ ０．０１６ ０ — — — ０ （ａ） ６ 种算法分别在数据集 Ｔ５ 上的图像分割结果 （ｂ） ６ 种算法分别在数据集 Ｔ６ 上的图像分割结果 （ｃ） ６ 种算法分别在数据集 Ｔ７ 上的图像分割结果 （ｄ） ６ 种算法分别在数据集 Ｔ８ 上的图像分割结果 图 ６ 源域与目标域聚类数不同的含噪纹理图像分割结果 Ｆｉｇ．６ Ｓｅｇｍｅｎｔａｔｉｏｎ ｒｅｓｕｌｔｓ ｏｆ ｃｌｕｓｔｅｒｉｎｇ ａｌｇｏｒｉｔｈｍｓ ｆｏｒ ｎｏｉｓｙ ｔｅｘｔｕｒｅ ｉｍａｇｅｓ ｗｉｔｈ ｔｈｅ ｄｉｆｆｅｒｅｎｔ ｎｕｍｂｅｒ ｏｆ ｃｌｕｓｔｅｒｓ ｂｅｔｗｅｅｎ ｓｏｕｒｃｅ ｄｏｍａｉｎ ａｎｄ ｔａｒｇｅｔ ｄｏ⁃ ｍａｉｎ 上述实验结果表明本文提出的 ＫＴ⁃ＭＥＣ 聚类算 法在不同的迁移场景中的聚类性能均优于现有的相 关聚类算法。 特别是，ＫＴ⁃ＭＥＣ 聚类算法适用于一 般的迁移场景，即无论是源域和目标域的聚类的数 目是相同或不同时，本文 ＫＴ⁃ＭＥＣ 算法均能适用且 能获得比其他聚类算法更好的聚类结果。 ５ 结束语 本文研究是基于迁移学习的聚类算法，实验部分 主要针对纹理图像的分割。 本文算法对迁移聚类算 法的贡献主要有两方面：１）确定了聚类中心作为迁移 知识，实验证明了将聚类中心作为迁移知识能够更好 地增强目标域的聚类性能；２）找到了一个解决无论源 域与目标域的聚类数是否一致，都能够成功进行迁移 的通用策略。 基于上述工作，结合传统的非迁移极大 熵聚类算法，本文提出了基于知识迁移的极大熵聚类 算法，并将该算法与其他迁移算法、非迁移算法、协同 聚类算法、多任务聚类算法等一系列相关算法进行了 性能对比，实验表明本文 ＫＴ⁃ＭＥＣ 聚类算法的性能在 纹理图像分割上较其他算法具有更加优良的性能。 ＫＴ⁃ＭＥＣ 聚类算法不仅能够提高算法的聚类精度，增 强图像的分割效果，还能适应不同迁移场景下的聚类 任务，具有较强的鲁棒性。 虽然本文 ＫＴ⁃ＭＥＣ 聚类算法在纹理图像的分割 上具有较好的性能，但该算法的适应性上还需进行 进一步的研究。 随着数据的爆炸式增长，数据复杂 性的迅速增加，ＫＴ⁃ＭＥＣ 聚类算法是否能够适用于 高维复杂数据还有待研究。 参考文献： ［１］ＺＨＵ Ｌｉｎ， ＣＨＵＮＧ Ｆ Ｌ， ＷＡＮＧ Ｓｈｉｔｏｎｇ． Ｇｅｎｅｒａｌｉｚｅｄ ｆｕｚｚｙ ｃ⁃ｍｅａｎｓ ｃｌｕｓｔｅｒｉｎｇ ａｌｇｏｒｉｔｈｍ ｗｉｔｈ ｉｍｐｒｏｖｅｄ ｆｕｚｚｙ ｐａｒｔｉｔｉｏｎｓ ［Ｊ］． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｓｙｓｔｅｍｓ， ｍａｎ， ａｎｄ ｃｙｂｅｒｎｅｔｉｃｓ， ｐａｒｔ Ｂ （ｃｙｂｅｒｎｅｔｉｃｓ）， ２００９， ３９（３）： ５７８－５９１． ［２］ＫＩＭ Ｓ， ＹＯＯ Ｃ Ｄ， ＮＯＷＯＺＩＮ Ｓ， ｅｔ ａｌ． Ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ ｕｓｉｎｇｈｉｇｈｅｒ⁃ｏｒｄｅｒ ｃｏｒｒｅｌａｔｉｏｎ ｃｌｕｓｔｅｒｉｎｇ ［ Ｊ］． ＩＥＥＥ ｔｒａｎｓａｃ⁃ ｔｉｏｎｓ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ， ２０１４， ３６ （９）： １７６１－１７７４． ［３］ＪＩＡＮＧ Ｙｉｚｈａｎｇ， ＣＨＵＮＧ Ｆ Ｌ， ＷＡＮＧ Ｓｈｉｔｏｎｇ， ｅｔ ａｌ． Ｃｏｌ⁃ ｌａｂｏｒａｔｉｖｅ ｆｕｚｚｙ ｃｌｕｓｔｅｒｉｎｇ ｆｒｏｍ ｍｕｌｔｉｐｌｅ ｗｅｉｇｈｔｅｄ ｖｉｅｗｓ［ Ｊ］． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｃｙｂｅｒｎｅｔｉｃｓ， ２０１５， ４５（４）： ６８８－７０１． ［４］ＢＥＺＤＥＫ Ｊ Ｃ． Ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ ｗｉｔｈ ｆｕｚｚｙ ｏｂｊｅｃｔｉｖｅ ｆｕｎｃ⁃ ｔｉｏｎ ａｌｇｏｒｉｔｈｍｓ ［ Ｍ］． ＵＳＡ： Ｓｐｒｉｎｇｅｒ Ｓｃｉｅｎｃｅ ＆ Ｂｕｓｉｎｅｓｓ ·１８６· 智 能 系 统 学 报 第 １２ 卷
第2期 程肠，等：知识迁移的极大嫡聚类算法及其在纹理图像分割中的应用 ·187. Media,2013:155-201. [15]GU Quanquan,ZHOU Jie.Learning the shared subspace [5]KRISHNAPURAM R,KELLER J M.A possibilistic ap- for multi-task clustering and transductive transfer classifica- proach to clustering[].IEEE transactions on fuzzy sys- tion [C]//Proceedings of the Ninth IEEE International tems,1993,1(2):98-110. Conference on Data Mining.Miami,USA:IEEE,2009: [6]KARAYIANNIS N B.MECA:maximum entropy clustering 159-168. algorithm[C//Proceedings of the Third IEEE Fuzzy Sys- [16]GU Quanquan,ZHOU Jie.Co-clustering on manifolds tems Conference.Orlando,USA:IEEE,1994:630-635. [C]//Proceedings of the 15th ACM SIGKDD Internation- [7]PAN S J,YANG Qiang.A survey on transfer learning[J]. al Conference on Knowledge Discovery and Data Mining. IEEE transactions on knowledge and data engineering, New York,USA:ACM,2009:359-368. 2010,22(10):1345-1359. [17]RANDEN T.Brodatz texture EB/OL].[2015-12-14]. [8]DENG Zhaohong,CHOI K S,JIANG Yizhang,et al.Gener- http://www.ux.uis.no/~tranden/brodatz.html. alized hidden-mapping ridge regression,knowledge-lever- [18]DENG Zhaohong,CHOI K S,CHUNG F L,et al.En- aged inductive transfer learning for neural networks,fuzzy hanced soft subspace clustering integrating within-cluster systems and kernel methods[J.IEEE transactions on cyber- and between-cluster information[J].Pattern recognition, netics,2014,44(12):2585-2599. 2010,43(3):767-781. [9 DENG Zhaohong,JIANG Yizhang,CHOI K S,et al. [19]KYRKI V,KAMARAINEN J K,KALVIAINEN H.Simple Knowledge-leverage-based TSK fuzzy system modeling[J]. Gabor feature space for invariant object recognition[J]. IEEE transactions on neural networks and learning systems, Pattern recognition letters,2004,25(3):311-318. 2013,24(8):1200-1212. 作者简介： [10]ZHI Xiaobin,FAN Jiulun,ZHAO Feng.Fuzzy linear dis- 程肠，男，1991年生，硕士研究生， criminant analysis-guided maximum entropy fuzzy clustering 主要研究方向为人工智能、模式识别 algorithm[J].Pattern recognition,2013,46(6):1604- 数据挖掘。 1615. [11]DAI Wenyuan,YANG Qiang,XUE Guirong,et al.Self- taught clustering[Cl//Proceedings of the 25th Internation- al Conference on Machine Learning.New York,USA: 蒋亦樟，男，1988年生，博士，讲师， ACM.2008:200-207. [12]JIANG Wenhao,CHUNG F L.Transfer spectral clustering 主要研究方向为人工智能、模式识别、 模糊系统。 [M]//FLACH P A,DE BIE T,CRISTIANINI N.Ma- chine Learning and Knowledge Discovery in Databases. Berlin Heidelberg:Springer,2012:789-803. [13]钱鹏江，孙寿伟，蒋亦樟，等.知识迁移极大嫡聚类算 钱鹏江，男，1979年生，副教授，博 法[J].控制与决策，2015,30(6)：1000-1006. 士，主要研究方向为模式识别、医学图 QIAN Pengjiang,SUN Shouwei,JIANG Yizhang,et al. 像处理、大数据。 Knowledge transfer based maximum entropy clustering[J]. Control and decision,2015,30(6):1000-1006. [14]PEDRYCZ W,RAI P.Collaborative clustering with the use of Fuzzy C-Means and its quantification[J].Fuzzy sets and systems,2008,159(18):2399-2427
Ｍｅｄｉａ， ２０１３： １５５－２０１． ［５］ ＫＲＩＳＨＮＡＰＵＲＡＭ Ｒ， ＫＥＬＬＥＲ Ｊ Ｍ． Ａ ｐｏｓｓｉｂｉｌｉｓｔｉｃ ａｐ⁃ ｐｒｏａｃｈ ｔｏ ｃｌｕｓｔｅｒｉｎｇ ［ Ｊ］． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｆｕｚｚｙ ｓｙｓ⁃ ｔｅｍｓ， １９９３， １（２）： ９８－１１０． ［６］ ＫＡＲＡＹＩＡＮＮＩＳ Ｎ Ｂ． ＭＥＣＡ： ｍａｘｉｍｕｍ ｅｎｔｒｏｐｙ ｃｌｕｓｔｅｒｉｎｇ ａｌｇｏｒｉｔｈｍ［ Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｔｈｉｒｄ ＩＥＥＥ Ｆｕｚｚｙ Ｓｙｓ⁃ ｔｅｍｓ Ｃｏｎｆｅｒｅｎｃｅ． Ｏｒｌａｎｄｏ， ＵＳＡ： ＩＥＥＥ， １９９４： ６３０－６３５． ［７］ＰＡＮ Ｓ Ｊ， ＹＡＮＧ Ｑｉａｎｇ． Ａ ｓｕｒｖｅｙ ｏｎ ｔｒａｎｓｆｅｒ ｌｅａｒｎｉｎｇ［ Ｊ］． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｋｎｏｗｌｅｄｇｅ ａｎｄ ｄａｔａ ｅｎｇｉｎｅｅｒｉｎｇ， ２０１０， ２２（１０）： １３４５－１３５９． ［８］ＤＥＮＧ Ｚｈａｏｈｏｎｇ， ＣＨＯＩ Ｋ Ｓ， ＪＩＡＮＧ Ｙｉｚｈａｎｇ， ｅｔ ａｌ． Ｇｅｎｅｒ⁃ ａｌｉｚｅｄ ｈｉｄｄｅｎ⁃ｍａｐｐｉｎｇ ｒｉｄｇｅ ｒｅｇｒｅｓｓｉｏｎ， ｋｎｏｗｌｅｄｇｅ⁃ｌｅｖｅｒ⁃ ａｇｅｄ ｉｎｄｕｃｔｉｖｅ ｔｒａｎｓｆｅｒ ｌｅａｒｎｉｎｇ ｆｏｒ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ， ｆｕｚｚｙ ｓｙｓｔｅｍｓ ａｎｄ ｋｅｒｎｅｌ ｍｅｔｈｏｄｓ［Ｊ］． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｃｙｂｅｒ⁃ ｎｅｔｉｃｓ， ２０１４， ４４（１２）： ２５８５－２５９９． ［ ９ ］ ＤＥＮＧ Ｚｈａｏｈｏｎｇ， ＪＩＡＮＧ Ｙｉｚｈａｎｇ， ＣＨＯＩ Ｋ Ｓ， ｅｔ ａｌ． Ｋｎｏｗｌｅｄｇｅ⁃ｌｅｖｅｒａｇｅ⁃ｂａｓｅｄ ＴＳＫ ｆｕｚｚｙ ｓｙｓｔｅｍ ｍｏｄｅｌｉｎｇ［ Ｊ］． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ａｎｄ ｌｅａｒｎｉｎｇ ｓｙｓｔｅｍｓ， ２０１３， ２４（８）： １２００－１２１２． ［１０］ＺＨＩ Ｘｉａｏｂｉｎ， ＦＡＮ Ｊｉｕｌｕｎ， ＺＨＡＯ Ｆｅｎｇ． Ｆｕｚｚｙ ｌｉｎｅａｒ ｄｉｓ⁃ ｃｒｉｍｉｎａｎｔ ａｎａｌｙｓｉｓ⁃ｇｕｉｄｅｄ ｍａｘｉｍｕｍ ｅｎｔｒｏｐｙ ｆｕｚｚｙ ｃｌｕｓｔｅｒｉｎｇ ａｌｇｏｒｉｔｈｍ［Ｊ］． Ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ， ２０１３， ４６（ ６）： １６０４－ １６１５． ［１１］ ＤＡＩ Ｗｅｎｙｕａｎ， ＹＡＮＧ Ｑｉａｎｇ， ＸＵＥ Ｇｕｉｒｏｎｇ， ｅｔ ａｌ． Ｓｅｌｆ⁃ ｔａｕｇｈｔ ｃｌｕｓｔｅｒｉｎｇ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２５ｔｈ Ｉｎｔｅｒｎａｔｉｏｎ⁃ ａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ． Ｎｅｗ Ｙｏｒｋ， ＵＳＡ： ＡＣＭ， ２００８： ２００－２０７． ［１２］ＪＩＡＮＧ Ｗｅｎｈａｏ， ＣＨＵＮＧ Ｆ Ｌ． Ｔｒａｎｓｆｅｒ ｓｐｅｃｔｒａｌ ｃｌｕｓｔｅｒｉｎｇ ［Ｍ］ ／ ／ ＦＬＡＣＨ Ｐ Ａ， ＤＥ ＢＩＥ Ｔ， ＣＲＩＳＴＩＡＮＩＮＩ Ｎ． Ｍａ⁃ ｃｈｉｎｅ Ｌｅａｒｎｉｎｇ ａｎｄ Ｋｎｏｗｌｅｄｇｅ Ｄｉｓｃｏｖｅｒｙ ｉｎ Ｄａｔａｂａｓｅｓ． Ｂｅｒｌｉｎ Ｈｅｉｄｅｌｂｅｒｇ： Ｓｐｒｉｎｇｅｒ， ２０１２： ７８９－８０３． ［１３］钱鹏江， 孙寿伟， 蒋亦樟， 等． 知识迁移极大熵聚类算 法［Ｊ］． 控制与决策， ２０１５， ３０（６）： １０００－１００６． ＱＩＡＮ Ｐｅｎｇｊｉａｎｇ， ＳＵＮ Ｓｈｏｕｗｅｉ， ＪＩＡＮＧ Ｙｉｚｈａｎｇ， ｅｔ ａｌ． Ｋｎｏｗｌｅｄｇｅ ｔｒａｎｓｆｅｒ ｂａｓｅｄ ｍａｘｉｍｕｍ ｅｎｔｒｏｐｙ ｃｌｕｓｔｅｒｉｎｇ［ Ｊ］． Ｃｏｎｔｒｏｌ ａｎｄ ｄｅｃｉｓｉｏｎ， ２０１５， ３０（６）： １０００－１００６． ［１４］ＰＥＤＲＹＣＺ Ｗ， ＲＡＩ Ｐ． Ｃｏｌｌａｂｏｒａｔｉｖｅ ｃｌｕｓｔｅｒｉｎｇ ｗｉｔｈ ｔｈｅ ｕｓｅ ｏｆ Ｆｕｚｚｙ Ｃ⁃Ｍｅａｎｓ ａｎｄ ｉｔｓ ｑｕａｎｔｉｆｉｃａｔｉｏｎ［Ｊ］． Ｆｕｚｚｙ ｓｅｔｓ ａｎｄ ｓｙｓｔｅｍｓ， ２００８， １５９（１８）： ２３９９－２４２７． ［１５］ ＧＵ Ｑｕａｎｑｕａｎ， ＺＨＯＵ Ｊｉｅ． Ｌｅａｒｎｉｎｇ ｔｈｅ ｓｈａｒｅｄ ｓｕｂｓｐａｃｅ ｆｏｒ ｍｕｌｔｉ⁃ｔａｓｋ ｃｌｕｓｔｅｒｉｎｇ ａｎｄ ｔｒａｎｓｄｕｃｔｉｖｅ ｔｒａｎｓｆｅｒ ｃｌａｓｓｉｆｉｃａ⁃ ｔｉｏｎ ［ Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｎｉｎｔｈ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｄａｔａ Ｍｉｎｉｎｇ． Ｍｉａｍｉ， ＵＳＡ： ＩＥＥＥ， ２００９： １５９－１６８． ［１６ ］ ＧＵ Ｑｕａｎｑｕａｎ， ＺＨＯＵ Ｊｉｅ． Ｃｏ⁃ｃｌｕｓｔｅｒｉｎｇ ｏｎ ｍａｎｉｆｏｌｄｓ ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １５ｔｈ ＡＣＭ ＳＩＧＫＤＤ Ｉｎｔｅｒｎａｔｉｏｎ⁃ ａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｋｎｏｗｌｅｄｇｅ Ｄｉｓｃｏｖｅｒｙ ａｎｄ Ｄａｔａ Ｍｉｎｉｎｇ． Ｎｅｗ Ｙｏｒｋ， ＵＳＡ： ＡＣＭ， ２００９： ３５９－３６８． ［１７］ＲＡＮＤＥＮ Ｔ． Ｂｒｏｄａｔｚ ｔｅｘｔｕｒｅ［ＥＢ／ ＯＬ］． ［２０１５－ １２－ １４］． ｈｔｔｐ： ／ ／ ｗｗｗ．ｕｘ．ｕｉｓ．ｎｏ ／ ～ ｔｒａｎｄｅｎ ／ ｂｒｏｄａｔｚ．ｈｔｍｌ． ［１８］ ＤＥＮＧ Ｚｈａｏｈｏｎｇ， ＣＨＯＩ Ｋ Ｓ， ＣＨＵＮＧ Ｆ Ｌ， ｅｔ ａｌ． Ｅｎ⁃ ｈａｎｃｅｄ ｓｏｆｔ ｓｕｂｓｐａｃｅ ｃｌｕｓｔｅｒｉｎｇ ｉｎｔｅｇｒａｔｉｎｇ ｗｉｔｈｉｎ⁃ｃｌｕｓｔｅｒ ａｎｄ ｂｅｔｗｅｅｎ⁃ｃｌｕｓｔｅｒ ｉｎｆｏｒｍａｔｉｏｎ ［ Ｊ］． Ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ， ２０１０， ４３（３）： ７６７－７８１． ［１９］ＫＹＲＫＩ Ｖ， ＫＡＭＡＲＡＩＮＥＮ Ｊ Ｋ， ＫǍＬＶＩǍＩＮＥＮ Ｈ． Ｓｉｍｐｌｅ Ｇａｂｏｒ ｆｅａｔｕｒｅ ｓｐａｃｅ ｆｏｒ ｉｎｖａｒｉａｎｔ ｏｂｊｅｃｔ ｒｅｃｏｇｎｉｔｉｏｎ ［ Ｊ］． Ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ ｌｅｔｔｅｒｓ， ２００４， ２５（３）： ３１１－３１８． 作者简介： 程旸，男，１９９１ 年生，硕士研究生， 主要研究方向为人工智能、模式识别、 数据挖掘。 蒋亦樟，男，１９８８ 年生，博士，讲师， 主要研究方向为人工智能、模式识别、 模糊系统。 钱鹏江，男，１９７９ 年生，副教授，博 士，主要研究方向为模式识别、医学图 像处理、大数据。 第 ２ 期 程旸，等：知识迁移的极大熵聚类算法及其在纹理图像分割中的应用 ·１８７·