第3期 王跃，等：一种基于少量标签的改进迁移模糊聚类 ·311- 分为3类：归纳迁移学习、直推式迁移学习和无监督 N 迁移学习。现有的迁移学习在分类领域已有较多研 k=1 究成果20)，而在聚类领域迁移学习理论和方法相 —,i (5) 对则要少很多。文献[11-12]在聚类领域利用了迁 移学习的理论。 1.2PFCM聚类算法 半监督聚类是半监督学习与聚类分析相结合的 FPCM是建立在FCM和PCM基础上的算法， 研究领域，文献[13]提出了不同情况下的半监督聚 它将两者结合在一起，FPCM的目标函数定义为 类算法，并取得了不错的效果。 J= 文献[14]将经典的模糊C均值算法1s(FCM) 正d形 (6) 与可能性C均值[6](PCM)算法进行改进，提出了 式中：m>1,m>1,0≤，≤1，约束条件为 模糊可能性聚类算法(FPCM)。本文探讨在源领域 2a=1,i (7) 有少量标签的情况下，如何指导目标域进行聚类，提 出半监督模糊可能性C均值聚类算法(SS-FPCM), 2=1,k (8) 并针对负迁移问题对算法进行改进，提出了防止负 通过最小化目标函数，可以得到以下迭代优化 迁移的半监督迁移算法(TSS-FPCM),同时，用代表 公式： 点代替源领域的数据进行数据迁移，得到改善的半 监督迁移算法(TSS-FPCM),并进行了实验验证。 [周 (9) 1相关算法介绍 Vi,k (10) 1.1PCM聚类算法 PCM聚类算法放松了传统FCM聚类算法中对 于隶属度矩阵的约束，隶属度不再是对1的共享。 ∑(u候+) .Vi 对于给定数据集X={xIk=1,2,…,N},x4∈R,包 N (11) 含N个样本，分成C个类别，T= (+) {t4li=1,2,…,C;k=1,2,…,N}是可能划分矩阵，t 1.3半监督聚类算法 表示第k个样本x:属于第i类的可能性，聚类中心 对于一些有着一部分标签的数据集，在文献 为V={yIi=1,2,…,C},其中y:表示第i个聚类中 [17]中，Pedrycz提出了基于部分标签的模糊聚类 心。PCM目标函数定义为 算法(SS-F℃M),算法的核心思想是利用现有的分类 信息，并把它作为优化程序的一部分。 为了区分标记数据与未标记数据，引入向量矩 式中：t4∈[0,1]，0<∑a≤N,m为模糊指数， 阵B={bIk=1,2,…,N},如果x是已知标签样本 b=1,否则bs=0。并且记类别属性F= 和7：的取值分别为式(2)和式(3)，K的取值一般取 {fli=1,2,…,C;k=1,2,…,N},如果x4属于第i K=1。 类，那么f4=1:否则f=0。在引人B和F后，Pe d=‖x4-v:2=(x4-v:)T(x4-v)(2) dycz将模糊参数m取值为2，其目标函数为 ∑md n:sK (ua -fab)'da N—,K>0 (3) 含a (12) 最小化目标函数可以得到可能性矩阵和聚类中 2半监督迁移模糊聚类算法 心的迭代式(4)和式(5)： 2.1半监督模糊可能性C均值聚类算法 1 .Vi,k 4 对半监督FCM算法进行研究可以发现，上文中 的B和F的功能相似，保留下F并对FPCM的目标 函数做如下改进：分为 ３ 类：归纳迁移学习、直推式迁移学习和无监督 迁移学习。 现有的迁移学习在分类领域已有较多研 究成果［２⁃１０］ ，而在聚类领域迁移学习理论和方法相 对则要少很多。 文献［１１⁃１２］在聚类领域利用了迁 移学习的理论。 半监督聚类是半监督学习与聚类分析相结合的 研究领域，文献［１３］提出了不同情况下的半监督聚 类算法，并取得了不错的效果。 文献［１４］将经典的模糊 Ｃ 均值算法［１５］ （ＦＣＭ） 与可能性 Ｃ 均值［１６］ （ ＰＣＭ） 算法进行改进，提出了 模糊可能性聚类算法（ＦＰＣＭ）。 本文探讨在源领域 有少量标签的情况下，如何指导目标域进行聚类，提 出半监督模糊可能性 Ｃ 均值聚类算法（ ＳＳ⁃ＦＰＣＭ）， 并针对负迁移问题对算法进行改进，提出了防止负 迁移的半监督迁移算法（ＴＳＳ⁃ＦＰＣＭ），同时，用代表 点代替源领域的数据进行数据迁移，得到改善的半 监督迁移算法（ＩＴＳＳ⁃ＦＰＣＭ），并进行了实验验证。 １ 相关算法介绍 １．１ ＰＣＭ 聚类算法 ＰＣＭ 聚类算法放松了传统 ＦＣＭ 聚类算法中对 于隶属度矩阵的约束，隶属度不再是对 １ 的共享。 对于给定数据集 Ｘ ＝ ｘｋ { ｜ ｋ ＝ １，２，…，Ｎ} ，ｘｋ∈Ｒ ｄ ，包 含 Ｎ 个 样 本， 分 成 Ｃ 个 类 别， Ｔ ＝ ｔ ｉｋ { ｜ ｉ ＝ １，２，…，Ｃ；ｋ ＝ １，２，…，Ｎ}是可能划分矩阵，ｔ ｉｋ 表示第 ｋ 个样本 ｘｋ 属于第 ｉ 类的可能性，聚类中心 为 Ｖ ＝ ｖｉ { ｜ ｉ ＝ １，２，…，Ｃ} ，其中 ｖｉ 表示第 ｉ 个聚类中 心。 ＰＣＭ 目标函数定义为 Ｊ ＝ ∑ Ｃ ｉ ＝ １ ∑ Ｎ ｋ ＝ １ ｔ ｍ ｉｋｄ ２ ｉｋ ＋ ∑ Ｃ ｉ ＝ １ ηｉ∑ Ｎ ｋ ＝ １ １ － ｔ ｉｋ ( ) ｍ ｄ ２ ｉｋ （１） 式中： ｔ ｉｋ ∈ [０，１] ，０ ＜ ∑ Ｎ ｋ ＝ １ ｔ ｍ ｉｋ ≤Ｎ，ｍ为模糊指数，ｄ ２ ｉｋ 和 ηｉ 的取值分别为式（２） 和式（３），Ｋ 的取值一般取 Ｋ ＝ １。 ｄ ２ ｉｋ ＝ ‖ｘｋ － ｖｉ‖２ ＝ ｘｋ － ｖｉ ( ) Ｔ ｘｋ － ｖｉ ( ) （２） ηｉ ＝ Ｋ ∑ Ｎ ｋ ＝ １ ｔ ｍ ｉｋｄ ２ ｉｋ ∑ Ｎ ｋ ＝ １ ｔ ｍ ｉｋ ，Ｋ ＞ ０ （３） 最小化目标函数可以得到可能性矩阵和聚类中 心的迭代式（４）和式（５）： ｔ ｉｋ ＝ １ １ ＋ ｄ ２ ｉｋ ηｉ æ è ç ö ø ÷ １ ｍ－１ ，∀ｉ，ｋ （４） ｖｉ ＝ ∑ Ｎ ｋ ＝ １ ｔ ｍ ｉｋ ｘｋ ∑ Ｎ ｋ ＝ １ ｔ ｍ ｉｋ ，∀ｉ （５） １．２ ＰＦＣＭ 聚类算法 ＦＰＣＭ 是建立在 ＦＣＭ 和 ＰＣＭ 基础上的算法， 它将两者结合在一起 ，ＦＰＣＭ 的目标函数定义为 Ｊ ＝ ∑ Ｃ ｉ ＝ １ ∑ Ｎ ｋ ＝ １ ｕ ｍ ｉｋ ＋ ｔ η ｉｋ ( ) ｄ ２ ｉｋ （６） 式中：ｍ＞１，η＞１，０≤ｉｋ，ｔ ｉｋ≤１，约束条件为 ∑ Ｎ ｋ ＝ １ ｔ ｉｋ ＝ １，∀ｉ （７） ∑ Ｃ ｉ ＝ １ ｕｉｋ ＝ １，∀ｋ （８） 通过最小化目标函数，可以得到以下迭代优化 公式： ｕｉｋ ＝ ∑ Ｃ ｊ ＝ １ ｄ ２ ｉｋ ｄ ２ ｉｊ æ è ç ö ø ÷ １ ｍ－１ é ë ê ê ù û ú ú －１ ，∀ｉ，ｋ （９） ｔ ｉｋ ＝ ∑ Ｎ ｊ ＝ １ ｄ ２ ｉｋ ｄ ２ ｉｊ æ è ç ö ø ÷ １ η－１ é ë ê ê ù û ú ú －１ ，∀ｉ，ｋ （１０） ｖｉ ＝ ∑ Ｎ ｋ ＝ １ ｕ ｍ ｉｋ ＋ ｔ η ｉｋ ( ) ｘｋ ∑ Ｎ ｋ ＝ １ ｕ ｍ ｉｋ ＋ ｔ η ｉｋ ( ) ，∀ｉ （１１） １．３ 半监督聚类算法 对于一些有着一部分标签的数据集，在文献 ［１７］中，Ｐｅｄｒｙｃｚ 提出了基于部分标签的模糊聚类 算法（ＳＳ⁃ＦＣＭ），算法的核心思想是利用现有的分类 信息，并把它作为优化程序的一部分。 为了区分标记数据与未标记数据，引入向量矩 阵 Ｂ ＝ ｂｋ { ｜ ｋ ＝ １，２，…，Ｎ} ，如果 ｘｋ 是已知标签样本 ｂｋ ＝ １， 否 则 ｂｋ ＝ ０。 并 且 记 类 别 属 性 Ｆ ＝ ｆ ｉｋ { ｜ ｉ ＝ １，２，…，Ｃ；ｋ ＝ １，２，…，Ｎ} ，如果 ｘｋ 属于第 ｉ 类，那么 ｆ ｉｋ ＝ １；否则 ｆ ｉｋ ＝ ０。 在引入 Ｂ 和 Ｆ 后，Ｐｅ⁃ ｄｒｙｃｚ 将模糊参数 ｍ 取值为 ２，其目标函数为 Ｊ ＝ ∑ Ｃ ｉ ＝ １ ∑ Ｎ ｋ ＝ １ ｕ ２ ｉｋｄ ２ ｉｋ ＋ α∑ Ｃ ｉ ＝ １ ∑ Ｎ ｋ ＝ １ ｕｉｋ － ｆ ｉｋ ｂｋ ( ) ２ ｄ ２ ｉｋ （１２） ２ 半监督迁移模糊聚类算法 ２．１ 半监督模糊可能性 Ｃ 均值聚类算法 对半监督 ＦＣＭ 算法进行研究可以发现，上文中 的 Ｂ 和 Ｆ 的功能相似，保留下 Ｆ 并对 ＦＰＣＭ 的目标 函数做如下改进： 第 ３ 期 王跃，等：一种基于少量标签的改进迁移模糊聚类 ·３１１·