第2期 程肠，等：知识迁移的极大嫡聚类算法及其在纹理图像分割中的应用 ·181· 2相关工作 受到许多专家学者的关注，本文将研究中较有价值 的文献罗列如下：文献[11]提出了一种自学聚类算 2.1经典MEC算法 法，该算法是第1个基于互信息的迁移聚类算法，但 MEC聚类算法是基于划分的聚类算法中最具 是由于该算法运行的前提是假定源域数据是可用 代表性的算法之一，该算法的数学表达式简单明了、 的，这在实际生产应用中并不切实际，所以该算法具 物理意义明确，是广大学者较常使用的聚类算法，关 有一定的局限性：文献[12]提出了一种基于谱聚类 于MEC算法的变形算法较经典的如文献[10]。特 的迁移聚类算法，该算法主要针对光谱聚类；文献 别是在针对含有噪声的纹理图像的分割中，MC聚 [13]提出了一种极大嫡的迁移聚类算法，该算法提 类算法相比经典的模糊C均值聚类FCM以及可能 出了基于类中心和隶属度的两种知识迁移机制，但 性聚类PCM等聚类算法具有更好的抗噪性，进而能 该算法并未解决当源域目标域聚类数不一致时，如 够获得更好的聚类性，使得分割结果更加逼近理想 何进行迁移的问题。除了直接提出的迁移聚类算 分割结果。综上，本文选用了MEC算法。MEC算 法，还存在如协同聚类]、多任务聚类、联合聚 法的函数表达式为 类[6]、半监督聚类切)等具有相关性的聚类算法。 其中，协同聚类算法的核心思想为结合样本间不同 的协作能力形成拉动效应，共同推动事物的发展，从 而提高样本的整体聚类精度。多任务聚类的核心思 st.0≤ug≤1， 想为多个聚类任务同时进行，各个聚类任务之间相 互协调配合，以提高聚类性能。联合聚类顾名思义 1≤i≤C,1≤j≤N 就是联合多个聚类算法进行一定关系的联合使用， (1) 聚类精度的提高对于具体聚类算法的选择比较敏 式中：x为第j个数据样本，V,为第i个聚类中心，“ 感。半监督聚类算法需要已知一部分数据样本的标 为样本x属于聚类中心V:的隶属度，C为聚类数，N 签，根据这些标签来指导整个样本数据的聚类过程， 为样本总数，y为熵的正则化参数，Ix:-V:‖2代 从而提高聚类性能。 表样本x与聚类中心V:之间的距离。 现有的迁移聚类算法及其相关算法在处理含噪 由拉格朗日乘子法则，求解式(1)，解得聚类中 的图像分割数据时，均存在各种问题。如文献[13]提 心V:和隶属度U:的表达式为 出的迁移聚类算法无法解决当源域与目标域的图像 分割数不一致时，如何实现迁移的问题。对于其他相 -,i=1,2,…,C (2) 关算法如联合算法来说，图像本身还有噪声，经过层 层的聚类算法进行处理，误差被层层放大，最终的聚 类性能则被削弱。本文所做研究主要针对纹理图像 exp(-∥5-yI2 分割进行展开，我们将在下一节针对算法的抗噪性、 g= 源域目标域聚类数是否一致等问题进行详细描述。 ep(-5v巴 (3) 3基于知识迁移的MEC聚类算法 k=1 i=1,2,…,C;j=1,2,…,N。 3.1基于聚类中心的知识迁移机制 MEC算法步骤如下： 源域中存在许多知识可用于迁移到目标域中进 1)给定聚类数C,样本总数N,正则化参数Y, 行学习。问题在于在具体选择时，应该选择哪种或哪 聚类精度ε，最大迭代次数T,初始化隶属度矩阵U 几种知识的组合进行迁移。源域中存在可以迁移的 和聚类中心V 知识主要有：聚类中心、隶属度、数据样本以及其他经 2)根据式(2)更新聚类中心矩阵V; 过二次或多次处理后获得的知识。考虑到源域的聚 3)根据式(3)更新隶属度矩阵U: 类中心具有较高的数据集中特征，且该知识作为自然 4)当‖U(t+1)-U(t)‖<e或迭代次数达 聚类知识的核心，本文最终选择了聚类中心作为知识 到最大迭代次数T时，算法运行终止，否则，返回2)： 迁移的对象。基于中心迁移的表达式计算的是源域 5)算法收敛后，输出聚类中心V和隶属度矩阵U。 的聚类中心V,与目标域V,之间距离和。 2.2相关迁移聚类算法 4,(V,V,)=a∑IV.-VI2 (4) 近年来，迁移聚类算法及其相关算法的研究已２ 相关工作 ２．１ 经典 ＭＥＣ 算法 ＭＥＣ 聚类算法是基于划分的聚类算法中最具 代表性的算法之一，该算法的数学表达式简单明了、 物理意义明确，是广大学者较常使用的聚类算法，关 于 ＭＥＣ 算法的变形算法较经典的如文献［１０］。 特 别是在针对含有噪声的纹理图像的分割中，ＭＥＣ 聚 类算法相比经典的模糊 Ｃ 均值聚类 ＦＣＭ 以及可能 性聚类 ＰＣＭ 等聚类算法具有更好的抗噪性，进而能 够获得更好的聚类性，使得分割结果更加逼近理想 分割结果。 综上，本文选用了 ＭＥＣ 算法。 ＭＥＣ 算 法的函数表达式为 ｍｉｎ Ｕ，Ｖ ∑ Ｃ ｉ ＝ １ ∑ Ｎ ｊ ＝ １ μｉｊ‖ｘｊ － Ｖｉ‖２ ＋ γ∑ Ｃ ｉ ＝ １ ∑ Ｎ ｊ ＝ １ μｉｊ ( ｌｎ μｉｊ) ｓ．ｔ． ０ ≤ μｉｊ ≤ １， ∑ Ｃ ｉ ＝ １ μｉｊ ＝ １， １ ≤ ｉ ≤ Ｃ，１ ≤ ｊ ≤ Ｎ （１） 式中： ｘｊ 为第 ｊ 个数据样本， Ｖｉ 为第 ｉ 个聚类中心， ｕｉｊ 为样本 ｘｊ 属于聚类中心 Ｖｉ 的隶属度，Ｃ 为聚类数，Ｎ 为样本总数， γ 为熵的正则化参数， ‖ｘｊ － Ｖｉ‖２ 代 表样本 ｘｊ 与聚类中心 Ｖｉ 之间的距离。 由拉格朗日乘子法则，求解式（１），解得聚类中 心 Ｖｉ 和隶属度 Ｕｉｊ 的表达式为 Ｖｉ ＝ ∑ Ｎ ｊ ＝ １ μｉｊｘｊ ∑ Ｎ ｊ ＝ １ μｉｊ ，ｉ ＝ １，２，…，Ｃ （２） μｉｊ ＝ ｅｘｐ（ － ‖ｘｊ － Ｖｉ‖２ γ ） ∑ Ｃ ｋ ＝ １ ｅｘｐ（ － ‖ｘｊ － Ｖｋ‖２ γ ） ｉ ＝ １，２，…，Ｃ； ｊ ＝ １，２，…，Ｎ。 （３） ＭＥＣ 算法步骤如下： １）给定聚类数 Ｃ，样本总数 Ｎ，正则化参数 γ ， 聚类精度 ε ，最大迭代次数 Ｔ，初始化隶属度矩阵 Ｕ 和聚类中心 Ｖ； ２）根据式（２）更新聚类中心矩阵 Ｖ； ３）根据式（３）更新隶属度矩阵 Ｕ； ４）当 ‖Ｕ(ｔ ＋ １) － Ｕ(ｔ) ‖ ＜ ε 或迭代次数达 到最大迭代次数 Ｔ 时，算法运行终止，否则，返回 ２）； ５）算法收敛后，输出聚类中心 Ｖ 和隶属度矩阵 Ｕ。 ２．２ 相关迁移聚类算法 近年来，迁移聚类算法及其相关算法的研究已 受到许多专家学者的关注，本文将研究中较有价值 的文献罗列如下：文献［１１］提出了一种自学聚类算 法，该算法是第 １ 个基于互信息的迁移聚类算法，但 是由于该算法运行的前提是假定源域数据是可用 的，这在实际生产应用中并不切实际，所以该算法具 有一定的局限性；文献［１２］提出了一种基于谱聚类 的迁移聚类算法，该算法主要针对光谱聚类；文献 ［１３］提出了一种极大熵的迁移聚类算法，该算法提 出了基于类中心和隶属度的两种知识迁移机制，但 该算法并未解决当源域目标域聚类数不一致时，如 何进行迁移的问题。 除了直接提出的迁移聚类算 法，还存在如协同聚类［１４］ 、多任务聚类［１５］ 、联合聚 类［１６］ 、半监督聚类［１７］ 等具有相关性的聚类算法。 其中，协同聚类算法的核心思想为结合样本间不同 的协作能力形成拉动效应，共同推动事物的发展，从 而提高样本的整体聚类精度。 多任务聚类的核心思 想为多个聚类任务同时进行，各个聚类任务之间相 互协调配合，以提高聚类性能。 联合聚类顾名思义 就是联合多个聚类算法进行一定关系的联合使用， 聚类精度的提高对于具体聚类算法的选择比较敏 感。 半监督聚类算法需要已知一部分数据样本的标 签，根据这些标签来指导整个样本数据的聚类过程， 从而提高聚类性能。 现有的迁移聚类算法及其相关算法在处理含噪 的图像分割数据时，均存在各种问题。 如文献［１３］提 出的迁移聚类算法无法解决当源域与目标域的图像 分割数不一致时，如何实现迁移的问题。 对于其他相 关算法如联合算法来说，图像本身还有噪声，经过层 层的聚类算法进行处理，误差被层层放大，最终的聚 类性能则被削弱。 本文所做研究主要针对纹理图像 分割进行展开，我们将在下一节针对算法的抗噪性、 源域目标域聚类数是否一致等问题进行详细描述。 ３ 基于知识迁移的 ＭＥＣ 聚类算法 ３．１ 基于聚类中心的知识迁移机制 源域中存在许多知识可用于迁移到目标域中进 行学习。 问题在于在具体选择时，应该选择哪种或哪 几种知识的组合进行迁移。 源域中存在可以迁移的 知识主要有：聚类中心、隶属度、数据样本以及其他经 过二次或多次处理后获得的知识。 考虑到源域的聚 类中心具有较高的数据集中特征，且该知识作为自然 聚类知识的核心，本文最终选择了聚类中心作为知识 迁移的对象。 基于中心迁移的表达式计算的是源域 的聚类中心 Ｖｓ 与目标域 Ｖｔ 之间距离和。 Δ１（Ｖｓ，Ｖｔ） ＝ λ∑ Ｃｔ ｊ ＝ １ ‖ Ｖｊ，ｔ － Ｖｊ，ｓ‖２ （４） 第 ２ 期 程旸，等：知识迁移的极大熵聚类算法及其在纹理图像分割中的应用 ·１８１·