·370· 智能系统学报 第14卷 于图像分类的字典学习算法也可以分为2类：1)】 文提出的图正则化字典对学习算法用于轻度认知 学习字典把原始图像映射到有利于图像分类的空 功能障碍预测。 间上，用传统的分类器去分类；2)用稀疏系数所 表示出来的样本属性进行分类。 1相关工作 在用于图像分类的字典学习算法中，字典和 1.1字典学习 编码系数的设计从中起着关键作用。基于稀疏 表示的分类算法，将整个训练样本作为字典，利 设X=[X…X…Xx小∈R是一个K类p维的 用测试样本在字典上的重构误差分类。在字典中 训练样本，第k类样本X=[x……xm,X∈R0, 的每个原子都是一个样本，由于样本数量的限 k=1,2,…,K是第k类训练n样本，n=m+2+…+ 制，字典原子中有相同或相似的，还有一些则不 :+…+nx。字典学习模型的分类任务是通过利 包含在内造成分类错误。而Aharon M等提出的 用训练数据的类标签信息学习一个有效的数据表 KSVD算法学习的字典具有自适应性，能够更好 示模型去进行分类。在使用字典学习算法的图像 对信号进行稀疏表示。虽然，使用重构误差作为 分类研究中，如何设计对特征提取有效的字典和 损失函数，可以用于图像分类，但是还有许多因 编码系数是决定算法性能的关键因素四。对于字 素没有考虑到。Yang等提出Fisher字典学习在 典学习算法设计考虑的有三方面：1)稀疏表示残 自适应字典基础上，考虑到相同的样本之间的类 差（重构误差）小，使样本在稀疏表示时尽可能的 内散度较小，类间散度大，在目标函数上加入了 接近原始样本；2)对表示系数约束，使表示系数 识别系数项，提高分类能力。Jiang等提出的 稀疏；3)考虑能够更好提取更多的判别信息的判 LC-KVD算法，在KSVD算法基础上加入了标 别项。用于图像分类的判别字典学习模型672 签约束项。在文献[8]中，由于分别学习特征影射 可通常以表示为： 矩阵和字典，会影响特征影射矩阵的判别信息， minllX-DAl+g(A)+nf(D.A,Y) (1) 提出了同时学习投影矩阵和字典，为了能够提取 式中：、n是常量（平衡因子）：Y是样本X的标签 更多的判别信息，加入图正则项。构建近邻图， 向量；D是学习的综合字典；A是X在综合字典D 近邻且同类相似度为1，近邻但不同类相似度为 上的编码系数矩阵。在训练模型时，数据保真项 -1,其他为0。在文献[9]中图正则化中的相似度 X-DA是为了保证字典D的表示能力，使训 矩阵定义为两近邻样本的相似度为两样本之间的 练数据的重构误差最小，重构出来的图像尽可能 欧氏距离，不近邻样本之间的相似度为0。使用 的接近原始样本。正则项用于约束编码系数的稀 不同的相似矩阵，分类效果也不同。另一方面， 由于字典学习大多是使用编码系数的0或1范 疏性，其通常应用范数表示为： 3(A)=IIAllp (2) 数作正则项，在训练和测试阶段效率较低，运行 时间长。2014年在NIPS上Gu等1提出了字典 式中：I•是编码系数A正则项的常用形式(p<2), 对学习，联合学习一个综合字典和分析字典，用 使编码系数A在重建误差满足要求的情况下尽 分析字典去分析编码，由于综合字典的重构效果 可能地稀疏。f(D,A,Y)是字典学习用于分类的判 比较好，使用综合字典去重构图像。它不仅减少 别函数项，保证D和A的判别能力。 了在训练和测试阶段的时间复杂度，也提高了模 1.2字典对学习 型的分类能力。但是，字典对学习模型没有考虑 在1.1中描述的判别式字典学习模型是学习 图像的几何近邻拓扑关系。为了提高模型的分类 一个共享字典，对系数的约束都是使用或者是 能力，基于同类样本的系数之间的距离小，不同 1,范数对编码系数进行系数正则化约束，使训练 类系数之间的距离大的思想，提出了基于图正则 模型在训练阶段和测试阶段效率降低。Gu等u 化字典对学习(GDPL)算法。 为了提高模型在训练阶段和测试阶段的效率和整 在最近的综合研究中，用十倍交叉验证的 体的识别能力，提出了联合学习一个综合字典和 方法评估轻度认知功能障碍(MC)到阿尔兹海默 分析字典的字典对学习(DPL),不使用或者是1 症(AD)的预测，只有4种方法的实验结果比随机 范数对编码系数进行稀疏正则化，而是找到一个 分类的结果好，因此，提出新的方法提高MCI- 分析字典P,使训练样本X在分析字典P上线性 AD的预测是十分必要的。在图像分类中，并不 投影得出编码系数A,即A=PX保持稀疏性，重 是所有的特征都与识别分类有关，其中有一些是 建误差与判别约束保证下使训练样本X的稀疏 无关特征，将这些特征用于分类会出现过拟合现 表示变的更加有效且解决了out-of-sample问题。 象。由于稀疏表示中表示系数具有稀疏性，将本 字典对模型描述表示如下：于图像分类的字典学习算法也可以分为 2 类：1) 学习字典把原始图像映射到有利于图像分类的空 间上，用传统的分类器去分类；2) 用稀疏系数所 表示出来的样本属性进行分类。 在用于图像分类的字典学习算法中，字典和 编码系数的设计从中起着关键作用[3]。基于稀疏 表示的分类算法[4] ，将整个训练样本作为字典，利 用测试样本在字典上的重构误差分类。在字典中 的每个原子都是一个样本，由于样本数量的限 制，字典原子中有相同或相似的，还有一些则不 包含在内造成分类错误。而 Aharon M 等提出的 KSVD 算法[5]学习的字典具有自适应性，能够更好 对信号进行稀疏表示。虽然，使用重构误差作为 损失函数，可以用于图像分类，但是还有许多因 素没有考虑到。Yang 等 [6]提出 Fisher 字典学习在 自适应字典基础上，考虑到相同的样本之间的类 内散度较小，类间散度大，在目标函数上加入了 识别系数项，提高分类能力。Jiang 等 [7]提出的 LC-KVD 算法，在 KSVD 算法[5]基础上加入了标 签约束项。在文献[8]中，由于分别学习特征影射 矩阵和字典，会影响特征影射矩阵的判别信息， 提出了同时学习投影矩阵和字典，为了能够提取 更多的判别信息，加入图正则项。构建近邻图， 近邻且同类相似度为 1，近邻但不同类相似度为 −1，其他为 0。在文献[9]中图正则化中的相似度 矩阵定义为两近邻样本的相似度为两样本之间的 欧氏距离，不近邻样本之间的相似度为 0。使用 不同的相似矩阵，分类效果也不同。另一方面， 由于字典学习[3-9]大多是使用编码系数的 0 或 1 范 数作正则项，在训练和测试阶段效率较低，运行 时间长。2014 年在 NIPS 上 Gu 等 [10]提出了字典 对学习，联合学习一个综合字典和分析字典，用 分析字典去分析编码，由于综合字典的重构效果 比较好，使用综合字典去重构图像。它不仅减少 了在训练和测试阶段的时间复杂度，也提高了模 型的分类能力。但是，字典对学习模型没有考虑 图像的几何近邻拓扑关系。为了提高模型的分类 能力，基于同类样本的系数之间的距离小，不同 类系数之间的距离大的思想，提出了基于图正则 化字典对学习 (GDPL) 算法。 在最近的综合研究[11]中，用十倍交叉验证的 方法评估轻度认知功能障碍 (MCI) 到阿尔兹海默 症 (AD) 的预测，只有 4 种方法的实验结果比随机 分类的结果好，因此，提出新的方法提高 MCI￾AD 的预测是十分必要的。在图像分类中，并不 是所有的特征都与识别分类有关，其中有一些是 无关特征，将这些特征用于分类会出现过拟合现 象。由于稀疏表示中表示系数具有稀疏性，将本 文提出的图正则化字典对学习算法用于轻度认知 功能障碍预测。 1 相关工作 1.1 字典学习 X = [X1 ··· Xk ··· XK] ∈ R p×n Xk = [x1 ··· xi ··· xnk ] Xk ∈ R p×nk , k = 1,2,··· ,K nk n = n1 +n2 +···+ nk +···+nK 设 是一个 K 类 p 维的 训练样本，第 k类样本 ， 是第 k 类训练 样本， 。字典学习模型的分类任务是通过利 用训练数据的类标签信息学习一个有效的数据表 示模型去进行分类。在使用字典学习算法的图像 分类研究中，如何设计对特征提取有效的字典和 编码系数是决定算法性能的关键因素[1]。对于字 典学习算法设计考虑的有三方面：1) 稀疏表示残 差 (重构误差) 小，使样本在稀疏表示时尽可能的 接近原始样本；2) 对表示系数约束，使表示系数 稀疏；3) 考虑能够更好提取更多的判别信息的判 别项。用于图像分类的判别字典学习模型[6-7, 12-13] 可通常以表示为： min D,A ||X− DA||2 F +λg(A)+η f(D, A,Y) (1) λ、η ||X− DA||2 F 式中： 是常量 (平衡因子)；Y 是样本 X 的标签 向量；D 是学习的综合字典；A 是 X 在综合字典 D 上的编码系数矩阵。在训练模型时，数据保真项 是为了保证字典 D 的表示能力，使训 练数据的重构误差最小，重构出来的图像尽可能 的接近原始样本。正则项用于约束编码系数的稀 疏性，其通常应用范数表示为： g(A) = ||A||p (2) || • ||p p < 2 f(D, A,Y) 式中： 是编码系数 A 正则项的常用形式 ( )， 使编码系数 A 在重建误差满足要求的情况下尽 可能地稀疏。 是字典学习用于分类的判 别函数项，保证 D 和 A 的判别能力。 1.2 字典对学习 l0 l1 l0 l1 在 1.1 中描述的判别式字典学习模型是学习 一个共享字典，对系数的约束都是使用 或者是 范数对编码系数进行系数正则化约束，使训练 模型在训练阶段和测试阶段效率降低。Gu 等 [10] 为了提高模型在训练阶段和测试阶段的效率和整 体的识别能力，提出了联合学习一个综合字典和 分析字典的字典对学习 (DPL)，不使用 或者是 范数对编码系数进行稀疏正则化，而是找到一个 分析字典 P，使训练样本 X 在分析字典 P 上线性 投影得出编码系数 A，即 A = PX 保持稀疏性，重 建误差与判别约束保证下使训练样本 X 的稀疏 表示变的更加有效且解决了 out-of-sample 问题。 字典对模型描述表示如下： ·370· 智 能 系 统 学 报 第 14 卷