第14卷第5期 智能系统学报 Vol.14 No.5 2019年9月 CAAI Transactions on Intelligent Systems Sep.2019 D0:10.11992/tis.201809020 网络出版地址：http:/kns.cnki.net/kcms/detail/23.1538.TP.20181222.2105.002.html 基于竞争性协同表示的局部判别投影特征提取 李静，陈秀宏 (江南大学数字媒体学院.江苏无锡214000) 摘要：特征提取算法中利用样本间的协同表示关系构造邻接图只考虑所有训练样本的协同能力，而忽视了每 一类训练样本的内在竞争能力。为此，本文提出一种基于竞争性协同表示的局部判别投影特征提取算法(com petitive collaborative repesentation-based local discrininant projection for feature extraction,CCRLDP),该算法利用基于 具有竞争性协同表示的方法构造类间图和类内图，考虑到邻接图中各类型系数的影响，引入保留正表示系数的 思想稀疏化邻接图，通过计算类内散度矩阵和类间散度矩阵来刻画图像的局部结构并得其最优投影矩阵。在 一些数据集上的实验结果表明，相比同类基于局部判别投影的特征提取算法，该算法具有很高的识别率，并在 噪声和遮挡上具有良好的鲁棒性，该算法能有效地提高图像的识别效率。 关键词：特征提取；协同表示；模式识别；正系数；竞争性；鲁棒性；局部结构：人脸图像 中图分类号：TP391.4文献标志码：A文章编号：1673-4785(2019)05-0974-08 中文引用格式：李静，陈秀宏.基于竞争性协同表示的局部判别投影特征提取.智能系统学报，2019,14(5)：974-981. 英文引用格式：LIJing,CHEN Xiuhong..Competitive collaborative representation-based local discriminant projection for feature extraction[J].CAAI transactions on intelligent systems,2019,14(5):974-981. Competitive collaborative representation-based local discriminant projection for feature extraction LI Jing,CHEN Xiuhong (School of Digital Media,Jiangnan University,Wuxi 214000,China) Abstract:The feature extraction algorithm uses the cooperative representation relation between samples to construct the adjacency graph,which only considers the synergy of all training samples and ignores the competitiveness of each type of training sample.Therefore,based on competitive cooperative representation,this study proposes a local discriminant projection feature extraction algorithm and further constructs between-class and within-class graphs.Considering the in- fluence of each type of coefficient in the adjacency graph,we introduce the idea of retaining the positive representation coefficient in the sparse adjacency graph.The local structure of the image is characterized by calculating the within-class and between-class scatter matrices;furthermore,the optimal projection matrix is obtained.The experimental results of some data sets show that compared with similar feature extraction algorithms based on local discriminant projection,the algorithm exhibits good recognition effect and good robustness in noise and occlusion and effectively increases the im- age recognition efficiency. Keywords:feature extraction;collaborative representation;pattern recognition;positive coefficient;competitive,robust- ness;local structure;face image 特征提取（或降维）)在计算机视觉和模式 中主成分分析(PCA)和线性判别分析(LDA)I 识别领域起着非常重要的作用，它通过把原始数 是两个最著名的算法，但是它们很难确定数据的 据投影到低维空间而得到最具代表性的特征，其 流形结构。 收稿日期：2018-09-13.网络出版日期：2018-12-25 为获得数据的局部结构，出现了许多基于图 基金项目：江苏省研究生科研创新计划项目(KYCX171500). 通信作者：李静.E-mail:944651524@qq.com 的降维算法6，包括局部保持投影(LPP、边缘
DOI: 10.11992/tis.201809020 网络出版地址: http://kns.cnki.net/kcms/detail/23.1538.TP.20181222.2105.002.html 基于竞争性协同表示的局部判别投影特征提取 李静，陈秀宏 （江南大学 数字媒体学院，江苏 无锡 214000） 摘 要：特征提取算法中利用样本间的协同表示关系构造邻接图只考虑所有训练样本的协同能力，而忽视了每 一类训练样本的内在竞争能力。为此，本文提出一种基于竞争性协同表示的局部判别投影特征提取算法 (competitive collaborative repesentation-based local discrininant projection for feature extraction，CCRLDP)，该算法利用基于 具有竞争性协同表示的方法构造类间图和类内图，考虑到邻接图中各类型系数的影响，引入保留正表示系数的 思想稀疏化邻接图，通过计算类内散度矩阵和类间散度矩阵来刻画图像的局部结构并得其最优投影矩阵。在 一些数据集上的实验结果表明，相比同类基于局部判别投影的特征提取算法，该算法具有很高的识别率，并在 噪声和遮挡上具有良好的鲁棒性，该算法能有效地提高图像的识别效率。 关键词：特征提取；协同表示；模式识别；正系数；竞争性；鲁棒性；局部结构；人脸图像 中图分类号：TP391.4 文献标志码：A 文章编号：1673−4785(2019)05−0974−08 中文引用格式：李静, 陈秀宏. 基于竞争性协同表示的局部判别投影特征提取 [J]. 智能系统学报, 2019, 14(5): 974–981. 英文引用格式：LI Jing, CHEN Xiuhong. Competitive collaborative representation-based local discriminant projection for feature extraction[J]. CAAI transactions on intelligent systems, 2019, 14(5): 974–981. Competitive collaborative representation-based local discriminant projection for feature extraction LI Jing，CHEN Xiuhong (School of Digital Media, Jiangnan University, Wuxi 214000, China) Abstract: The feature extraction algorithm uses the cooperative representation relation between samples to construct the adjacency graph, which only considers the synergy of all training samples and ignores the competitiveness of each type of training sample. Therefore, based on competitive cooperative representation, this study proposes a local discriminant projection feature extraction algorithm and further constructs between-class and within-class graphs. Considering the influence of each type of coefficient in the adjacency graph, we introduce the idea of retaining the positive representation coefficient in the sparse adjacency graph. The local structure of the image is characterized by calculating the within-class and between-class scatter matrices; furthermore, the optimal projection matrix is obtained. The experimental results of some data sets show that compared with similar feature extraction algorithms based on local discriminant projection, the algorithm exhibits good recognition effect and good robustness in noise and occlusion and effectively increases the image recognition efficiency. Keywords: feature extraction; collaborative representation; pattern recognition; positive coefficient; competitive; robustness; local structure; face image 特征提取 (或降维) [1-3] 在计算机视觉和模式 识别领域起着非常重要的作用，它通过把原始数 据投影到低维空间而得到最具代表性的特征，其 中主成分分析 (PCA)[4] 和线性判别分析 (LDA)[5] 是两个最著名的算法，但是它们很难确定数据的 流形结构。 为获得数据的局部结构，出现了许多基于图 的降维算法[6-12] ，包括局部保持投影 (LPP)[6] 、边缘 收稿日期：2018−09−13. 网络出版日期：2018−12−25. 基金项目：江苏省研究生科研创新计划项目 (KYCX17_1500). 通信作者：李静.E-mail: 944651524@qq.com. 第 14 卷第 5 期 智 能 系 统 学 报 Vol.14 No.5 2019 年 9 月 CAAI Transactions on Intelligent Systems Sep. 2019
第5期 李静，等：基于竞争性协同表示的局部判别投影特征提取 ·975· 判别分析(MFA))和局部判别嵌入LDE)⑧I等。 的维数；第c类的训练样本集Xe=xx…x], LPP是一种无监督学习算法，它忽视了数据的判 别结构；而MFA和LDE则是有监督学习，它们试 其中：n为第c类样本数；c=1,2…,C;n=∑n 图找到一个投影子空间，在该子空间中同类样本 为样本总数。 点相互靠近，而不同类样本点相互分离，因此它 1.1基于协同表示的分类(CRC) 们不仅考虑了数据的邻域结构同时也考虑了数据 CRC(collaborative representation based classific- 的判别结构。在基于图的流形学习中，关键是如 ation)的目标是使用所有的训练样本来协同地 何通过构造图来获得数据的本质结构。图的构造 表示测试样本，其表示系数可通过以下优化问题 通常包括两步：第一步是决定样本间的近邻关 求得： 系，第二步是为每对样本设置权重。通常，可通 minlly-Xal+illal (1) 过k近邻和ε-球邻域确定样本的近邻，但此类算 式中：1是正则化参数；a=[a12…awT∈Rxd 法均依赖于参数k或ε的选择。 为测试样本y的表示系数列向量。式(1)的最优 基于协同表示的分类(CRC))近年来得到了 解为=(XX+)1Xy,其中1是单位阵。于是 广泛而深入的研究，它使用所有的训练样本来协 第c类的残差为r=心y-Xll2,这里的a是m中 同表示测试样本，其表示系数描述了相应训练样 与第c类样本对应的表示系数。从而，测试样本 本对测试样本的贡献，再依据残差对样本进行分 y的类标签为label(y)=argminro 类。Yuan等提出了基于分类的协同竞争表示 1.2局部判别嵌入的投影 (CCRC),在计算各训练样本表示系数的同时确定 每类训练样本的竞争能力，从而实现对样本的分 在LDE(local discriminant embedding)中， 类，该算法能很好地权衡训练样本的协同表示和 G={X,W)和G={X,W)分别表示同类样本与异 竞争表示之间的关系。Huang等提出了基于协 类样本的邻接图，其中顶点集X对应训练样本 同表示的局部判别投影(CRLDP),它利用协同表 集，W和W'分别表示同类样本之间和异类样本 示获得表示系数构造样本的关系图，克服了近邻 之间相似性的权矩阵，其定义分别为 参数设置难的问题。Yang等a给出的基于协同 exp[-llx,-x/,l=L,x∈N(x)或 表示的投影(CRP)是通过L2范数最小化问题求 W xjEN.(x (2) 0,其他 表示系数，但是CRP是无监督的。为了充分地利 式中：x-x表示x与x,之间的欧氏距离； 用标签信息来提高分类性能，Hua等17又提出了 t>0;l,是x,的类标签；N(x)表示与x同类的k 基于协同表示重构的投影(CRRP),虽然该算法是 个近邻组成的集合。 有监督的，但是它仅使用了全局信息而忽略了各 exp[-Hr:-x/il,l≠I,x:∈Ns(x,)或 类别之间的竞争性。 W'= x∈Nb(x) (3) 在以上基于CRC的学习算法中，表示系数有 0,其他 正有负，其中正表示系数描述了训练样本对测试 式中N(x)表示与x,异类的k个近邻组成的集 样本的正面作用，对重构样本呈正相关性，而负 合。根据图嵌入理论，希望投影后样本之间的近 系数则起着负面作用，对重构样本呈负相关性。 邻关系得到保持。令P∈Rmx(dIP'x,-PTxlPW=2u(PX(D-W)X"P)(4) 造类间图和类内图，然后在考虑每类样本的竞争 性以及样本标签信息的基础上，给出一种基于竞 S.=>IP'x,-PTxlFWi,=2t(PTX(D'-W)X"P)(5) 争性协同表示的局部判别投影特征提取 式中：r()表示矩阵的迹；D和D是对角矩阵，其 (CCRLDP)。该算法不仅考虑了样本间的协同能 力和每类样本的竞争性，还利用了样本的类别信 主对角元素为Da=∑wW,和D=∑Wy。LDEP 息，因此可在一定程度上提高识别效率。 的目标是求投影矩阵P使得类间离散度最大化 1协同分类与局部判别算法 的同时类内离散度也达到最小化，它可表示为以 下优化问题： 给定一组样本X=[x12…xJ,每个样本 S tIPTX(D'-W)XTP) max- x:∈R4(i=1,2,…,n)为n维列向量，d为每个样本 S tr(PTX(D-W)XP) (6)
k ε k ε 判别分析 (MFA)[7] 和局部判别嵌入 (LDE)[8] 等。 LPP 是一种无监督学习算法，它忽视了数据的判 别结构；而 MFA 和 LDE 则是有监督学习，它们试 图找到一个投影子空间，在该子空间中同类样本 点相互靠近，而不同类样本点相互分离，因此它 们不仅考虑了数据的邻域结构同时也考虑了数据 的判别结构。在基于图的流形学习中，关键是如 何通过构造图来获得数据的本质结构。图的构造 通常包括两步：第一步是决定样本间的近邻关 系，第二步是为每对样本设置权重。通常，可通 过 近邻和 -球邻域确定样本的近邻，但此类算 法均依赖于参数 或 的选择。 基于协同表示的分类 (CRC)[13] 近年来得到了 广泛而深入的研究，它使用所有的训练样本来协 同表示测试样本，其表示系数描述了相应训练样 本对测试样本的贡献，再依据残差对样本进行分 类。Yuan 等 [14] 提出了基于分类的协同竞争表示 (CCRC)，在计算各训练样本表示系数的同时确定 每类训练样本的竞争能力，从而实现对样本的分 类，该算法能很好地权衡训练样本的协同表示和 竞争表示之间的关系。Huang 等 [15] 提出了基于协 同表示的局部判别投影 (CRLDP)，它利用协同表 示获得表示系数构造样本的关系图，克服了近邻 参数设置难的问题。Yang 等 [16] 给出的基于协同 表示的投影 (CRP) 是通过 L2 范数最小化问题求 表示系数，但是 CRP 是无监督的。为了充分地利 用标签信息来提高分类性能，Hua 等 [17] 又提出了 基于协同表示重构的投影 (CRRP)，虽然该算法是 有监督的，但是它仅使用了全局信息而忽略了各 类别之间的竞争性。 在以上基于 CRC 的学习算法中，表示系数有 正有负，其中正表示系数描述了训练样本对测试 样本的正面作用，对重构样本呈正相关性，而负 系数则起着负面作用，对重构样本呈负相关性。 由于正表示系数可以提取样本的主要特征，且具 有一定的判别能力，故本文利用正表示系数来构 造类间图和类内图，然后在考虑每类样本的竞争 性以及样本标签信息的基础上，给出一种基于竞 争性协同表示的局部判别投影特征提 取 (CCRLDP)。该算法不仅考虑了样本间的协同能 力和每类样本的竞争性，还利用了样本的类别信 息，因此可在一定程度上提高识别效率。 1 协同分类与局部判别算法 X = [x1 x2 ··· xn] xi ∈ R d (i = 1,2,··· ,n) n d 给定一组样本 ，每个样本 为 维列向量， 为每个样本 c Xc = [x c 1 x c 2 ··· x c nc ] nc c c = 1,2,··· ,C n = ∑C c=1 nc 的维数；第 类的训练样本集 ， 其中： 为第 类样本数； ； 为样本总数。 1.1 基于协同表示的分类 (CRC) CRC(collaborative representation based classification) 的目标是使用所有的训练样本来协同地 表示测试样本，其表示系数可通过以下优化问题 求得： min α ||y− Xα||2 2 +λ||α||2 2 (1) λ α = [α1 α2 ··· αN] T ∈R N×1 y α ∗ = (X TX+λI) −1X T y I c rc = ||y− Xcα ∗ c ||2 α ∗ c α ∗ c y label(y) = argmin c rc 式中： 是正则化参数 ; 为测试样本 的表示系数列向量。式 (1) 的最优 解为 , 其中 是单位阵。于是 第 类的残差为 ，这里的 是 中 与第 类样本对应的表示系数。从而，测试样本 的类标签为 。 1.2 局部判别嵌入的投影 G = {X,W} G ′ = {X,W′ } X W W′ 在 LDE(local discriminant embedding) 中 ， 和 分别表示同类样本与异 类样本的邻接图，其中顶点集 对应训练样本 集， 和 分别表示同类样本之间和异类样本 之间相似性的权矩阵，其定义分别为 Wi j = exp[−||xi − xj ||2 /t], li = lj , xi ∈ Nw(xj)或 xj ∈ Nw(xi) 0, 其他 (2) ||xi − xj || xi xj t > 0 li xi Nw(xi) xi k 式中： 表 示 与 之间的欧氏距离； ； 是 的类标签； 表示与 同类的 个近邻组成的集合。 W′ i j = exp[−||xi − xj ||2 /t], li , lj , xi ∈ Nb(xj)或 xj ∈ Nb(xi) 0, 其他 (3) Nb(xi) xi k ′ P ∈ R m×d (d < m) S w S b 式中 表示与 异类的 个近邻组成的集 合。根据图嵌入理论，希望投影后样本之间的近 邻关系得到保持。令 表示投影矩 阵，定义类内离散度 和类间离散度 分别为 S w = ∑ i j ||P T xi − P T xj ||2Wi j = 2tr{P TX(D−W)X T P} (4) S b = ∑ i j ||P T xi − P T xj ||2W′ i j = 2tr{P TX(D ′ −W′ )X T P} (5) tr(·) D D ′ Dii = ∑ j Wi j D ′ ii = ∑ j W′ i j P 式中： 表示矩阵的迹； 和 是对角矩阵，其 主对角元素为 和 。LDEP 的目标是求投影矩阵 使得类间离散度最大化 的同时类内离散度也达到最小化，它可表示为以 下优化问题： max P S b S w = tr{P TX(D ′ −W′ )X T P} tr{PTX(D−W)XT P} (6) 第 5 期 李静，等：基于竞争性协同表示的局部判别投影特征提取 ·975·
·976· 智能系统学报 第14卷 2基于竞争性协同表示的局部判别 的，负系数表示样本与重构样本之间是负相关 投影(CCRLDP) 的，所以本文利用样本与重构样本之间的正相关 性对系数进行处理，突出其正表示系数的作用。 在LDEP算法中，其近邻参数k与K以及参 同时为了使样本的局部几何结构在投影空间中得 数t需要手工选取。CRLDP利用基于协同表示 到保持，构造类内紧致图和类间分离图，这里的 的表示系数构造样本关系图，从而克服了近邻参 类内紧致图用来衡量同类样本之间的紧致性，类 数设置难的问题。但是，该算法在对样本x,重构 间分离图则用来衡量不同类样本之间的分离性。 时使用的是全局信息，而忽略了各类别之间的竞 本文定义类内紧致图和类间分离图的相似性权矩 争性。另外，在基于协同的表示中，如果一个样 阵U和U,两矩阵元素分别定义为 本x:与另一个样本x,属于同一类，那么在重构x w,l=1,且w>0 时x的贡献应该较大，即x将会有一个较大的 Ui= (10) 0.其他 系数，因此在构造图时可以尽量保留贡献大的系 数（本文保留正系数）。基于以上分析，本文提出的 U= w,l,≠l且w>0 (11) 0.其他 基于竞争性协同表示的局部判别投影(CCRLDP) 算法，首先建立基于竞争性协同表示的学习模 式(10)和式(11)表示保留样本间具有正相关 型，然后从学习到的表示系数中选择正表示系 性的系数，以此来得到两个稀疏矩阵U和U,这 数，并构造类间分离性图和类内紧致性图，进而 在一定程度上提高了算法的判别能力。由于样本 获得类间离散度和类内离散度。此算法不仅克服 x:对重构样本x所做的贡献不同于样本x对重 了LDEP算法中近邻参数设置难的问题，而且还 构样本x所做的贡献，所以权矩阵U和U”一般 利用了样本的局部信息和标签信息，因而进一步 情况下是不对称的。 提高了识别效率与性能。 2.2 CCRLDP的优化模型与算法 2.1局部结构图的构造 根据类内紧致图和类间分离图的权矩阵，定 为了能充分反映样本重构时不同类样本的差 义类内紧致性和类间分离性： 异性，对每个训练样本x建立具有竞争性的协同 (12) 表示学习模型，即 ∑P-PxU,=P饭P minl-Xw报+w,6+2,∑Ix-Xw时 (7) ∑IP-PxrU,=uPs,A (13) =1 式中：w,=[w1w2…w-10w+1…wJeR表示 式中S和5。分别表示类内紧致性矩阵和类间分 重构样本x:的系数列向量；wi≠)表示样本x 离性矩阵，即 对于重构x;所做的贡献；w∈R表示w:中与第c 类样本对应的系数组成的n。维列向量。在式 5.-22x-X-7rUu,=KD-X4 (7)中，第1项和第2项表示使用样本的协同表示 关系重构每个样本，第3项是增加的约束项（用来 ∑∑c--rU=KD-HX 保持每类样本的竞争能力)，而参数：是用来平衡 式中：H=U+U;=U+UT;D和D均为对角 协同表示和竞争表示的正则化参数。通过对式 (7)求偏导得w:的最优解为 矩阵，其对角元分别为Da=∑U+∑V和D= w=(1+)(XTX+I+110-1XTx (8) v+2 其中M定义为 1 1 XIX 0 基于竞争性协同表示的局部判别投影法的目 0 XX 标就是找到一个最优投影矩阵，使得投影后样本 M= (9) : 的类间分离性极大而类内紧致性极小，即优化模 0. 型为 令系数矩阵W=[wiw;…w]eR。注 tr(PTS,P) max (16) 意到，重构系数越大说明两样本之间的相似性越 tr(PTSP) 高，而正系数表示样本与重构样本之间是正相关 令p1,p2,…,pu为广义特征方程Sbp=Sp的
2 基于竞争性协同表示的局部判别 投影 (CCRLDP) k k ′ t xi xi xj xi xj xj 在 LDEP 算法中，其近邻参数 与 以及参 数 需要手工选取。CRLDP[15] 利用基于协同表示 的表示系数构造样本关系图，从而克服了近邻参 数设置难的问题。但是，该算法在对样本 重构 时使用的是全局信息，而忽略了各类别之间的竞 争性。另外，在基于协同的表示中，如果一个样 本 与另一个样本 属于同一类，那么在重构 时 的贡献应该较大，即 将会有一个较大的 系数，因此在构造图时可以尽量保留贡献大的系 数 (本文保留正系数)。基于以上分析，本文提出的 基于竞争性协同表示的局部判别投影 (CCRLDP) 算法，首先建立基于竞争性协同表示的学习模 型，然后从学习到的表示系数中选择正表示系 数，并构造类间分离性图和类内紧致性图，进而 获得类间离散度和类内离散度。此算法不仅克服 了 LDEP 算法中近邻参数设置难的问题，而且还 利用了样本的局部信息和标签信息，因而进一步 提高了识别效率与性能。 2.1 局部结构图的构造 xi 为了能充分反映样本重构时不同类样本的差 异性，对每个训练样本 建立具有竞争性的协同 表示学习模型，即 min wi {||xi − Xwi ||2 2 +λ||wi ||2 2 +λ1 ∑C c=1 ||xi − Xcw c i ||2 2 } (7) wi = [wi,1 wi,2 ··· wi,i−1 0 wi,i+1 ··· wi,n] T ∈ R n xi wi j(i , j) xj xi w c i ∈ R nc wi c nc λ1 wi 式中： 表示 重构样本 的系数列向量； 表示样本 对于重构 所做的贡献； 表示 中与第 类样本对应的系数组成的 维列向量。在式 (7) 中，第 1 项和第 2 项表示使用样本的协同表示 关系重构每个样本，第 3 项是增加的约束项 (用来 保持每类样本的竞争能力)，而参数 是用来平衡 协同表示和竞争表示的正则化参数。通过对式 (7) 求偏导得 的最优解为 w ∗ i = (1+λ1)(X TX+λI+λ1M) −1X T xi (8) 其中 M 定义为 M = X T 1 X1 0 ··· 0 0 X T 2 X2 ··· 0 . . . . . . . . . 0 0 ··· X T c Xc (9) W = [w ∗ 1 w ∗ 2 ··· w ∗ n ] ∈ R 令系数矩阵 n×n。注 意到，重构系数越大说明两样本之间的相似性越 高，而正系数表示样本与重构样本之间是正相关 U U ′ 的，负系数表示样本与重构样本之间是负相关 的，所以本文利用样本与重构样本之间的正相关 性对系数进行处理，突出其正表示系数的作用。 同时为了使样本的局部几何结构在投影空间中得 到保持，构造类内紧致图和类间分离图，这里的 类内紧致图用来衡量同类样本之间的紧致性，类 间分离图则用来衡量不同类样本之间的分离性。 本文定义类内紧致图和类间分离图的相似性权矩 阵 和 ，两矩阵元素分别定义为 Ui j = w ∗ i j, li = lj且w ∗ i j > 0 0, 其他 (10) U ′ i j = w ∗ i j, li , lj且w ∗ i j > 0 0, 其他 (11) U U ′ xi xj xj xi U U ′ 式 (10) 和式 (11) 表示保留样本间具有正相关 性的系数，以此来得到两个稀疏矩阵 和 ，这 在一定程度上提高了算法的判别能力。由于样本 对重构样本 所做的贡献不同于样本 对重 构样本 所做的贡献，所以权矩阵 和 一般 情况下是不对称的。 2.2 CCRLDP 的优化模型与算法 根据类内紧致图和类间分离图的权矩阵，定 义类内紧致性和类间分离性： ∑n i=1 ∑n j=1 ||P T xi − P T xj ||2Ui j = tr(P TSw P) (12) ∑n i=1 ∑n j=1 ||P T xi − P T xj ||2U ′ i j = tr(P TSbP) (13) 式中 Sw 和 Sb 分别表示类内紧致性矩阵和类间分 离性矩阵，即 Sw = ∑n i=1 ∑n j=1 (xi − xj)(xi − xj) TUi j = X(D− H)X T (14) Sb = ∑n i=1 ∑n j=1 (xi − xj)(xi − xj) TU ′ i j = X(D ′ − H ′ )X T (15) H = U +U T H′ = U ′ +U ′T D D ′ Dii = ∑n j=1 Ui j + ∑n j=1 Uji D ′ ii = ∑n j=1 U ′ i j + ∑n j=1 U ′ ji 式中： ； ； 和 均为对角 矩阵，其对角元分别为 和 。 基于竞争性协同表示的局部判别投影法的目 标就是找到一个最优投影矩阵，使得投影后样本 的类间分离性极大而类内紧致性极小，即优化模 型为 max P tr(P TSbP) tr(PTSw P) (16) 令 p1, p2,··· , pd 为广义特征方程 Sb p = λSw p 的 ·976· 智 能 系 统 学 报 第 14 卷
第5期 李静，等：基于竞争性协同表示的局部判别投影特征提取 ·977· 前d个最大特征值对应的特征向量，则最优投影 矩阵为P=[p1p2…palo (a)5x5遮挡 假设训练样本X=[x1x2…xJ∈Rmm和每个 样本的标签l,i=1,2,…,),本文算法的实现步 骤为： (b)10x10遮挡 I)使用PCA降维； 2)求解式(7)或由式(8)得第i个训练样本的 表示系数向量，再进行修正得到分量均非负的向量： (C)15x15遮挡 3)由式(10)和式(11)得权矩阵U和U; 图2有不同大小遮挡的AR数据集部分样本 4)由式(14)和式(15)计算类内紧致性矩阵 Fig.2 Partial sample of the AR data set with different size 5.和类间分离性矩阵S6: occlusions 5)求广义特征方程5p=Sp的前d个最大 Binalpha数据集包含10个手写数字和26个 特征值对应的特征向量p,P2,…,Pu,从而得最优 手写英文字母，总共1404个图像，每幅图像的大 投影矩阵P=[p1p2…Pa。 小为20×16，图像中的像素值为1或0。图3为样 在本文算法中，步骤2)求解(XTX+1+11M0 本集的部分人脸图像。 和xX的计算复杂度为On+dn2),其中d为样 accaoecw060 本维数，n为样本数；步骤4)的计算复杂度为 O2dn2),而步骤5)特征分解的计算复杂度为 图3 Binalpha数据集部分样本 Fig.3 Partial sample of the Binalpha data set O(d)。所以算法的复杂性为O(m3+3dn2+d),本 文算法复杂度主要在于对矩阵求逆，本文算法适 3.2参数分析 用于解决小样本问题。 本节讨论模型中参数1和1对识别性能的影 响情况，这里分别考虑FERET、AR和Binalpha这 3实验 3个数据集，并从每人的图像中选取5、5和20张 用于训练，其余用于测试。实验中，参数1和 为了验证算法的性能，本节选择数据集FER- 取值范围均为{0.001,0.01,0.1,1,10,100,1000}， ET、AR和Binalpha进行实验，并将本文CCRLDP 表1~3分别为CCRLDP算法在FERET、AR和 算法与LPP、CRP、CRRP、CCRC和CRLDP等算 Binalpha数据集上不同参数组时的识别结果。 法做对比，说明该算法的有效性和优越性。 表1 FERET数据集参数比较 3.1数据集 Table 1 Comparison of the FERET data set parameters FERET人脸数据集包含200个人的1400幅 人脸图像（每人有7幅图像），分别在不同光照、姿 0.0010.010.1 10 100 态和表情变化下采集的，每幅图像的大小为 0.001 73.4270.3371.25 73.67 76.08 73.67 32×32。实验中，对图像加入密度为0.03的椒盐 0.01 73.08 70.58 72.0074.08 74.83 73.58 0.1 72.5871.25 71.58 75.25 74.58 74.75 噪声。图1为样本集中部分人脸图像。 1 71.50 71.25 73.67 75.33 74.08 75.67 0 75.17 69.0074.58 76.5074.92 75.08 100 74.9273.4273.5075.5073.33 74.58 图1加椒盐噪声FERET数据集部分样本 表2AR数据集参数比较 Fig.1 Partial sample of the FERET data set with salt and Table 2 Comparison of the AR data set parameters 0 pepper noise AR人脸数据集包含126人的4000多幅人脸 0.0010.010.1 1 101001000 图像，它们分别是在不同光照、表情和部分遮挡 0.00190.7090.7387.9283.3083.8881.7884.40 0.0190.4789.5888.3784.7384.5283.9383.33 情况下采集的。实验时随机选取40人，每人 0.1 89.6789.77882084.2881.7383.7882.98 20幅图像，每幅图像的大小为32×32，并对图像分 191.2289.7587.7585.6782.7583.4084.37 别加入大小为5×5、10×10和15×15的遮挡。图2 1090.6090.6587.7584.5582.2884.3581.72 为样本集中部分人脸图像。 10090.5090.9388.3585.6582.9882.8882.25
d P ∗ = [p1 p2 ··· pd] 前 个最大特征值对应的特征向量，则最优投影 矩阵为 。 X = [x1 x2 ··· xn] ∈ R m×n li(i = 1,2,··· ,n) 假设训练样本 和每个 样本的标签 ，本文算法的实现步 骤为： 1) 使用 PCA 降维； i wi 2) 求解式 (7) 或由式 (8) 得第 个训练样本的 表示系数向量，再进行修正得到分量均非负的向量 ； U U ′ 3) 由式 (10) 和式 (11) 得权矩阵 和 ； S¯ w S¯ b 4) 由式 (14) 和式 (15) 计算类内紧致性矩阵 和类间分离性矩阵 ； Sb p = λSw p d p1, p2,··· , pd P ∗ = [p1 p2 ··· pd] 5) 求广义特征方程 的前 个最大 特征值对应的特征向量 ，从而得最优 投影矩阵 。 (X TX+λI+λ1M) −1 X TX O(n 3 +dn2 ) d n O(2dn2 ) O(d 3 ) O(n 3 +3dn2 +d 3 ) 在本文算法中，步骤 2) 求解 和 的计算复杂度为 ，其中 为样 本维数， 为样本数；步骤 4) 的计算复杂度为 ，而步 骤 5 ) 特征分解的计算复杂度为 。所以算法的复杂性为 ，本 文算法复杂度主要在于对矩阵求逆，本文算法适 用于解决小样本问题。 3 实验 为了验证算法的性能，本节选择数据集 FERET、AR 和 Binalpha 进行实验，并将本文 CCRLDP 算法与 LPP、CRP、CRRP、CCRC 和 CRLDP 等算 法做对比，说明该算法的有效性和优越性。 3.1 数据集 FERET 人脸数据集包含 200 个人的 1 400 幅 人脸图像 (每人有 7 幅图像)，分别在不同光照、姿 态和表情变化下采集的，每幅图像的大小 为 32×32。实验中，对图像加入密度为 0.03 的椒盐 噪声。图 1 为样本集中部分人脸图像。 图 1 加椒盐噪声 FERET 数据集部分样本 Fig. 1 Partial sample of the FERET data set with salt and pepper noise AR 人脸数据集包含 126 人的 4 000 多幅人脸 图像，它们分别是在不同光照、表情和部分遮挡 情况下采集的。实验时随机选取 40 人，每人 20 幅图像，每幅图像的大小为 32×32，并对图像分 别加入大小为 5×5、10×10 和 15×15 的遮挡。图 2 为样本集中部分人脸图像。 (a) 5×5 遮挡 (b) 10×10 遮挡 (c) 15×15 遮挡 图 2 有不同大小遮挡的 AR 数据集部分样本 Fig. 2 Partial sample of the AR data set with different size occlusions Binalpha 数据集包含 10 个手写数字和 26 个 手写英文字母，总共 1 404 个图像，每幅图像的大 小为 20×16，图像中的像素值为 1 或 0。图 3 为样 本集的部分人脸图像。 图 3 Binalpha 数据集部分样本 Fig. 3 Partial sample of the Binalpha data set 3.2 参数分析 λ λ1 λ λ1 本节讨论模型中参数 和 对识别性能的影 响情况，这里分别考虑 FERET、AR 和 Binalpha 这 3 个数据集，并从每人的图像中选取 5、5 和 20 张 用于训练，其余用于测试。实验中，参数 和 取值范围均为{0.001，0.01，0.1，1，10，100，1 000}， 表 1～3 分别为 CCRLDP 算法在 FERET、AR 和 Binalpha 数据集上不同参数组时的识别结果。 表 1 FERET 数据集参数比较 Table 1 Comparison of the FERET data set parameters % λ λ1 0.001 0.01 0.1 1 10 100 0.001 73.42 70.33 71.25 73.67 76.08 73.67 0.01 73.08 70.58 72.00 74.08 74.83 73.58 0.1 72.58 71.25 71.58 75.25 74.58 74.75 1 71.50 71.25 73.67 75.33 74.08 75.67 10 75.17 69.00 74.58 76.50 74.92 75.08 100 74.92 73.42 73.50 75.50 73.33 74.58 表 2 AR 数据集参数比较 Table 2 Comparison of the AR data set parameters % λ λ1 0.001 0.01 0.1 1 10 100 1 000 0.001 90.70 90.73 87.92 83.30 83.88 81.78 84.40 0.01 90.47 89.58 88.37 84.73 84.52 83.93 83.33 0.1 89.67 89.77 88.20 84.28 81.73 83.78 82.98 1 91.22 89.75 87.75 85.67 82.75 83.40 84.37 10 90.60 90.65 87.75 84.55 82.28 84.35 81.72 100 90.50 90.93 88.35 85.65 82.98 82.88 82.25 第 5 期 李静，等：基于竞争性协同表示的局部判别投影特征提取 ·977·
·978· 智能系统学报 第14卷 表3 Binalpha数据集参数比较 集，L取5；对AR数据集，L分别取5、8、10及12： Table 3 Comparison of the Binalpha data set parameters 号 对Binalpha数据集，L分别取20、23及25。在 LPP算法中近邻值取k=L-1。对于FERET和AR 数据集，子空间维数范围均设定为2~50：Binal-- 0.001 0.01 0.1 10 100 1000 pha数据集子空间维数范围设定为1~20。由前面 0.001 64.7170.7172.2179.2982.4383.6481.71 的参数分析知，本文算法参数1和1在FERET数 0.01 66.1469.7973.2180.0083.2982.5081.36 据集上设置为1=10和1=1：在AR数据集上为 0.1 65.8670.3674.3677.86 82.0781.4382.79 1=1和1=0.00l;在Binalpha数据集上为1=1000 1 72.1470.7973.6479.0782.2182.1481.79 和11=1。将每个实验重复进行10次，并取平均 10 72.5074.1476.8679.9380.1481.9383.21 值作为最终的识别率。为了提高计算效率，避免 产生奇异问题，对原始数据利用PCA法做预处 10078.3676.3678.3681.6482.5082.4381.71 理，PCA的贡献率设置为98%，使用最近邻分类 100079.7180.50812984.2982.5783.4381.57 器NN)进行分类。表4给出了本文算法(CCRLDP) 由表1得，在FERET数据集上，对于不同的1 与其他算法在有椒盐噪声FERET数据集上的最 和值，CCRLDP的识别率变化比较平稳，起伏 优识别率及其标准差，这里括号中数字为识别率 不大。从表2可以看出，当识别率最高时，1的值 最高时对应的特征维数。由表4可知，在加入椒 较小，这说明在AR数据集上竞争能力起较小的 盐噪声的FERET数据集上，CCRLDP的识别率远 作用。 高于其他5种算法，这是因为CCRLDP算法充分 另外，由表1和表3可知，随着11值的增大， 利用了样本的标签信息和局部信息。另外，CCRLDP 识别率总体上也相应地提高，这说明在特征提取 算法的标准差也较小，这意味着该算法比其他算 过程中考虑各类样本之间的竞争能力是有利于提 法更稳定。表5为6种算法在Binalpha数据集上 取具有判别能力的特征的。然而当它的值增大到 的识别率及标准差，这里的数据集没有任何噪声 一定时，识别率则开始降低，这是因为，如果1的 和遮挡。由表5可以看出，对于不同的训练样本 值过大，则放大了各类样本间的竞争性而忽视了 数L,CCRLDP的识别率均优于其他算法，且识别 样本间的协同表示能力，从而造成对样本的重构 率随着训练样本数的增加而增加；另外，有监督 能力下降，最终导致识别率降低。相反，如果1 学习算法CRRP、CRLDP和CCRLDP的算法性能 取值过小，此时只考虑全局信息而丢失各类样本 高于无监督学习算法LPP和CRP,因为无监督学 的竞争性信息，从而导致识别率降低。 习算法没有利用样本的标签信息，而在CRLDP 3.3实验结果分析 算法中，由于没有考虑样本之间的竞争能力和正 从上述数据集中每类随机选取L张图像作为 系数的作用，其判别信息较少，因此它的识别率 训练样本，剩下的作为测试样本。对FERET数据 低于本文算法。 表4加噪FERET数据集上6种算法识别率及标准差 Table 4 Recognition rate and standard deviation of six algorithms on the noisy FERET data set LPP CRP CRRP CCRC CRLDP CCRLDP 527.13±4.0419(28) 47.38±4.945924)29.88±5.2523(48) 51.63±1.710470.92±4.0521(44) 80.50±2.64(38) 表5 Binalpha数据集上不同训练样本数时6种算法识别率及标准差 Table 5 Recognition rate and standard deviation of six algorithms on the Binalpha data set LPP CRP CRRP CCRC CRLDP CCRLDP 2059.32±4.3985(20) 65.21±5.160418) 73.74±3.981019)77.63±0.0612 78.42±3.9932(19) 85.16±2.2304(18) 3 55.50±4.8032(20) 65.31±4.3511(19) 74.31±4.4036(18) 79.94±0.1024 78.94±1.2871(20) 85.25±2.305319) 2549.86±4.336320) 64.00±5.5335(20) 74.93±3.6035(20)79.50±1.3025 78.21±1.7578(20) 85.29±2.2531(16 由表6可见，在遮挡和训练样本数不同的情 4种算法。在同一种遮挡之下，CRRP、CRLDP和 况下，CCRLDP算法的识别率均优于所有其他 CCRLDP这3种算法的识别率均随着训练样本数
表 3 Binalpha 数据集参数比较 Table 3 Comparison of the Binalpha data set parameters % λ λ1 0.001 0.01 0.1 1 10 100 1 000 0.001 64.71 70.71 72.21 79.29 82.43 83.64 81.71 0.01 66.14 69.79 73.21 80.00 83.29 82.50 81.36 0.1 65.86 70.36 74.36 77.86 82.07 81.43 82.79 1 72.14 70.79 73.64 79.07 82.21 82.14 81.79 10 72.50 74.14 76.86 79.93 80.14 81.93 83.21 100 78.36 76.36 78.36 81.64 82.50 82.43 81.71 1000 79.71 80.50 81.29 84.29 82.57 83.43 81.57 λ λ1 λ1 由表 1 得，在 FERET 数据集上，对于不同的 和 值，CCRLDP 的识别率变化比较平稳，起伏 不大。从表 2 可以看出，当识别率最高时， 的值 较小，这说明在 AR 数据集上竞争能力起较小的 作用。 λ1 λ1 λ1 另外，由表 1 和表 3 可知，随着 值的增大， 识别率总体上也相应地提高，这说明在特征提取 过程中考虑各类样本之间的竞争能力是有利于提 取具有判别能力的特征的。然而当它的值增大到 一定时，识别率则开始降低，这是因为，如果 的 值过大，则放大了各类样本间的竞争性而忽视了 样本间的协同表示能力，从而造成对样本的重构 能力下降，最终导致识别率降低。相反，如果 取值过小，此时只考虑全局信息而丢失各类样本 的竞争性信息，从而导致识别率降低。 3.3 实验结果分析 从上述数据集中每类随机选取 L 张图像作为 训练样本，剩下的作为测试样本。对 FERET 数据 k = L−1 λ λ1 λ = 10 λ1 = 1 λ = 1 λ1 = 0.001 λ = 1 000 λ1 = 1 集，L 取 5；对 AR 数据集，L 分别取 5、8、10 及 12； 对 Binalpha 数据集，L 分别取 20、23 及 25。在 LPP 算法中近邻值取 。对于 FERET 和 AR 数据集，子空间维数范围均设定为 2~50；Binalpha 数据集子空间维数范围设定为 1~20。由前面 的参数分析知，本文算法参数 和 在 FERET 数 据集上设置为 和 ；在 AR 数据集上为 和 ；在 Binalpha 数据集上为 和 。将每个实验重复进行 10 次，并取平均 值作为最终的识别率。为了提高计算效率，避免 产生奇异问题，对原始数据利用 PCA 法做预处 理，PCA 的贡献率设置为 98%，使用最近邻分类 器 (NN) 进行分类。表 4 给出了本文算法 (CCRLDP) 与其他算法在有椒盐噪声 FERET 数据集上的最 优识别率及其标准差，这里括号中数字为识别率 最高时对应的特征维数。由表 4 可知，在加入椒 盐噪声的 FERET 数据集上，CCRLDP 的识别率远 高于其他 5 种算法，这是因为 CCRLDP算法充分 利用了样本的标签信息和局部信息。另外，CCRLDP 算法的标准差也较小，这意味着该算法比其他算 法更稳定。表 5 为 6 种算法在 Binalpha 数据集上 的识别率及标准差，这里的数据集没有任何噪声 和遮挡。由表 5 可以看出，对于不同的训练样本 数 L，CCRLDP 的识别率均优于其他算法，且识别 率随着训练样本数的增加而增加；另外，有监督 学习算法 CRRP、CRLDP 和 CCRLDP的算法性能 高于无监督学习算法 LPP 和 CRP，因为无监督学 习算法没有利用样本的标签信息，而在 CRLDP 算法中，由于没有考虑样本之间的竞争能力和正 系数的作用，其判别信息较少，因此它的识别率 低于本文算法。 表 4 加噪 FERET 数据集上 6 种算法识别率及标准差 Table 4 Recognition rate and standard deviation of six algorithms on the noisy FERET data set L LPP CRP CRRP CCRC CRLDP CCRLDP 5 27.13±4.041 9(28) 47.38±4.945 9(24) 29.88±5.252 3(48) 51.63±1.710 4 70.92±4.052 1(44) 80.50±2.64(38) 表 5 Binalpha 数据集上不同训练样本数时 6 种算法识别率及标准差 Table 5 Recognition rate and standard deviation of six algorithms on the Binalpha data set L LPP CRP CRRP CCRC CRLDP CCRLDP 20 59.32±4.398 5(20) 65.21±5.160 4(18) 73.74±3.981 0(19) 77.63±0.061 2 78.42±3.993 2(19) 85.16±2.230 4(18) 23 55.50±4.803 2(20) 65.31±4.351 1(19) 74.31±4.403 6(18) 79.94±0.102 4 78.94±1.287 1(20) 85.25±2.305 3(19) 25 49.86±4.336 3(20) 64.00±5.533 5(20) 74.93±3.603 5(20) 79.50±1.302 5 78.21±1.757 8(20) 85.29±2.253 1(16) 由表 6 可见，在遮挡和训练样本数不同的情 况下，CCRLDP 算法的识别率均优于所有其他 4 种算法。在同一种遮挡之下，CRRP、CRLDP 和 CCRLDP 这 3 种算法的识别率均随着训练样本数 ·978· 智 能 系 统 学 报 第 14 卷
第5期 李静，等：基于竞争性协同表示的局部判别投影特征提取 ·979· L的增大而增大；而对不同尺寸的遮挡，随着遮挡 CCRC的鲁棒性比较弱。表7给出各算法在不同 尺寸的增大，各算法的识别率在一定程度上均有 数据集上的计算时间，在大多数情况下，本文算 所降低。CCRC是一种分类算法，直接通过测试 法的计算速度高于其他算法，个别算法的计算时 样本求其系数，但是当输入图片的尺寸比较大 间虽然少，但是其识别率远低于本文算法。综上 时，算法的复杂度将会特别高，而且由表6可知 考虑，本文算法优于其他对比算法。 表6AR数据集上不同大小遮挡和不同训练样本数时6种算法识别率及标准差 Table 6 Six algorithms for recognition rate and standard deviation of different size occlusions and training samples on the AR data set % 遮挡大小L LPP CRP CRRP CCRC CRLDP CCRLDP 546.85±3.785948)70.72±3.0129(50)46.72±4.4402(40)64.55±0.020190.07±1.6394(50)90.92±1.9007(50) 847.33±3.6257(46)73.10±2.3051(50)56.10±6.902450)77.23±0.021693.69±1.0331(38)95.83±1.0765(50) 5×5 1045.45±2.725450)74.35±3.4645(48)54.78±9.0265(40)82.78±0.025195.08±1.5431(44)96.43±0.9208(42) 1243.63±2.5908(48)75.19±5.5066(48)60.09±8.7432(50)88.31±0.170395.44±1.2163(46)96.81±0.7769(50) 524.78±2.2391(48)42.25±4.2277(48)24.00±4.8981(50)45.77±0.028586.12±1.7202(50)88.27±2.1435(42) 822.88±1.7453(42)46.38±5.3295(50)28.35±2.9348(46)57.19H1.576791.94+1.6053(48)93.85±1.3893(50) 10×10 1022.23±2.0016(48)45.73±1.8910(48)29.08±4.1063(50)63.25±1.800893.33±1.1729(46)95.85±0.6992(50) 1221.13±2.0487(50)46.16±4.9072(48)31.25±5.1562(46)67.22±1.229794.22±1.3103(48)96.16±0.7808(46) 515.30±0.9974(48)31.68±2.1791(50)18.00±3.5636(40)34.18±0.019281.48±2.4915(50)84.37±1.9383(42) 813.92±0.7776(48)32.17±2.4580(48)20.90±3.2252(44)42.48±0.014789.50±1.7658(48) 92.02±1.0537(42) 15×15 1012.95±1.690748)32.68±3.0140(48)22.28±3.214748)48.05±0.021090.55±1.1353(48)93.73±1.6851(50) 1211.44±0.9239(42)36.69±2.0729(50)24.22±3.9296(48)52.59±0.028691.16±0.9782(48)94.66±1.199948) 表7各算法在不同数据集上的计算时间 Table 7 Calculation time of each algorithm on different data sets 数据集 LPP CRP CRRP CCRC CRLDP CCRLDP FERET(L=5) 1.6394 2.3491 2.5909 1.0455 1.7117 1.5152 AR(L=12) 3.1279 31.1437 42.0610 10.1161 27.0731 38.5117 Binalpha(L=20) 2.1107 73.9816 10.8495 4.3406 1.8016 1.3323 图4中描述了除CCRC算法之外其他5种不 无监督学习算法，但LPP需要手动构造图，不能 同算法在各数据集上的平均识别率随特征子空间 有效选择数据的本质结构，所以LPP算法性能次 维数变化而变化的曲线（因为CCRC直接对测试 于CRP;另外，CRRP能充分地利用样本的标签信 集原数据进行分类，没有涉及特征的提取，即不 息，故其性能优于LPP。 存在维度变化问题)。随着特征维数的增加，各算 总之，CCRLDP既考虑了数据的局部结构， 法的识别率也在逐渐上升，对于大多数数据集来 又充分地利用了样本的标签信息，因此在构造 说，在第20维之后，CCRLDP趋于平稳，性能比较 局部结构图时不需要手动选取k值。由于 稳定；虽然CRLDP和CRRP均使用协同表示重构 CCRLDP得到的是具有稀疏性的类间图和类内 来表示类间分离性和类内紧致性的有监督学习算 图，所以对噪声具有一定的鲁棒性，因此它具有 法，但CRLDP考虑了相同标签样本的局部紧致 较高的识别率。以上结果表明，该算法能提取 性和不同标签样本的局部分离性，具有一定的判 更多具有区分能力的特征，从而能提升其识别 别结构，因此其性能高于CRRP;CRP和LPP均为 性能
L 的增大而增大；而对不同尺寸的遮挡，随着遮挡 尺寸的增大，各算法的识别率在一定程度上均有 所降低。CCRC 是一种分类算法，直接通过测试 样本求其系数，但是当输入图片的尺寸比较大 时，算法的复杂度将会特别高，而且由表 6 可知 CCRC 的鲁棒性比较弱。表 7 给出各算法在不同 数据集上的计算时间，在大多数情况下，本文算 法的计算速度高于其他算法，个别算法的计算时 间虽然少，但是其识别率远低于本文算法。综上 考虑，本文算法优于其他对比算法。 表 6 AR 数据集上不同大小遮挡和不同训练样本数时 6 种算法识别率及标准差 Table 6 Six algorithms for recognition rate and standard deviation of different size occlusions and training samples on the AR data set % 遮挡大小 L LPP CRP CRRP CCRC CRLDP CCRLDP 5×5 5 46.85±3.785 9(48) 70.72±3.012 9(50) 46.72±4.440 2(40) 64.55±0.020 1 90.07±1.639 4(50) 90.92±1.900 7(50) 8 47.33±3.625 7(46) 73.10±2.305 1(50) 56.10±6.902 4(50) 77.23±0.021 6 93.69±1.033 1(38) 95.83±1.076 5(50) 10 45.45±2.725 4(50) 74.35±3.464 5(48) 54.78±9.026 5(40) 82.78±0.025 1 95.08±1.543 1(44) 96.43±0.920 8(42) 12 43.63±2.590 8(48) 75.19±5.506 6(48) 60.09±8.743 2(50) 88.31±0.170 3 95.44±1.216 3(46) 96.81±0.776 9(50) 10×10 5 24.78±2.239 1(48) 42.25±4.227 7(48) 24.00±4.898 1(50) 45.77±0.028 5 86.12±1.720 2(50) 88.27±2.143 5(42) 8 22.88±1.745 3(42) 46.38±5.329 5(50) 28.35±2.934 8(46) 57.19±1.576 7 91.94±1.605 3(48) 93.85±1.389 3(50) 10 22.23±2.001 6(48) 45.73±1.891 0(48) 29.08±4.106 3(50) 63.25±1.800 8 93.33±1.172 9(46) 95.85±0.699 2(50) 12 21.13±2.048 7(50) 46.16±4.907 2(48) 31.25±5.156 2(46) 67.22±1.229 7 94.22±1.310 3(48) 96.16±0.780 8(46) 15×15 5 15.30±0.997 4(48) 31.68±2.179 1(50) 18.00±3.563 6(40) 34.18±0.019 2 81.48±2.491 5(50) 84.37±1.938 3(42) 8 13.92±0.777 6(48) 32.17±2.458 0(48) 20.90±3.225 2(44) 42.48±0.014 7 89.50±1.765 8(48) 92.02±1.053 7(42) 10 12.95±1.690 7(48) 32.68±3.014 0(48) 22.28±3.214 7(48) 48.05±0.021 0 90.55±1.135 3(48) 93.73±1.685 1(50) 12 11.44±0.923 9(42) 36.69±2.072 9(50) 24.22±3.929 6(48) 52.59±0.028 6 91.16±0.978 2(48) 94.66±1.199 9(48) 表 7 各算法在不同数据集上的计算时间 Table 7 Calculation time of each algorithm on different data sets s 数据集 LPP CRP CRRP CCRC CRLDP CCRLDP FERET(L=5) 1.639 4 2.349 1 2.590 9 1.045 5 1.711 7 1.515 2 AR(L=12) 3.127 9 31.143 7 42.061 0 10.116 1 27.073 1 38.511 7 Binalpha(L=20) 2.110 7 73.981 6 10.849 5 4.340 6 1.801 6 1.332 3 图 4 中描述了除 CCRC 算法之外其他 5 种不 同算法在各数据集上的平均识别率随特征子空间 维数变化而变化的曲线 (因为 CCRC 直接对测试 集原数据进行分类，没有涉及特征的提取，即不 存在维度变化问题)。随着特征维数的增加，各算 法的识别率也在逐渐上升，对于大多数数据集来 说，在第 20 维之后，CCRLDP 趋于平稳，性能比较 稳定；虽然 CRLDP 和 CRRP 均使用协同表示重构 来表示类间分离性和类内紧致性的有监督学习算 法，但 CRLDP 考虑了相同标签样本的局部紧致 性和不同标签样本的局部分离性，具有一定的判 别结构，因此其性能高于 CRRP；CRP 和 LPP 均为 无监督学习算法，但 LPP 需要手动构造图，不能 有效选择数据的本质结构，所以 LPP 算法性能次 于 CRP；另外，CRRP 能充分地利用样本的标签信 息，故其性能优于 LPP。 总之，CCRLDP 既考虑了数据的局部结构， 又充分地利用了样本的标签信息，因此在构造 局部结构图时不需要手动选 取 k 值。由 于 CCRLDP 得到的是具有稀疏性的类间图和类内 图，所以对噪声具有一定的鲁棒性，因此它具有 较高的识别率。以上结果表明，该算法能提取 更多具有区分能力的特征，从而能提升其识别 性能。 第 5 期 李静，等：基于竞争性协同表示的局部判别投影特征提取 ·979·
·980· 智能系统学 报 第14卷 -CCRLDPCRLDP--CRRP 90 -CCRLDP--CRLDP--CRRP 100r CRP ★-LPP 80 90 70 人 80 60 7 50 4 人6 6 50 一★★★ 30 30 20 20 10 10 0 5101520253035404550 0 5101520253035404550 维度 维度 (a)加噪FERET上的识别率 (b)5×5遮挡时AR上的识别率 100 100 90 90 CCRLDP 80 CCRLDP 0 -CRLDP 0 CRLDP 60 -CRRP CRP 60 -CRRP 50 ★P 旺50 30 20 20 10 ★★小★★★★★★★ ★★★★★★★★★★★ 青★★★★★★★★★★★★★★★★★★★★ 0 5 101520253035404550 0 5 101520253035404550 维度 维度 (c)10x10遮挡AR上的识别率 (d15×15遮挡AR上的识别率 90 80 70 6 ★★★ 40 CCRLDP 30 CRLDP -CRRP 20 ★LPP 0 2 4 6 8101214161820 维府 (e)Binalpha上的识别率 图4不同数据集上5种算法的识别率 Fig.4 Recognition rate of five algorithms on different data sets 4结束语 and equalized residual vectors for image retrieval[J]. Neurocomputing,2016,207:202-212 本文通过考虑不同系数在对样本重构时的表 [3]XIE Liping,TAO Dacheng,WEI Haikun.Joint structured 现，采用竞争性协同表示的思想来构造类间分离 sparsity regularized multiview dimension reduction for 图和类内紧致图，提出一种有监督的特征提取算 video-based facial expression recognition[J].ACM trans- 法。该算法通过计算类内紧致矩阵和类间分离矩 actions on Intelligent systems and technology,2017,8(2):28 阵来刻画图像的局部结构并得其最优投影矩阵。 [4]TURK M,PENTLAND A.Eigenfaces for recognition[J]. 与经典的基于流行学习的算法相比，以上算法不 Journal of cognitive neuroscience,1991,3(1):71-86 仅考虑了样本间的协同表示能力和每类样本的竞 [5]BELHUMEUR P N.HESPANHA J P.KRIEGMAN D J. Eigenfaces vs.fisherfaces:recognition using class specific 争性，还强调了正系数的作用，因此可大大提高 linear projection[J].IEEE transactions on pattern analysis 其识别效率。 and machine intelligence,1997,19(7):711-720. 参考文献： [6]HE Xiaofei,YAN Shuicheng,HU Yuxiao,et al.Face re- cognition using Laplacian faces[J].IEEE transactions on [1]XU Chang,TAO Dacheng,XU Chao,et al.Large-margin pattern analysis and machine intelligence,2005,27(3): weakly supervised dimensionality reduction[C]//Proceed- 328-340. ings of the 31st International Conference on Machine [7]YAN Shuicheng.XU Dong,ZHANG Benyu,et al.Graph Learning.Beijing,China,2014:II-865-II-873. embedding and extensions:a general framework for di- [2]LI Jun,XU Chang,GONG Mingming,et al.SERVE:soft mensionality reduction[J].IEEE transactions on pattern
5 10 15 20 25 30 35 40 45 50 维度 5 10 15 20 25 30 35 40 45 50 维度 5 10 15 20 25 30 35 40 45 50 维度 5 10 15 20 25 30 35 40 45 50 维度 0 10 20 30 40 50 60 70 80 90 CCRLDP CRLDP CRRP CRP LPP CCRLDP CRLDP CRRP CRP LPP CCRLDP CRLDP CRRP CRP LPP CCRLDP CRLDP CRRP CRP LPP 0 10 20 30 40 50 60 70 80 90 100 识别率/% 0 10 20 30 40 50 60 70 80 90 100 识别率/% 0 10 20 30 40 50 60 70 80 90 100 识别率/% 识别率/% (a) 加噪FERET上的识别率 (b) 5×5遮挡时AR上的识别率 (c) 10×10遮挡AR上的识别率 (d) 15×15遮挡AR上的识别率 维度 CCRLDP CRLDP CRRP CRP LPP 0 4 6 8 10 12 14 16 18 20 2 10 20 30 40 50 60 70 80 90 识别率/% (e) Binalpha上的识别率 图 4 不同数据集上 5 种算法的识别率 Fig. 4 Recognition rate of five algorithms on different data sets 4 结束语 本文通过考虑不同系数在对样本重构时的表 现，采用竞争性协同表示的思想来构造类间分离 图和类内紧致图，提出一种有监督的特征提取算 法。该算法通过计算类内紧致矩阵和类间分离矩 阵来刻画图像的局部结构并得其最优投影矩阵。 与经典的基于流行学习的算法相比，以上算法不 仅考虑了样本间的协同表示能力和每类样本的竞 争性，还强调了正系数的作用，因此可大大提高 其识别效率。 参考文献： XU Chang, TAO Dacheng, XU Chao, et al. Large-margin weakly supervised dimensionality reduction[C]//Proceedings of the 31st International Conference on Machine Learning. Beijing, China, 2014: II-865–II-873. [1] [2] LI Jun, XU Chang, GONG Mingming, et al. SERVE: soft and equalized residual vectors for image retrieval[J]. Neurocomputing, 2016, 207: 202–212. XIE Liping, TAO Dacheng, WEI Haikun. Joint structured sparsity regularized multiview dimension reduction for video-based facial expression recognition[J]. ACM transactions on Intelligent systems and technology, 2017, 8(2): 28. [3] TURK M, PENTLAND A. Eigenfaces for recognition[J]. Journal of cognitive neuroscience, 1991, 3(1): 71–86. [4] BELHUMEUR P N, HESPANHA J P, KRIEGMAN D J. Eigenfaces vs. fisherfaces: recognition using class specific linear projection[J]. IEEE transactions on pattern analysis and machine intelligence, 1997, 19(7): 711–720. [5] HE Xiaofei, YAN Shuicheng, HU Yuxiao, et al. Face recognition using Laplacian faces[J]. IEEE transactions on pattern analysis and machine intelligence, 2005, 27(3): 328–340. [6] YAN Shuicheng, XU Dong, ZHANG Benyu, et al. Graph embedding and extensions: a general framework for dimensionality reduction[J]. IEEE transactions on pattern [7] ·980· 智 能 系 统 学 报 第 14 卷
第5期 李静，等：基于竞争性协同表示的局部判别投影特征提取 ·981· analysis and machine intelligence,2007,29(1):40-51. collaborative-competitive representation based classifier [8]CHEN H T,CHANG Huangwei,LIU T L.Local discrim- model[J].Neurocomputing,2018,275(1):627-635. inant embedding and its variants[C]//Proceedings of IEEE [15]HUANG Pu,LI Tao,GAO Guangwei,et al.Collaborat- computer society conference on computer vision and pat- ive representation based local discriminant projection for tern recognition.San Diego,USA,2005:846-1853. feature extraction[J].Digital signal processing,2018,76: [9]YANG Jian,ZHANG D,YANG Jingyu.Globally maxim- 84-93. izing,locally minimizing:unsupervised discriminant pro- [16]YANG Wankou,WANG Zhenyu,SUN Changyin.A col- jection with applications to face and palm biometrics[J]. laborative representation based projections method for IEEE transactions on pattern analysis and machine intelli- feature extraction[J].Pattern recognition,2015,48(1): gence,2007,29(4:650-664. 20-27. [10]HUANG Pu,CHEN Caikou,TANG Zhenmin,et al.Dis- [17]HUA Juliang,WANG Huan,REN Mingwu,et al.Dimen- criminant similarity and variance preserving projection sion reduction using collaborative representation recon- for feature extraction[J].Neurocomputing,2014,139: struction based projections[J].Neurocomputing,2016, 180-188. 193:1-6. [11]HUANG Pu,CHEN Caikou,ZHANG Zhenmin,et al. 作者简介： Feature extraction using local structure preserving dis- 李静，女，1994年生，硕士研究 criminant analysis[J].Neurocomputing,2014,140: 生，主要研究方向为数字图像处理、模 104-113. 式识别。 [12]YU Weiwei,TENG Xiaolong,LIU Chongqing.Face re- cognition using discriminant locality preserving projec- tions[J].Image and vision computing,2006,24(3): 239-248. [13]ZHANG Lei,YANG Meng,FENG Xiangchu.Sparse rep- 陈秀宏，男，1964年生，教授，主 要研究方向为数字图像处理和模式识 resentation or collaborative representation:which helps 别、目标检测与跟踪、优化理论与方 face recognition[C]//Proceedings of International Confer- 法。发表学术论文120余篇。 ence on Computer Vision.Barcelona,Spain,2012: 471-478 [14]YUAN Haoliang,LI Xuecong,XU Fangyuan,et al.A
analysis and machine intelligence, 2007, 29(1): 40–51. CHEN H T, CHANG Huangwei, LIU T L. Local discriminant embedding and its variants[C]//Proceedings of IEEE computer society conference on computer vision and pattern recognition. San Diego, USA, 2005: 846−l853. [8] YANG Jian, ZHANG D, YANG Jingyu. Globally maximizing, locally minimizing: unsupervised discriminant projection with applications to face and palm biometrics[J]. IEEE transactions on pattern analysis and machine intelligence, 2007, 29(4): 650–664. [9] HUANG Pu, CHEN Caikou, TANG Zhenmin, et al. Discriminant similarity and variance preserving projection for feature extraction[J]. Neurocomputing, 2014, 139: 180–188. [10] HUANG Pu, CHEN Caikou, ZHANG Zhenmin, et al. Feature extraction using local structure preserving discriminant analysis[J]. Neurocomputing, 2014, 140: 104–113. [11] YU Weiwei, TENG Xiaolong, LIU Chongqing. Face recognition using discriminant locality preserving projections[J]. Image and vision computing, 2006, 24(3): 239–248. [12] ZHANG Lei, YANG Meng, FENG Xiangchu. Sparse representation or collaborative representation: which helps face recognition[C]//Proceedings of International Conference on Computer Vision. Barcelona, Spain, 2012: 471−478. [13] [14] YUAN Haoliang, LI Xuecong, XU Fangyuan, et al. A collaborative-competitive representation based classifier model[J]. Neurocomputing, 2018, 275(1): 627–635. HUANG Pu, LI Tao, GAO Guangwei, et al. Collaborative representation based local discriminant projection for feature extraction[J]. Digital signal processing, 2018, 76: 84–93. [15] YANG Wankou, WANG Zhenyu, SUN Changyin. A collaborative representation based projections method for feature extraction[J]. Pattern recognition, 2015, 48(1): 20–27. [16] HUA Juliang, WANG Huan, REN Mingwu, et al. Dimension reduction using collaborative representation reconstruction based projections[J]. Neurocomputing, 2016, 193: 1–6. [17] 作者简介： 李静，女，1994 年生，硕士研究 生，主要研究方向为数字图像处理、模 式识别。 陈秀宏，男，1964 年生，教授，主 要研究方向为数字图像处理和模式识 别、目标检测与跟踪、优化理论与方 法。发表学术论文 120 余篇。 第 5 期 李静，等：基于竞争性协同表示的局部判别投影特征提取 ·981·