第12卷第4期 智能系统学报 Vol.12 No.4 2017年8月 CAAI Transactions on Intelligent Systems Aug.2017 D0I:10.11992/is.201607024 网络出版地址：http:/kns.cnki.net/kcms/detail/23.1538.tp.20170407.1758.012.html 基于低秩分解的鲁棒典型相关分析 倪怀发，沈肖波，孙权森 (南京理工大学计算机科学与工程学院，江苏南京210094) 摘要：典型相关分析(CCA)是一种经典的多特征提取算法，它能够有效地抽取两组特征之间的相关性，现已被广 泛应用于模式识别。在含噪声数据情况下，CCA的特征表示性能受到限制。为了使CCA更好地处理含噪声数据，提 出一种基于低秩分解的典型相关分析算法一鲁棒典型相关分析(robust canonical correlation analysis,RbCCA)。 CCA首先对特征集进行低秩分解，得到低秩分量和噪声分量，以此分别构建对应的协方差矩阵。通过最大化低秩 分量的相关性，同时最小化噪声分量的相关性来建立判别准则函数，进而求取鉴别投影矢量。在MFEAT手写体数 据库，ORL和Yale人脸数据中的实验结果表明，在包含噪声的情况下，RbCCA的识别效果优于现有的典型相关分析 方法。 关键词：模式识别：特征抽取：数据降维：典型相关分析：低秩表示：低秩分解：低秩分量：噪声分量 中图分类号：TP391文献标志码：A文章编号：1673-4785(2017)04-0491-07 中文引用格式：倪怀发，沈肖波，孙权森基于低秩分解的鲁棒典型相关分析[J].智能系统学报，2017,12(4)：491-497. 英文引用格式：NI Huaifa,SHEN Xiaobo,SUN Quansen.Robust canonical correlation analysis based on low rank decomposition [J].CAAI transactions on intelligent systems,2017,12(4):491-497. Robust canonical correlation analysis based on low rank decomposition NI Huaifa,SHEN Xiaobo,SUN Quansen (School of Computer Science and Engineering,Nanjing University of Science and Technology,Nanjing 210094,China) Abstract:Canonical correlation analysis (CCA)is a popular multi-feature extraction method,which can effectively explore the correlations between two sets of features.Up to now,CCA has been widely used in pattern recognition, however it has limited feature extraction power for large noisy data.For CCA to deal better with noisy data,a new method,robust canonical correlation analysis (RbCCA),based on low rank decomposition,is proposed.RbCCA first decomposes features using low rank decomposition to get the low rank and noisy components,then it constructs new covariance matrices based on these two components.A discriminative criteria function is further established to obtain discriminative projections by maximizing the correlations of the low rank component and minimizing the correlations of the noisy component.Experimental results on a MFEAT handwritten dataset,and ORL and Yale face datasets show that RbCCA can achieve higher recognition rates than existing CCA methods,especially in noisy settings. Keywords:Pattern recognition;feature extraction;data dimensionality reduction;canonical correlation analysis; low rank representation;low rank decomposition;low rank component;noise component 在计算机视觉和模式识别领域，数据降维和特 特征提取算法的代表，线性鉴别分析是监督特征提 征提取一直是比较重要的研究方向。主成分分析 取算法的代表。而单特征提取算法只能从一个角 (principal component analysis,PCA))和线性鉴别分 度或一个通道来处理信号数据)。在通常的分类 析(linear discriminant analysis,LDA)是最经典的 任务中，数据经常有多种表示方式。传统的单特征 两种线性特征提取算法，其中主成分分析是无监督 提取算法主要针对单表示数据的维数约减，不适 合多表示数据的维数约减。 收稿日期：2016-07-24.网络出版日期：2017-04-07 基金项目：国家自然科学基金项目(61273251). 典型相关分析(canonical correlation analysis, 通信作者：孙权森.E-mail:sunquansen@just.cdu.c. CCA)是一种经典的多元统计分析方法。于1936年
第 １２ 卷第 ４ 期 智 能 系 统 学 报 Ｖｏｌ．１２ №．４ ２０１７ 年 ８ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ａｕｇ． ２０１７ ＤＯＩ：１０．１１９９２ ／ ｔｉｓ．２０１６０７０２４ 网络出版地址：ｈｔｔｐ： ／ ／ ｋｎｓ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ｔｐ．２０１７０４０７．１７５８．０１２．ｈｔｍｌ 基于低秩分解的鲁棒典型相关分析 倪怀发，沈肖波，孙权森 （南京理工大学 计算机科学与工程学院，江苏 南京 ２１００９４） 摘 要：典型相关分析（ＣＣＡ）是一种经典的多特征提取算法，它能够有效地抽取两组特征之间的相关性，现已被广 泛应用于模式识别。 在含噪声数据情况下，ＣＣＡ 的特征表示性能受到限制。 为了使 ＣＣＡ 更好地处理含噪声数据，提 出一种基于低秩分解的典型相关分析算法———鲁棒典型相关分析（ ｒｏｂｕｓｔ ｃａｎｏｎｉｃａｌ ｃｏｒｒｅｌａｔｉｏｎ ａｎａｌｙｓｉｓ，ＲｂＣＣＡ）。 ＲｂＣＣＡ 首先对特征集进行低秩分解，得到低秩分量和噪声分量，以此分别构建对应的协方差矩阵。 通过最大化低秩 分量的相关性，同时最小化噪声分量的相关性来建立判别准则函数，进而求取鉴别投影矢量。 在 ＭＦＥＡＴ 手写体数 据库、ＯＲＬ 和 Ｙａｌｅ 人脸数据中的实验结果表明，在包含噪声的情况下，ＲｂＣＣＡ 的识别效果优于现有的典型相关分析 方法。 关键词：模式识别；特征抽取；数据降维；典型相关分析；低秩表示；低秩分解；低秩分量；噪声分量 中图分类号：ＴＰ３９１ 文献标志码：Ａ 文章编号：１６７３－４７８５（２０１７）０４－０４９１－０７ 中文引用格式：倪怀发，沈肖波，孙权森．基于低秩分解的鲁棒典型相关分析［Ｊ］． 智能系统学报， ２０１７， １２（４）： ４９１－４９７． 英文引用格式：ＮＩ Ｈｕａｉｆａ， ＳＨＥＮ Ｘｉａｏｂｏ， ＳＵＮ Ｑｕａｎｓｅｎ． Ｒｏｂｕｓｔ ｃａｎｏｎｉｃａｌ ｃｏｒｒｅｌａｔｉｏｎ ａｎａｌｙｓｉｓ ｂａｓｅｄ ｏｎ ｌｏｗ ｒａｎｋ ｄｅｃｏｍｐｏｓｉｔｉｏｎ ［Ｊ］． ＣＡＡＩ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｉｎｔｅｌｌｉｇｅｎｔ ｓｙｓｔｅｍｓ， ２０１７， １２（４）： ４９１－４９７． Ｒｏｂｕｓｔ ｃａｎｏｎｉｃａｌ ｃｏｒｒｅｌａｔｉｏｎ ａｎａｌｙｓｉｓ ｂａｓｅｄ ｏｎ ｌｏｗ ｒａｎｋ ｄｅｃｏｍｐｏｓｉｔｉｏｎ ＮＩ Ｈｕａｉｆａ， ＳＨＥＮ Ｘｉａｏｂｏ， ＳＵＮ Ｑｕａｎｓｅｎ （Ｓｃｈｏｏｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ ａｎｄ Ｅｎｇｉｎｅｅｒｉｎｇ， Ｎａｎｊｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ， Ｎａｎｊｉｎｇ ２１００９４， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｃａｎｏｎｉｃａｌ ｃｏｒｒｅｌａｔｉｏｎ ａｎａｌｙｓｉｓ （ＣＣＡ） ｉｓ ａ ｐｏｐｕｌａｒ ｍｕｌｔｉ⁃ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ ｍｅｔｈｏｄ， ｗｈｉｃｈ ｃａｎ ｅｆｆｅｃｔｉｖｅｌｙ ｅｘｐｌｏｒｅ ｔｈｅ ｃｏｒｒｅｌａｔｉｏｎｓ ｂｅｔｗｅｅｎ ｔｗｏ ｓｅｔｓ ｏｆ ｆｅａｔｕｒｅｓ． Ｕｐ ｔｏ ｎｏｗ， ＣＣＡ ｈａｓ ｂｅｅｎ ｗｉｄｅｌｙ ｕｓｅｄ ｉｎ ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ， ｈｏｗｅｖｅｒ ｉｔ ｈａｓ ｌｉｍｉｔｅｄ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ ｐｏｗｅｒ ｆｏｒ ｌａｒｇｅ ｎｏｉｓｙ ｄａｔａ． Ｆｏｒ ＣＣＡ ｔｏ ｄｅａｌ ｂｅｔｔｅｒ ｗｉｔｈ ｎｏｉｓｙ ｄａｔａ， ａ ｎｅｗ ｍｅｔｈｏｄ， ｒｏｂｕｓｔ ｃａｎｏｎｉｃａｌ ｃｏｒｒｅｌａｔｉｏｎ ａｎａｌｙｓｉｓ （ＲｂＣＣＡ）， ｂａｓｅｄ ｏｎ ｌｏｗ ｒａｎｋ ｄｅｃｏｍｐｏｓｉｔｉｏｎ， ｉｓ ｐｒｏｐｏｓｅｄ． ＲｂＣＣＡ ｆｉｒｓｔ ｄｅｃｏｍｐｏｓｅｓ ｆｅａｔｕｒｅｓ ｕｓｉｎｇ ｌｏｗ ｒａｎｋ ｄｅｃｏｍｐｏｓｉｔｉｏｎ ｔｏ ｇｅｔ ｔｈｅ ｌｏｗ ｒａｎｋ ａｎｄ ｎｏｉｓｙ ｃｏｍｐｏｎｅｎｔｓ， ｔｈｅｎ ｉｔ ｃｏｎｓｔｒｕｃｔｓ ｎｅｗ ｃｏｖａｒｉａｎｃｅ ｍａｔｒｉｃｅｓ ｂａｓｅｄ ｏｎ ｔｈｅｓｅ ｔｗｏ ｃｏｍｐｏｎｅｎｔｓ． Ａ ｄｉｓｃｒｉｍｉｎａｔｉｖｅ ｃｒｉｔｅｒｉａ ｆｕｎｃｔｉｏｎ ｉｓ ｆｕｒｔｈｅｒ ｅｓｔａｂｌｉｓｈｅｄ ｔｏ ｏｂｔａｉｎ ｄｉｓｃｒｉｍｉｎａｔｉｖｅ ｐｒｏｊｅｃｔｉｏｎｓ ｂｙ ｍａｘｉｍｉｚｉｎｇ ｔｈｅ ｃｏｒｒｅｌａｔｉｏｎｓ ｏｆ ｔｈｅ ｌｏｗ ｒａｎｋ ｃｏｍｐｏｎｅｎｔ ａｎｄ ｍｉｎｉｍｉｚｉｎｇ ｔｈｅ ｃｏｒｒｅｌａｔｉｏｎｓ ｏｆ ｔｈｅ ｎｏｉｓｙ ｃｏｍｐｏｎｅｎｔ． Ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｏｎ ａ ＭＦＥＡＴ ｈａｎｄｗｒｉｔｔｅｎ ｄａｔａｓｅｔ， ａｎｄ ＯＲＬ ａｎｄ Ｙａｌｅ ｆａｃｅ ｄａｔａｓｅｔｓ ｓｈｏｗ ｔｈａｔ ＲｂＣＣＡ ｃａｎ ａｃｈｉｅｖｅ ｈｉｇｈｅｒ ｒｅｃｏｇｎｉｔｉｏｎ ｒａｔｅｓ ｔｈａｎ ｅｘｉｓｔｉｎｇ ＣＣＡ ｍｅｔｈｏｄｓ， ｅｓｐｅｃｉａｌｌｙ ｉｎ ｎｏｉｓｙ ｓｅｔｔｉｎｇｓ． Ｋｅｙｗｏｒｄｓ： Ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ； ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ； ｄａｔａ ｄｉｍｅｎｓｉｏｎａｌｉｔｙ ｒｅｄｕｃｔｉｏｎ； ｃａｎｏｎｉｃａｌ ｃｏｒｒｅｌａｔｉｏｎ ａｎａｌｙｓｉｓ； ｌｏｗ ｒａｎｋ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ； ｌｏｗ ｒａｎｋ ｄｅｃｏｍｐｏｓｉｔｉｏｎ； ｌｏｗ ｒａｎｋ ｃｏｍｐｏｎｅｎｔ； ｎｏｉｓｅ ｃｏｍｐｏｎｅｎｔ 收稿日期：２０１６－０７－２４． 网络出版日期：２０１７－０４－０７． 基金项目：国家自然科学基金项目（６１２７３２５１）． 通信作者：孙权森． Ｅ⁃ｍａｉｌ：ｓｕｎｑｕａｎｓｅｎ＠ ｎｊｕｓｔ．ｅｄｕ．ｃｎ． 在计算机视觉和模式识别领域，数据降维和特 征提取一直是比较重要的研究方向。 主成分分析 （ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ，ＰＣＡ） ［１］和线性鉴别分 析（ｌｉｎｅａｒ ｄｉｓｃｒｉｍｉｎａｎｔ ａｎａｌｙｓｉｓ， ＬＤＡ） ［２］ 是最经典的 两种线性特征提取算法，其中主成分分析是无监督 特征提取算法的代表，线性鉴别分析是监督特征提 取算法的代表。 而单特征提取算法只能从一个角 度或一个通道来处理信号数据［３］ 。 在通常的分类 任务中，数据经常有多种表示方式。 传统的单特征 提取算法主要针对单表示数据的维数约减［４］ ，不适 合多表示数据的维数约减。 典型相关分析 （ ｃａｎｏｎｉｃａｌ ｃｏｒｒｅｌａｔｉｏｎ ａｎａｌｙｓｉｓ， ＣＣＡ）是一种经典的多元统计分析方法。 于 １９３６ 年
·492. 智能系统学报 第12卷 由H.Hotelling]首次提出，现已被成功应用于字符 运用奇异值分解对式(3)进行求解，得到投影 与人脸等图像识别任务中[6刀，并取得了良好的效 矢量集a和B。 果。但是，在处理含噪声数据情况时，CCA的特征 2基于低秩分解的鲁棒典型相关分析 表示能力却有限。在通常的模式识别分类任务中， 数据会包含很多由于设备故障或者自然环境产生 典型相关分析作为一种经典的多元统计分析 的噪声，这在一定程度上限制了CCA的应用范围。 方法，已被成功应用于字符与人脸等图像识别任务 近年来，许多学者[8-o]提出了低秩表示(low- 中[6刀，并取得了良好的效果。但是，在处理含噪声 rank representation,LRR)理论。Wright等fy也基于 数据时，CCA的特征表示能力却有限。为了提升 低秩分解提出了针对噪声数据的鲁棒主成分分析 CCA在噪声情况下的特征表示能力，引入低秩理论 (robust principal component analysis,RPCA)。i通过 处理噪声，提出了新的CCA模型一鲁棒典型相关 对原始噪声数据进行低秩处理，RPCA可以有效地 分析。 抽取出高维数据中的低维子空间结构。 鲁棒典型相关分析(RCCA)是针对含噪声数 为了提升CCA在噪声情况下抽取线性相关性 据而提出的一种典型相关分析(CCA)改进算法。 的能力，受低秩理论的启发，提出了鲁棒典型相关 RbCCA通过将含噪声数据进行低秩分解，得到低秩 分析(robust canonical correlation analysis,RbCCA)。 分量和噪声分量。基于这两种分量，RbCCA构建出 RbCCA首先对抽取出的特征集运用RPCA进行低 新的协方差矩阵。提出的优化准则函数能够在最 秩分解，提取出原始特征的低秩主分量和噪声稀疏 大化本质特征的相关性的同时最小化噪声的相关 分量。基于这两种分量分别构建对应的协方差矩 性，从而尽可能地降低噪声对典型投影矢量的影 阵。通过最大化低秩分量的相关性，同时最小化噪 响。提升了传统CCA在含噪声数据下的特征表示 声分量的相关性来建立判别准则函数，进而求取鉴 能力。 别投影矢量。在MFEAT手写体数据库以及ORL和 2.1 RbCCA协方差矩阵的构建 Yale人脸数据库中的实验结果表明：在不同程度的 在模式识别任务中，为了避免噪声影响分类结 噪声数据下，RbCCA算法的识别效果均优于现有 果，许多已有的方法通常直接利用通过低秩分解得 CCA方法的识别效果。 到的低秩分量进行特征降维和模式分类。但是，一 般情况下噪声分量中也包含了一些对分类有利的 1典型相关分析基本原理 信息)，不能直接遗弃。因此，基于低秩分量和噪 假设两组随机矢量集x∈R与y∈R,并且 声分量，建立新的互协方差矩阵，改进CCA的目标 E(x)=0,E(y)=0,典型相关分析就是寻找一对投 优化方程，提出了鲁棒典型相关分析。 影方向a∈R与B∈R,使得投影x·=aTx与y·= 为了获得给定含噪声观察矩阵W∈R“中对应 B'y之间具有最大的相关性，称这种相关为典型相 的低秩分量ZeRm"和噪声分量E∈Rmxa,Wright 关，对应的投影方向：和B通过最大化如下相关准 等9,1提出了秩最小化方程： 则函数获得1-12)] 出IZ‖.+AIEl4 E(a'xyB) s.t.W=Z+E (4) Pcca(a,B)= √E(xxa)·E(Byy'B) 式中：A>0是一个和噪声有关的参数，‖·山为不同 aS B 的矩阵范数，代表了不同的正则化方法。根据文献 (1) [8,15]选取l1范数作为正则化方法对噪声数据进 √/axS.a×B'Sβ 行低秩分解。 式中：E(·)表示随机变量的期望，S.和S,分别表 给定含噪声样本随机矢量x∈R”y∈R"。通 示随机矢量x和y的组内协方差矩阵，S,表示随机 过式(4)可以求解出对应的低秩分量x,y和噪声 矢量x与y的互协方差矩阵，在这里，假设S.和S, 是非奇异矩阵。 分量xy2。 对于求解得到的低秩主分量和噪声稀疏分量， 在实际求解中Pc(xB)的极值与&B的大小 分别计算对应的组内协方差矩阵和互协方差矩阵。 无关，只与α、B的方向有关。为了确保解的唯一 其中SS和S,、S的计算公式如下： 性，可令： a Sa=BTSnβ=1 (2) S=E[(x2-E(x))'(x2-E(x))] 在式(2)的约束下，式(1)可等价的表示为 S =E[(x -E())"(x E(x)) maxpccA(aB)=aS.B =E[(x-E(x))"(y -E)) s.t.amS.a=BSnβ=1 (3) Sf=E[(x-E(x))(y-E(y))]
由 Ｈ．Ｈｏｔｅｌｌｉｎｇ ［５］首次提出，现已被成功应用于字符 与人脸等图像识别任务中［６－７］ ，并取得了良好的效 果。 但是，在处理含噪声数据情况时，ＣＣＡ 的特征 表示能力却有限。 在通常的模式识别分类任务中， 数据会包含很多由于设备故障或者自然环境产生 的噪声，这在一定程度上限制了 ＣＣＡ 的应用范围。 近年来，许多学者［８－１０］ 提出了低秩表示（ ｌｏｗ⁃ ｒａｎｋ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ， ＬＲＲ）理论。 Ｗｒｉｇｈｔ 等［９］也基于 低秩分解提出了针对噪声数据的鲁棒主成分分析 （ｒｏｂｕｓｔ ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ，ＲＰＣＡ）。 通过 对原始噪声数据进行低秩处理，ＲＰＣＡ 可以有效地 抽取出高维数据中的低维子空间结构。 为了提升 ＣＣＡ 在噪声情况下抽取线性相关性 的能力，受低秩理论的启发，提出了鲁棒典型相关 分析（ ｒｏｂｕｓｔ ｃａｎｏｎｉｃａｌ ｃｏｒｒｅｌａｔｉｏｎ ａｎａｌｙｓｉｓ，ＲｂＣＣＡ）。 ＲｂＣＣＡ 首先对抽取出的特征集运用 ＲＰＣＡ 进行低 秩分解，提取出原始特征的低秩主分量和噪声稀疏 分量。 基于这两种分量分别构建对应的协方差矩 阵。 通过最大化低秩分量的相关性，同时最小化噪 声分量的相关性来建立判别准则函数，进而求取鉴 别投影矢量。 在 ＭＦＥＡＴ 手写体数据库以及 ＯＲＬ 和 Ｙａｌｅ 人脸数据库中的实验结果表明：在不同程度的 噪声数据下，ＲｂＣＣＡ 算法的识别效果均优于现有 ＣＣＡ 方法的识别效果。 １ 典型相关分析基本原理 假设两组随机矢量集 ｘ∈Ｒ ｐ 与 ｙ∈Ｒ ｑ ，并且 Ｅ（ｘ）＝ ０，Ｅ（ｙ）＝ ０，典型相关分析就是寻找一对投 影方向 α∈Ｒ ｐ 与 β∈Ｒ ｑ ，使得投影 ｘ ∗ ＝α Τ ｘ 与 ｙ ∗ ＝ β Τ ｙ 之间具有最大的相关性，称这种相关为典型相 关，对应的投影方向 α 和 β 通过最大化如下相关准 则函数获得［１１－１２］ ： ρＣＣＡ（α，β） ＝ Ｅ（α Ｔ ｘ ｙ Ｔ β） Ｅ（α Ｔ ｘ ｘ Ｔα）·Ｅ（β Ｔ ｙ ｙ Ｔ β） ＝ α Ｔ Ｓｘｙβ α Ｔ Ｓｘｘα × β Ｔ Ｓｙｙβ （１） 式中：Ｅ（·）表示随机变量的期望，Ｓｘｘ和Ｓｙｙ分别表 示随机矢量 ｘ 和 ｙ 的组内协方差矩阵，Ｓｘｙ表示随机 矢量 ｘ 与 ｙ 的互协方差矩阵，在这里，假设Ｓｘｘ和Ｓｙｙ 是非奇异矩阵。 在实际求解中 ρＣＣＡ（α、β）的极值与 α、β 的大小 无关，只与 α、β 的方向有关。 为了确保解的唯一 性，可令： α Τ Ｓｘｘα ＝ β Τ Ｓｙｙβ ＝ １ （２） 在式（２）的约束下，式（１）可等价的表示为 ｍａｘ α，β ρＣＣＡ（α，β） ＝ α Τ Ｓｘｙβ ｓ．ｔ． α Τ Ｓｘｘα ＝ β Τ Ｓｙｙβ ＝ １ （３） 运用奇异值分解对式（３）进行求解，得到投影 矢量集 α 和 β。 ２ 基于低秩分解的鲁棒典型相关分析 典型相关分析作为一种经典的多元统计分析 方法，已被成功应用于字符与人脸等图像识别任务 中［６－７］ ，并取得了良好的效果。 但是，在处理含噪声 数据时，ＣＣＡ 的特征表示能力却有限。 为了提升 ＣＣＡ 在噪声情况下的特征表示能力，引入低秩理论 处理噪声，提出了新的 ＣＣＡ 模型———鲁棒典型相关 分析。 鲁棒典型相关分析（ＲｂＣＣＡ） 是针对含噪声数 据而提出的一种典型相关分析（ＣＣＡ） 改进算法。 ＲｂＣＣＡ 通过将含噪声数据进行低秩分解，得到低秩 分量和噪声分量。 基于这两种分量，ＲｂＣＣＡ 构建出 新的协方差矩阵。 提出的优化准则函数能够在最 大化本质特征的相关性的同时最小化噪声的相关 性，从而尽可能地降低噪声对典型投影矢量的影 响。 提升了传统 ＣＣＡ 在含噪声数据下的特征表示 能力。 ２．１ ＲｂＣＣＡ 协方差矩阵的构建 在模式识别任务中，为了避免噪声影响分类结 果，许多已有的方法通常直接利用通过低秩分解得 到的低秩分量进行特征降维和模式分类。 但是，一 般情况下噪声分量中也包含了一些对分类有利的 信息［１３］ ，不能直接遗弃。 因此，基于低秩分量和噪 声分量，建立新的互协方差矩阵，改进 ＣＣＡ 的目标 优化方程，提出了鲁棒典型相关分析。 为了获得给定含噪声观察矩阵 Ｗ∈Ｒ ｍ×ｎ中对应 的低秩分量 Ｚ∈Ｒ ｍ×ｎ 和噪声分量 Ｅ∈Ｒ ｍ×ｎ ，Ｗｒｉｇｈｔ 等［９，１４］提出了秩最小化方程： ｍｉｎ Ｚ，Ｅ ‖Ｚ‖∗ ＋ λ ‖Ｅ‖ｌ１ ｓ．ｔ． Ｗ ＝ Ｚ ＋ Ｅ （４） 式中：λ＞０ 是一个和噪声有关的参数， · ｌ 为不同 的矩阵范数，代表了不同的正则化方法。 根据文献 ［８，１５］选取 ｌ １ 范数作为正则化方法对噪声数据进 行低秩分解。 给定含噪声样本随机矢量ｘ Ｎ∈Ｒ Ｐ 、ｙ Ｎ∈Ｒ ｑ 。 通 过式（４）可以求解出对应的低秩分量ｘ Ｎ Ｚ 、ｙ Ｎ Ｚ 和噪声 分量ｘ Ｅ Ｚ 、ｙ Ｅ Ｚ 。 对于求解得到的低秩主分量和噪声稀疏分量， 分别计算对应的组内协方差矩阵和互协方差矩阵。 其中Ｓ Ｚ ｘｘ、Ｓ Ｅ ｘｘ和Ｓ Ｚ ｘｙ、Ｓ Ｅ ｘｙ的计算公式如下： Ｓ Ｚ ｘｘ ＝ Ｅ［ ｘ Ｎ Ｚ － Ｅ ｘ Ｎ Ｚ ( ( ) ) Ｔ ｘ Ｎ Ｚ － Ｅ ｘ Ｎ Ｚ ( ( ) ) ］ Ｓ Ｅ ｘｘ ＝ Ｅ［ ｘ Ｎ Ｅ － Ｅ ｘ Ｎ Ｅ ( ( ) ) Ｔ ｘ Ｎ Ｅ － Ｅ ｘ Ｎ Ｅ ( ( ) ) ］ Ｓ Ｚ ｘｙ ＝ Ｅ［ ｘ Ｎ Ｚ － Ｅ ｘ Ｎ Ｚ ( ( ) ) Ｔ ｙ Ｎ Ｚ － Ｅ ｙ Ｎ Ｚ ( ( ) ) ］ Ｓ Ｅ ｘｙ ＝ Ｅ［ ｘ Ｎ Ｅ － Ｅ ｘ Ｎ Ｅ ( ( ) ) Ｔ ｙ Ｎ Ｅ － Ｅ ｙ Ｎ Ｅ ( ( ) ) ］ ì î í ï ï ï ï ïï ·４９２· 智 能 系 统 学 报 第 １２ 卷
第4期 倪怀发，等：基于低秩分解的鲁棒典型相关分析 ·493· 类似，也可以得出S所、S和SS的计算公式。 投影后得到变换后的特征分量(ax·)'x和(B·)y。 2.2算法原理与模型构建 为了方便后续的模式分类，采用式(10)的串行特征 RCCA将x和y的低秩分量，噪声分量区别 融合策略对特征进行融合： 对待，即求一对投影方向a和B,使得αS2B尽可 P=[(a)Tx(B·)y] (10) 能大的同时α'SB尽可能小。于是得到改进后的 式(10)计算对应投影后的特征矢量及其特征 典型相关准则函数为 组合，将组合后的特征用于模式分类。 (mpc(aB)-aSB RbCCA既满足了多表示数据的维数约减要求， (5) min pec(aB)=aSB 保持了较好的识别率，又填补了传统CCA在噪声数 据下特征表示能力差的缺陷，提升了CCA处理噪声 式中：P(p)为低秩（噪声）分量的相关性， 数据的能力。 S(S,)为低秩（噪声）分量的协方差矩阵。 3实验结果与分析 式(5)是一个多目标方程优化问题，很难直接 求解。通过最大化公式(5)中两个准则函数的差值 本实验的目的是验证本文所提算法RbCCA在 进行求解[6)，即 噪声数据下特征提取的有效性，分别在多特征手写 maxipcca(a,B)-peca(a,B))= 体数据集MFEAT和ORL以及Yale两个人脸数据 a.B aSB-aSB= 库上进行了识别实验。其中入的取值需根据噪声 ar(S￥-S)B (6) 强度的大小进行调整。实验中均采取串行融合的 式(6)满足在最大化本质特征的相关性的同时 策略进行特征融合，并选取最近邻分类器进行模式 最小化噪声的相关性的要求，保证了求解得出的投 分类。 影矢量的鉴别能力。相应地，能够得到式(7)约束： 3.1 MFEAT手写体数据库 (a (S-S)a =1 MFEAT手写体数据库一共包含fac、fou、kar、 (7) B"(S-S )B=1 mor、pix、zer6组特征，每组特征包含0~9共10个 数字，每个数字类别包含200个样本。6组特征，每 令S,替代式(7)中的S%-S,S:S分别替代 两组特征进行组合共15种组合，随机挑选其中的 式(7)中的S-S和S号-S,综合式(6)(7)，得到 10种组合做10次随机实验，每次实验从每种组合 转换后的RbCCA的准则函数： 中随机选择100个作为训练样本，100个作为测试 mxpocx(aB)=aS.B 样本。训练样本总数和测试样本总数均为1000。 s.t.aS&=1,βSB=1 (8) 实验开始前，在原始MFEAT数据库上，分别在6组 式(8)满足了在最大化本质特征的相关性的同 特征加入10%的椒盐噪声来模拟实际应用中的 时最小化噪声成分的相关性的要求。最大程度上 噪声。 降低了噪声对典型投影矢量的影响，增强了投影矢 表1随机抽取MFEAT数据库中10种特征组 量的鉴别能力。 合，分别将CCA、PLS、LPCCA、RCCA以及RbCCA等 2.3 RbCCA模型求解 算法做了对比实验。实验数据表明，RbCCA在这10 式(8)的求解方法同CCA算法的求解。利用 种特征组合的识别率平均比CCA的识别率高出 Lagrange乘数法，可以将问题转化为求解如下两个 10%。在fac_fou、fou_zer以及mor_pi3种组合里， 广义特征方程的问题： RbCCA的识别更是高出CCA识别结果的15%以 (S (S)Sa=Ssa (9)》 上。表1初步证实了RbCCA对噪声数据特征提取 S(S)SB=SB 的有效性。 于是求解式(9)就等同于求解矩阵(S)S 图1列出了添加噪声后的MFEAT数据中的fac (S)S,或(S)S(S)S的特征值和特征 _fou特征组合上CCA、PLS、LPCCA、RCCA以及 矢量问题。选取前d个最大特征值对应的特征矢量 RbCCA等算法的对比实验结果曲线图。通过图1 (a1,,…,ai)和(BB;,…Bi)作为RbCCA 可以很明显看出，bCCA的识别率远远高于其他算 的投影方向。则a°=(a,,…,ai)和B·= 法。随着特征维度的增加，RCCA、LPCCA、CCA算 (B,β2，…，β：)为最终求得的投影矢量集。 法的识别率在逐渐下降，而RbCCA的识别率却呈上 对于给定的样本矢量x和y,对原始特征进行 升趋势。这是由于随着特征维度增加，特征中包含
类似，也可以得出Ｓ Ｚ ｙｙ、Ｓ Ｅ ｙｙ和Ｓ Ｚ ｙｘ、Ｓ Ｅ ｙｘ的计算公式。 ２．２ 算法原理与模型构建 ＲｂＣＣＡ 将ｘ Ｎ 和ｙ Ｎ 的低秩分量，噪声分量区别 对待，即求一对投影方向 α 和 β，使得α Ｔ Ｓ Ｚ ｘｙ β 尽可 能大的同时 α Ｔ Ｓ Ｅ ｘｙ β 尽可能小。 于是得到改进后的 典型相关准则函数为 ｍａｘ α，β ρ Ｚ ＣＣＡ（α，β） ＝ α Ｔ Ｓ Ｚ ｘｙ β ｍｉｎ α，β ρ Ｅ ＣＣＡ（α，β） ＝ α Ｔ Ｓ Ｅ { ｘｙβ （５） 式中： ρ Ｚ ＣＣＡ （ ρ Ｅ ＣＣＡ ） 为低秩 （ 噪声） 分量的相关性， Ｓ Ｚ ｘｙ（Ｓ Ｅ ｘｙ）为低秩（噪声）分量的协方差矩阵。 式（５）是一个多目标方程优化问题，很难直接 求解。 通过最大化公式（５）中两个准则函数的差值 进行求解［１６］ ，即 ｍａｘ α，β ρ Ｚ ＣＣＡ（α，β） － ρ Ｅ { ＣＣＡ（α，β）} ＝ α Ｔ Ｓ Ｚ ｘｙβ － α Ｔ Ｓ Ｅ ｘｙβ ＝ α Ｔ Ｓ Ｚ ｘｙ － Ｓ Ｅ ｘｙ ( ) β （６） 式（６）满足在最大化本质特征的相关性的同时 最小化噪声的相关性的要求，保证了求解得出的投 影矢量的鉴别能力。 相应地，能够得到式（７）约束： α Ｔ Ｓ Ｚ ｘｘ － Ｓ Ｅ ｘｘ ( ) α ＝ １ β Ｔ Ｓ Ｚ ｙｙ － Ｓ Ｅ ｙｙ ( ) β ＝ １ { （７） 令 Ｓ ∗ ｘｙ替代式（７）中的 Ｓ Ｚ ｘｙ －Ｓ Ｅ ｘｙ，Ｓ ∗ ｘｘ 、Ｓ ∗ ｙｙ 分别替代 式（７）中的 Ｓ Ｚ ｘｘ －Ｓ Ｅ ｘｘ和 Ｓ Ｚ ｙｙ －Ｓ Ｅ ｙｙ，综合式（６）、（７），得到 转换后的 ＲｂＣＣＡ 的准则函数： ｍａｘ α，β ρ ∗ ＣＣＡ（α，β） ＝ α Ｔ Ｓ ∗ ｘｙ β ｓ．ｔ． α Ｔ Ｓ ∗ ｘｘα ＝ １，β Ｔ Ｓ ∗ ｙｙ β ＝ １ （８） 式（８）满足了在最大化本质特征的相关性的同 时最小化噪声成分的相关性的要求。 最大程度上 降低了噪声对典型投影矢量的影响，增强了投影矢 量的鉴别能力。 ２．３ ＲｂＣＣＡ 模型求解 式（８） 的求解方法同 ＣＣＡ 算法的求解。 利用 Ｌａｇｒａｎｇｅ 乘数法，可以将问题转化为求解如下两个 广义特征方程的问题： Ｓ ∗ ｘｙ （Ｓ ∗ ｙｙ ） －１ Ｓ ∗ ｙｘα ＝ ζ ２ Ｓ ∗ ｘｘα Ｓ ∗ ｙｘ （Ｓ ∗ ｘｘ ） －１ Ｓ ∗ ｘｙ β ＝ ζ ２ Ｓ ∗ ｙｙ β { （９） 于是求解式（９） 就等同于求解矩阵（Ｓ ∗ ｙｙ ） －１ Ｓ ∗ ｙｘ （Ｓ ∗ ｘｘ ） －１ Ｓ ∗ ｘｙ或（Ｓ ∗ ｘｘ ） －１ Ｓ ∗ ｘｙ （ Ｓ ∗ ｙｙ ） －１ Ｓ ∗ ｙｘ 的特征值和特征 矢量问题。 选取前 ｄ 个最大特征值对应的特征矢量 α ∗ １ ，α ∗ ２ ，…，α ∗ ｄ ( ) 和 β ∗ １ ，β ∗ ２ ，…，β ∗ ｄ ( ) 作 为 ＲｂＣＣＡ 的投 影 方 向。 则 α ∗ ＝ α ∗ １ ，α ∗ ２ ，…，α ∗ ｄ ( ) 和 β ∗ ＝ β ∗ １ ，β ∗ ２ ，…，β ∗ ｄ ( ) 为最终求得的投影矢量集。 对于给定的样本矢量 ｘ 和 ｙ，对原始特征进行 投影后得到变换后的特征分量（α ∗ ） Ｔ ｘ 和（β ∗ ） Ｔ ｙ。 为了方便后续的模式分类，采用式（１０）的串行特征 融合策略对特征进行融合： Ｐ ＝ ［（α ∗ ） Ｔ ｘ （β ∗ ） Ｔ ｙ］ （１０） 式（１０）计算对应投影后的特征矢量及其特征 组合，将组合后的特征用于模式分类。 ＲｂＣＣＡ 既满足了多表示数据的维数约减要求， 保持了较好的识别率，又填补了传统 ＣＣＡ 在噪声数 据下特征表示能力差的缺陷，提升了 ＣＣＡ 处理噪声 数据的能力。 ３ 实验结果与分析 本实验的目的是验证本文所提算法 ＲｂＣＣＡ 在 噪声数据下特征提取的有效性，分别在多特征手写 体数据集 ＭＦＥＡＴ 和 ＯＲＬ 以及 Ｙａｌｅ 两个人脸数据 库上进行了识别实验。 其中 λ 的取值需根据噪声 强度的大小进行调整。 实验中均采取串行融合的 策略进行特征融合，并选取最近邻分类器进行模式 分类。 ３．１ ＭＦＥＡＴ 手写体数据库 ＭＦＥＡＴ 手写体数据库一共包含 ｆａｃ、ｆｏｕ、 ｋａｒ、 ｍｏｒ、ｐｉｘ、ｚｅｒ ６ 组特征，每组特征包含 ０ ～ ９ 共 １０ 个 数字，每个数字类别包含 ２００ 个样本。 ６ 组特征，每 两组特征进行组合共 １５ 种组合，随机挑选其中的 １０ 种组合做 １０ 次随机实验，每次实验从每种组合 中随机选择 １００ 个作为训练样本，１００ 个作为测试 样本。 训练样本总数和测试样本总数均为 １ ０００。 实验开始前，在原始 ＭＦＥＡＴ 数据库上，分别在 ６ 组 特征加入 １０％ 的椒盐噪声来模拟实际应用中的 噪声。 表 １ 随机抽取 ＭＦＥＡＴ 数据库中 １０ 种特征组 合，分别将 ＣＣＡ、ＰＬＳ、ＬＰＣＣＡ、ＲＣＣＡ 以及 ＲｂＣＣＡ 等 算法做了对比实验。 实验数据表明，ＲｂＣＣＡ 在这 １０ 种特征组合的识别率平均比 ＣＣＡ 的识别率高出 １０％。 在 ｆａｃ＿ｆｏｕ、ｆｏｕ＿ｚｅｒ 以及 ｍｏｒ＿ｐｉｘ ３ 种组合里， ＲｂＣＣＡ 的识别更是高出 ＣＣＡ 识别结果的 １５％ 以 上。 表 １ 初步证实了 ＲｂＣＣＡ 对噪声数据特征提取 的有效性。 图 １ 列出了添加噪声后的 ＭＦＥＡＴ 数据中的 ｆａｃ ＿ｆｏｕ 特征组合 上 ＣＣＡ、 ＰＬＳ、 ＬＰＣＣＡ、 ＲＣＣＡ 以 及 ＲｂＣＣＡ 等算法的对比实验结果曲线图。 通过图 １ 可以很明显看出，ＲｂＣＣＡ 的识别率远远高于其他算 法。 随着特征维度的增加，ＲＣＣＡ、ＬＰＣＣＡ、ＣＣＡ 算 法的识别率在逐渐下降，而 ＲｂＣＣＡ 的识别率却呈上 升趋势。 这是由于随着特征维度增加，特征中包含 第 ４ 期 倪怀发，等：基于低秩分解的鲁棒典型相关分析 ·４９３·
·494. 智能系统学报 第12卷 的噪声也在增加，影响了RCCA、LPCCA、CCA的分 实验预处理阶段，每幅图像分别加入10%椒盐 类正确率。图1表明RbCCA能够较好地提取噪声 噪声模拟噪声分量。实验中，对于每一类，若无特 数据中图像的原始信息，针对噪声图像的分类识别 别说明，均是随机选择5幅作为训练样本，其余5幅 效果优于其他4种算法。 作为测试样本。 表1 MFEAT不同特征组合下识别算法识别率 表2、图3分别列出了在选择不同训练样本数 Table 1 Different characteristics of the combination identify 目和变化不同特征维度时，6组对比算法的识别效 the algorithm recognition rate in MFEAT 果。算法中RPCA+CCA是直接利用低秩分量来计 特征 CCA PLS LPCCA RCCA RbCCA 算典型相关分析投影矢量的算法简称。 pix_zer 0.833 0.851 0.813 0.847 0.916 表2的实验数据表明，随着训练样本数目的增 fac fou 0.724 0.735 0.735 0.742 0.908 加，几种算法的识别率均有不同程度的提升。对比 fac mor 0.689 0.671 0.682 0.705 0.780 RPCA+CCA和CCA的识别率，可以看出RPCA+ fac_pix 0.931 0.919 0.929 0.934 0.960 CCA的识别效果优于CCA。这也从侧面说明了 fac_zer 0.7440.742 0.766 0.772 0.887 RPCA对于噪声的鲁棒性。 fou_pix 0.854 0.859 0.86 0.859 0.961 表2OL人脸库不同的训练样本数下识别算法的识别率 fou_zer 0.541 0.524 0.519 0.526 0.738 Table 2 ORL face database under different training samples kar zer 0.568 0.554 0.569 0.574 0.665 identify the recognition rate of the algorithm mor_pix 0.718 0.719 0.720 0.694 0.875 识别算法 2 6 fou_kar 0.5660.569 0.5550.502 0.675 CCA 0.516 0.661 0.767 0.793 0.816 1.0 PLS 0.581 0.721 0.800 0.810 0.870 0.9 LPCCA 0.391 0.593 0.787 0.830 0.900 0.8 RCCA 0.453 0.614 0.725 0.800 0.883 0.7 RPCA+CCA 0.568 0.707 0.804 0.830 0.915 0.6 0—0 RbCCA 0.7160.8070.821 0.850 0.956 0.5 ePLS -LPCCA 0.4 通过图3可以看出，随着特征维度的增加，除 RCCA 0 RbCCA RPCA+CCA和RbCCA之外的其余4种算法的识别 10 20 30 40 50 60 率均呈下降趋势，这是由于随着特征维度的增加， 特征维度 抽取的特征中所包含的噪声成分也在增加，对识别 图1识别方法识别结果随着特征维度增加的识别曲线图 效果产生了较大的影响。随着特征维度的增加， Fig.1 The recognition curve of the recognition method RPCA+CCA和RbPCCA的识别正确率均呈上升趋 with the increase of the feature dimension 3.2ORL人脸数据库 势，并且由于RbCCA模型利用到了噪声成分的信 ORL人脸数据库)]由剑桥大学AT&T实验室创 息，所以它的识别效果始终优于只利用低秩分量的 RPCA+CCA的模型的识别效果。 建，包含40人共400张面部图像，每幅图像大小92× 0.95 112像素，部分图像包括了姿态，表情和面部饰物的变 0.90 化。图2给出了ORL人脸库中某人的10张图像。 0.85 0.80F 00 解0.75 虽0.70 -CCA 0.65 --PLS ◆-LPCCA 0.60 RCCA 0.55 RbCCA 。-RbCA+CCA 0.5 10 20 30 40 5060 特征维度 图3识别方法识别结果随特征维度增加的变化曲线图 图2ORL人脸数据库中某人的10张图像 Fig.3 The recognition curve of the recognition method Fig.2 10 images of a person in the ORL face database with the increase of the feature dimension
的噪声也在增加，影响了 ＲＣＣＡ、ＬＰＣＣＡ、ＣＣＡ 的分 类正确率。 图 １ 表明 ＲｂＣＣＡ 能够较好地提取噪声 数据中图像的原始信息，针对噪声图像的分类识别 效果优于其他 ４ 种算法。 表 １ ＭＦＥＡＴ 不同特征组合下识别算法识别率 Ｔａｂｌｅ １ Ｄｉｆｆｅｒｅｎｔ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ｏｆ ｔｈｅ ｃｏｍｂｉｎａｔｉｏｎ ｉｄｅｎｔｉｆｙ ｔｈｅ ａｌｇｏｒｉｔｈｍ ｒｅｃｏｇｎｉｔｉｏｎ ｒａｔｅ ｉｎ ＭＦＥＡＴ 特征 ＣＣＡ ＰＬＳ ＬＰＣＣＡ ＲＣＣＡ ＲｂＣＣＡ ｐｉｘ＿ｚｅｒ ０．８３３ ０．８５１ ０．８１３ ０．８４７ ０．９１６ ｆａｃ＿ｆｏｕ ０．７２４ ０．７３５ ０．７３５ ０．７４２ ０．９０８ ｆａｃ＿ｍｏｒ ０．６８９ ０．６７１ ０．６８２ ０．７０５ ０．７８０ ｆａｃ＿ｐｉｘ ０．９３１ ０．９１９ ０．９２９ ０．９３４ ０．９６０ ｆａｃ＿ｚｅｒ ０．７４４ ０．７４２ ０．７６６ ０．７７２ ０．８８７ ｆｏｕ＿ｐｉｘ ０．８５４ ０．８５９ ０．８６ ０．８５９ ０．９６１ ｆｏｕ＿ｚｅｒ ０．５４１ ０．５２４ ０．５１９ ０．５２６ ０．７３８ ｋａｒ＿ｚｅｒ ０．５６８ ０．５５４ ０．５６９ ０．５７４ ０．６６５ ｍｏｒ＿ｐｉｘ ０．７１８ ０．７１９ ０．７２０ ０．６９４ ０．８７５ ｆｏｕ＿ｋａｒ ０．５６６ ０．５６９ ０．５５５ ０．５０２ ０．６７５ 图 １ 识别方法识别结果随着特征维度增加的识别曲线图 Ｆｉｇ．１ Ｔｈｅ ｒｅｃｏｇｎｉｔｉｏｎ ｃｕｒｖｅ ｏｆ ｔｈｅ ｒｅｃｏｇｎｉｔｉｏｎ ｍｅｔｈｏｄ ｗｉｔｈ ｔｈｅ ｉｎｃｒｅａｓｅ ｏｆ ｔｈｅ ｆｅａｔｕｒｅ ｄｉｍｅｎｓｉｏｎ ３．２ ＯＲＬ 人脸数据库 ＯＲＬ 人脸数据库［１７］ 由剑桥大学 ＡＴ＆Ｔ 实验室创 建，包含 ４０ 人共 ４００ 张面部图像，每幅图像大小 ９２× １１２ 像素，部分图像包括了姿态，表情和面部饰物的变 化。 图 ２ 给出了 ＯＲＬ 人脸库中某人的 １０ 张图像。 图 ２ ＯＲＬ 人脸数据库中某人的 １０ 张图像 Ｆｉｇ．２ １０ ｉｍａｇｅｓ ｏｆ ａ ｐｅｒｓｏｎ ｉｎ ｔｈｅ ＯＲＬ ｆａｃｅ ｄａｔａｂａｓｅ 实验预处理阶段，每幅图像分别加入 １０％椒盐 噪声模拟噪声分量。 实验中，对于每一类，若无特 别说明，均是随机选择 ５ 幅作为训练样本，其余 ５ 幅 作为测试样本。 表 ２、图 ３ 分别列出了在选择不同训练样本数 目和变化不同特征维度时，６ 组对比算法的识别效 果。 算法中 ＲＰＣＡ＋ＣＣＡ 是直接利用低秩分量来计 算典型相关分析投影矢量的算法简称。 表 ２ 的实验数据表明，随着训练样本数目的增 加，几种算法的识别率均有不同程度的提升。 对比 ＲＰＣＡ＋ＣＣＡ 和 ＣＣＡ 的识别率，可以看出 ＲＰＣＡ ＋ ＣＣＡ 的识别效果优于 ＣＣＡ。 这也从侧面说明了 ＲＰＣＡ 对于噪声的鲁棒性。 表 ２ ＯＲＬ 人脸库不同的训练样本数下识别算法的识别率 Ｔａｂｌｅ ２ ＯＲＬ ｆａｃｅ ｄａｔａｂａｓｅ ｕｎｄｅｒ ｄｉｆｆｅｒｅｎｔ ｔｒａｉｎｉｎｇ ｓａｍｐｌｅｓ ｉｄｅｎｔｉｆｙ ｔｈｅ ｒｅｃｏｇｎｉｔｉｏｎ ｒａｔｅ ｏｆ ｔｈｅ ａｌｇｏｒｉｔｈｍ 识别算法 ２ ３ ４ ５ ６ ＣＣＡ ０．５１６ ０．６６１ ０．７６７ ０．７９３ ０．８１６ ＰＬＳ ０．５８１ ０．７２１ ０．８００ ０．８１０ ０．８７０ ＬＰＣＣＡ ０．３９１ ０．５９３ ０．７８７ ０．８３０ ０．９００ ＲＣＣＡ ０．４５３ ０．６１４ ０．７２５ ０．８００ ０．８８３ ＲＰＣＡ＋ＣＣＡ ０．５６８ ０．７０７ ０．８０４ ０．８３０ ０．９１５ ＲｂＣＣＡ ０．７１６ ０．８０７ ０．８２１ ０．８５０ ０．９５６ 通过图 ３ 可以看出，随着特征维度的增加，除 ＲＰＣＡ＋ＣＣＡ 和 ＲｂＣＣＡ 之外的其余 ４ 种算法的识别 率均呈下降趋势，这是由于随着特征维度的增加， 抽取的特征中所包含的噪声成分也在增加，对识别 效果产生了较大的影响。 随着特征维度的增加， ＲＰＣＡ＋ＣＣＡ 和 ＲｂＰＣＣＡ 的识别正确率均呈上升趋 势，并且由于 ＲｂＣＣＡ 模型利用到了噪声成分的信 息，所以它的识别效果始终优于只利用低秩分量的 ＲＰＣＡ＋ＣＣＡ 的模型的识别效果。 图 ３ 识别方法识别结果随特征维度增加的变化曲线图 Ｆｉｇ．３ Ｔｈｅ ｒｅｃｏｇｎｉｔｉｏｎ ｃｕｒｖｅ ｏｆ ｔｈｅ ｒｅｃｏｇｎｉｔｉｏｎ ｍｅｔｈｏｄ ｗｉｔｈ ｔｈｅ ｉｎｃｒｅａｓｅ ｏｆ ｔｈｅ ｆｅａｔｕｒｅ ｄｉｍｅｎｓｉｏｎ ·４９４· 智 能 系 统 学 报 第 １２ 卷
第4期 倪怀发，等：基于低秩分解的鲁棒典型相关分析 ·495. 图4显示了随着数据样本所含噪声强度的增 表3Yale人脸库不同的训练样本数下，CCA,PLS、LPCCA、 加，6种算法的识别率变化曲线图。在本次实验中， RCCA、RPCA+CCA、bCCA算法的识别率 选取每类6个样本作为训练样本，其余4个样本作 Table 3 Recognition rates for CCA.PLS,LPCCA.RCCA. 为测试样本。从图4中可以看出，随着噪声强度的 RPCA CCA,RbCCA algorithms for different 增加，6种算法的识别正确率均有不同程度的下降 training samples in the Yale face database 趋势。相对于其他算法，RCCA识别率下降趋势较 识别算法 3 5 6 7 为平缓，并且噪声强度在2%~20%时，它的识别率 CCA 0.635 0.675 0.745 0.760 0.833 始终保持在了92%以上。进一步证实了RbCCA对 PLS 0.720 0.771 0.789 0.799 0.883 噪声具有很好的鲁棒性，能够很好地提取噪声数据 LPCCA 0.540 0.685 0.722 0.757 0.861 的有效特征。 RCCCA 0.675 0.695 0.767 0.793 0.889 1.00 RPCA+CCA 0.684 0.740 0.761 0.775 0.865 0.95 RbCCA 0.733 0.789 0.795 0.827 0.967 0.909 800 0.85 0.90 0.75 CCA 0.80 -PLS 0一LPCCA 0.705 0.60 +RCCA 0.55 RbCCA 0.50 -RbCA+CCA 0.60 0.05 0.10 0.15 0.20 0s0 CCA ePLS 噪声程度 ◆-LPCCA 0.40 RCCA 图4识别方法识别结果随着噪声强度增加的变化曲线图 RbCCA Fig.4 The result of the recognition method with the 0.30 ◆-RbCA+CCA 10 20 3040 5060 increase of the noise intensity 特征维度 3.3Yale数据库实验 图6识别方法识别结果随着特征维度增加的变化曲线图 Yale人脸数据库1-21)包含15个人的165幅灰 Fig.6 The recognition curve of the recognition method with the increase of the feature dimension 度图像，每人11幅，包括光照方向（左、右和正面）、 通过图6可以看出，特征维数在10~40之间， 眼睛、表情变化（正常、愉快、悲伤、困乏、惊讶和眨 随着特征维数的增加，6种算法的识别正确率均有 眼)。图像大小为100像素×100像素。图5是Yale 不同程度的提升。从总体上看，RbCCA算法的识别 人脸库中某人的11幅图像。 率始终高于其他5种算法。特征维度大于40维之 后，随着特征维度的增加，除RPCA+CCA和RbCCA 之外的其余4种算法的识别率均呈下降趋势。 RCCA模型因为利用到了噪声成分的信息，所以它 的识别效果始终优于只利用低秩成分的RPCA+ CCA模型的识别效果。 图5Yale数据库中某人的11幅图像 图7是针对不同噪声强度每种算法的识别率变 Fig.5 11 images of one person in Yale database 化曲线图。本次实验中随机选取每一类的7个样本 实验预处理阶段，对每幅图像分别加入10%椒 作为训练样本，其余4个作为测试样本。变化曲线 盐噪声，实验中，对于每一类，若无特别说明，均是 表明，随着噪声强度的增加，6种算法的识别率均有 随机选择6幅作为训练样本，其余5幅作为测试 不同程度的下降。从图中可以看出，随着噪声强度 样本。 的增加，CCA识别率下降得最快，相比较来看， 表3、图6分别表示了在选择不同训练样本数 RPCA+CCA以及RbCCA的下降趋势相对平缓。虽 目和变换不同特征维度时，6组对比算法的识别效 然随着噪声强度的增加，RbCCA识别率稍有降低。 但是噪声强度从2%~20%之间，它的识别率均在 果。表3的实验数据进一步表明RbCCA对于噪声 数据特征提取的有效性。 91%以上，远远优于其他5种算法的识别率。这也
图 ４ 显示了随着数据样本所含噪声强度的增 加，６ 种算法的识别率变化曲线图。 在本次实验中， 选取每类 ６ 个样本作为训练样本，其余 ４ 个样本作 为测试样本。 从图 ４ 中可以看出，随着噪声强度的 增加，６ 种算法的识别正确率均有不同程度的下降 趋势。 相对于其他算法，ＲｂＣＣＡ 识别率下降趋势较 为平缓，并且噪声强度在 ２％ ～ ２０％时，它的识别率 始终保持在了 ９２％以上。 进一步证实了 ＲｂＣＣＡ 对 噪声具有很好的鲁棒性，能够很好地提取噪声数据 的有效特征。 图 ４ 识别方法识别结果随着噪声强度增加的变化曲线图 Ｆｉｇ．４ Ｔｈｅ ｒｅｓｕｌｔ ｏｆ ｔｈｅ ｒｅｃｏｇｎｉｔｉｏｎ ｍｅｔｈｏｄ ｗｉｔｈ ｔｈｅ ｉｎｃｒｅａｓｅ ｏｆ ｔｈｅ ｎｏｉｓｅ ｉｎｔｅｎｓｉｔｙ ３．３ Ｙａｌｅ 数据库实验 Ｙａｌｅ 人脸数据库［１８－２１］包含 １５ 个人的 １６５ 幅灰 度图像，每人 １１ 幅，包括光照方向（左、右和正面）、 眼睛、表情变化（正常、愉快、悲伤、困乏、惊讶和眨 眼）。 图像大小为 １００ 像素×１００ 像素。 图 ５ 是 Ｙａｌｅ 人脸库中某人的 １１ 幅图像。 图 ５ Ｙａｌｅ 数据库中某人的 １１ 幅图像 Ｆｉｇ．５ １１ ｉｍａｇｅｓ ｏｆ ｏｎｅ ｐｅｒｓｏｎ ｉｎ Ｙａｌｅ ｄａｔａｂａｓｅ 实验预处理阶段，对每幅图像分别加入 １０％椒 盐噪声，实验中，对于每一类，若无特别说明，均是 随机选择 ６ 幅作为训练样本，其余 ５ 幅作为测试 样本。 表 ３、图 ６ 分别表示了在选择不同训练样本数 目和变换不同特征维度时，６ 组对比算法的识别效 果。 表 ３ 的实验数据进一步表明 ＲｂＣＣＡ 对于噪声 数据特征提取的有效性。 表 ３ Ｙａｌｅ 人脸库不同的训练样本数下，ＣＣＡ、ＰＬＳ、ＬＰＣＣＡ、 ＲＣＣＡ、ＲＰＣＡ＋ＣＣＡ、ＲｂＣＣＡ 算法的识别率 Ｔａｂｌｅ ３ Ｒｅｃｏｇｎｉｔｉｏｎ ｒａｔｅｓ ｆｏｒ ＣＣＡ， ＰＬＳ， ＬＰＣＣＡ， ＲＣＣＡ， ＲＰＣＡ ＋ ＣＣＡ， ＲｂＣＣＡ ａｌｇｏｒｉｔｈｍｓ ｆｏｒ ｄｉｆｆｅｒｅｎｔ ｔｒａｉｎｉｎｇ ｓａｍｐｌｅｓ ｉｎ ｔｈｅ Ｙａｌｅ ｆａｃｅ ｄａｔａｂａｓｅ 识别算法 ３ ４ ５ ６ ７ ＣＣＡ ０．６３５ ０．６７５ ０．７４５ ０．７６０ ０．８３３ ＰＬＳ ０．７２０ ０．７７１ ０．７８９ ０．７９９ ０．８８３ ＬＰＣＣＡ ０．５４０ ０．６８５ ０．７２２ ０．７５７ ０．８６１ ＲＣＣＣＡ ０．６７５ ０．６９５ ０．７６７ ０．７９３ ０．８８９ ＲＰＣＡ＋ＣＣＡ ０．６８４ ０．７４０ ０．７６１ ０．７７５ ０．８６５ ＲｂＣＣＡ ０．７３３ ０．７８９ ０．７９５ ０．８２７ ０．９６７ 图 ６ 识别方法识别结果随着特征维度增加的变化曲线图 Ｆｉｇ．６ Ｔｈｅ ｒｅｃｏｇｎｉｔｉｏｎ ｃｕｒｖｅ ｏｆ ｔｈｅ ｒｅｃｏｇｎｉｔｉｏｎ ｍｅｔｈｏｄ ｗｉｔｈ ｔｈｅ ｉｎｃｒｅａｓｅ ｏｆ ｔｈｅ ｆｅａｔｕｒｅ ｄｉｍｅｎｓｉｏｎ 通过图 ６ 可以看出，特征维数在 １０ ～ ４０ 之间， 随着特征维数的增加，６ 种算法的识别正确率均有 不同程度的提升。 从总体上看，ＲｂＣＣＡ 算法的识别 率始终高于其他 ５ 种算法。 特征维度大于 ４０ 维之 后，随着特征维度的增加，除 ＲＰＣＡ＋ＣＣＡ 和 ＲｂＣＣＡ 之外的其余 ４ 种算法的识别率均呈下降趋势。 ＲｂＣＣＡ 模型因为利用到了噪声成分的信息，所以它 的识别效果始终优于只利用低秩成分的 ＲＰＣＡ ＋ ＣＣＡ 模型的识别效果。 图 ７ 是针对不同噪声强度每种算法的识别率变 化曲线图。 本次实验中随机选取每一类的 ７ 个样本 作为训练样本，其余 ４ 个作为测试样本。 变化曲线 表明，随着噪声强度的增加，６ 种算法的识别率均有 不同程度的下降。 从图中可以看出，随着噪声强度 的增加， ＣＣＡ 识 别 率 下 降 得 最 快， 相 比 较 来 看， ＲＰＣＡ＋ＣＣＡ 以及 ＲｂＣＣＡ 的下降趋势相对平缓。 虽 然随着噪声强度的增加，ＲｂＣＣＡ 识别率稍有降低。 但是噪声强度从 ２％ ～ ２０％之间，它的识别率均在 ９１％以上，远远优于其他 ５ 种算法的识别率。 这也 第 ４ 期 倪怀发，等：基于低秩分解的鲁棒典型相关分析 ·４９５·
·496· 智能系统学报 第12卷 进一步表明了RbCCA对于噪声数据处理的有效性。 posts and telecommunications:natural science edition, 2015,27(3):377-387. [4]HOU C.ZHANG C.WU Y,et al.Multiple view semi- 0.90 supervised dimensionality reduction[].Pattern recognition, 0.80 ✉很 0.70 2010.43(3)：720-730. ￥0.60 [5]HOTELLING H.Relations between two sets of variates[J]. CCA Biometrika,1936.28(3/4):321-377. -ePLS 0.30 [6]孙权森，基于相关投影分析的特征抽取与图像识别研究 -◆-LPCCA 0.20 RCCA [D].南京：南京理工大学，2006. 0.10 RbCCA -◆-RbCA+CCA SUN Quansen.Research on feature extraction and image 04 0.05 0.10 0.15 0.20 recognition based on correlation projection analysis[D]. 躁声程度 Nanjing:Nanjing University of Science and Technology,2006. 图7识别方法识别结果随着噪声强度增加的变化曲线图 [7]HOU Shudong,孙权森.稀疏保持典型相关分析及在特 Fig.7 The result of the recognition method with the 征融合中的应用[J].自动化学报，2012,38(4)：659 increase of the noise intensity -665. 4 结束语 HOU Shudong,SUN Quansen.Sparse maintaining canonical correlation analysis and its application in feature fusion[J]. 为了提升CCA噪声数据的处理能力，本文提出 Journal of automation,2012,38(4):659-665. 鲁棒典型相关分析算法(RbCCA)。RbCCA首先对 [8]LIU G,LIN Z,YAN S,et al.Robust recovery of subspace 两组特征进行低秩分解，从而分解得到低秩以及噪 structures by low-rank representationJ.IEEE transactions 声分量。基于这两种分量，RbCCA构建出新的协方 on pattern analysis and machine intelligence,2013,35 差矩阵。提出的准则函数能够最大化本质特征的 (1):171-184. 相关性，同时最小化噪声的相关性，从而尽可能少 [9]WRIGHT J,GANESH A,RAO S,et al.Robust principal 地降低噪声对典型投影矢量的影响，增强投影矢量 component analysis:Exact recovery of corrupted low-rank matrices via convex optimization[C]//Advances in neural 的鉴别能力。在MFEAT手写体、ORL和Yale人脸 information processing systems.Vancouver,BC,Canada, 数据上的实验表明，相比于现有的CCA方法， 2009:2080-2088. RbCCA对噪声数据具有较强的鲁棒性，在模式分类 [10]LIU G,LIN Z,YU Y.Robust subspace segmentation by 任务中可以达到较好的识别率。 low-rank representation [C]//Proceedings of the 27th 在实际应用方面，RbCCA中存在一些问题值得 international conference on machine learning(ICML-10). 进一步研究。在低秩分解时参数入的值对噪声强 Haifa,Israel.2010:663-670. 度大小以及特征维度的大小很敏感，需要调整参数 [11]袁运浩.多重集典型相关分析理论及在高维多表示数据 入的值才能达到较好的识别效果。如何建立一个参 中的应用[D].南京：南京理工大学，2013. 数选择标准或者函数关系，以适应不同范围的噪声 YUAN Yunhao.Canonical correlation analysis theory of 强度以及特征维度还有待进一步研究论证。 multiple sets and its application in multi-representation data D].Nanjing:Nanjing University of Science and 参考文献： Technology,2013. [12]孙权森，曾生根，王平安，等.典型相关分析的理论及 [1]FUKUNAGA K.Introduction to statistical pattern recognition 其在特征融合中的应用[J].计算机学报，2005,28 [M].Academic press,2013. (9):1524-1533. [2 FISHER R A.The use of multiple measurements in SUN Quansen,ZENG Shenggen,WANG Pingan,et al. axonomic problems[J].Annals of eugenics,1936,7(2): The theory of canonical correlation analysis and its 179-188. application in feature fusion[J].Chinese journal of [3]杨勇，蔡舒博.一种基于两步降维和并行特征融合的表情 computers,2005,28(9):1524-1533. 识别方法[J].重庆邮电大学学报：自然科学版，2015， [13]张凡龙.基于核范数的低秩理论与方法研究[D].南 27(3):377-387. 京：南京理工大学，2015. YANG Yong,CAI Shubo.Facial expression recognition ZHANG Fanlong.Research on low rank theory and method method based on two-steps dimensionality reduction and based on kernel norm[D].Nanjing:Nanjing University of parallel feature fusion[J].Journal of chongqing university of Science and Technology,2015
进一步表明了 ＲｂＣＣＡ 对于噪声数据处理的有效性。 图 ７ 识别方法识别结果随着噪声强度增加的变化曲线图 Ｆｉｇ．７ Ｔｈｅ ｒｅｓｕｌｔ ｏｆ ｔｈｅ ｒｅｃｏｇｎｉｔｉｏｎ ｍｅｔｈｏｄ ｗｉｔｈ ｔｈｅ ｉｎｃｒｅａｓｅ ｏｆ ｔｈｅ ｎｏｉｓｅ ｉｎｔｅｎｓｉｔｙ ４ 结束语 为了提升 ＣＣＡ 噪声数据的处理能力，本文提出 鲁棒典型相关分析算法（ＲｂＣＣＡ）。 ＲｂＣＣＡ 首先对 两组特征进行低秩分解，从而分解得到低秩以及噪 声分量。 基于这两种分量，ＲｂＣＣＡ 构建出新的协方 差矩阵。 提出的准则函数能够最大化本质特征的 相关性，同时最小化噪声的相关性，从而尽可能少 地降低噪声对典型投影矢量的影响，增强投影矢量 的鉴别能力。 在 ＭＦＥＡＴ 手写体、ＯＲＬ 和 Ｙａｌｅ 人脸 数据 上 的 实 验 表 明， 相 比 于 现 有 的 ＣＣＡ 方 法， ＲｂＣＣＡ 对噪声数据具有较强的鲁棒性，在模式分类 任务中可以达到较好的识别率。 在实际应用方面，ＲｂＣＣＡ 中存在一些问题值得 进一步研究。 在低秩分解时参数 λ 的值对噪声强 度大小以及特征维度的大小很敏感，需要调整参数 λ 的值才能达到较好的识别效果。 如何建立一个参 数选择标准或者函数关系，以适应不同范围的噪声 强度以及特征维度还有待进一步研究论证。 参考文献： ［１］ＦＵＫＵＮＡＧＡ Ｋ． Ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ ｓｔａｔｉｓｔｉｃａｌ ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ ［Ｍ］． Ａｃａｄｅｍｉｃ ｐｒｅｓｓ， ２０１３． ［ ２ ］ ＦＩＳＨＥＲ Ｒ Ａ． Ｔｈｅ ｕｓｅ ｏｆ ｍｕｌｔｉｐｌｅ ｍｅａｓｕｒｅｍｅｎｔｓ ｉｎ ａｘｏｎｏｍｉｃ ｐｒｏｂｌｅｍｓ［Ｊ］． Ａｎｎａｌｓ ｏｆ ｅｕｇｅｎｉｃｓ， １９３６， ７（ ２）： １７９－１８８． ［３］杨勇，蔡舒博．一种基于两步降维和并行特征融合的表情 识别方法［ Ｊ］． 重庆邮电大学学报：自然科学版， ２０１５， ２７（３）： ３７７－３８７． ＹＡＮＧ Ｙｏｎｇ， ＣＡＩ Ｓｈｕｂｏ． Ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｍｅｔｈｏｄ ｂａｓｅｄ ｏｎ ｔｗｏ⁃ｓｔｅｐｓ ｄｉｍｅｎｓｉｏｎａｌｉｔｙ ｒｅｄｕｃｔｉｏｎ ａｎｄ ｐａｒａｌｌｅｌ ｆｅａｔｕｒｅ ｆｕｓｉｏｎ［Ｊ］． Ｊｏｕｒｎａｌ ｏｆ ｃｈｏｎｇｑｉｎｇ ｕｎｉｖｅｒｓｉｔｙ ｏｆ ｐｏｓｔｓ ａｎｄ ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ： ｎａｔｕｒａｌ ｓｃｉｅｎｃｅ ｅｄｉｔｉｏｎ， ２０１５， ２７（３）： ３７７－３８７． ［４］ ＨＯＵ Ｃ， ＺＨＡＮＧ Ｃ， ＷＵ Ｙ， ｅｔ ａｌ． Ｍｕｌｔｉｐｌｅ ｖｉｅｗ ｓｅｍｉ⁃ ｓｕｐｅｒｖｉｓｅｄ ｄｉｍｅｎｓｉｏｎａｌｉｔｙ ｒｅｄｕｃｔｉｏｎ ［Ｊ］． Ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ， ２０１０， ４３（３）： ７２０－７３０． ［５］ＨＯＴＥＬＬＩＮＧ Ｈ． Ｒｅｌａｔｉｏｎｓ ｂｅｔｗｅｅｎ ｔｗｏ ｓｅｔｓ ｏｆ ｖａｒｉａｔｅｓ［ Ｊ］． Ｂｉｏｍｅｔｒｉｋａ， １９３６， ２８（３ ／ ４）： ３２１－３７７． ［６］孙权森，基于相关投影分析的特征抽取与图像识别研究 ［Ｄ］． 南京：南京理工大学， ２００６． ＳＵＮ Ｑｕａｎｓｅｎ． Ｒｅｓｅａｒｃｈ ｏｎ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ ａｎｄ ｉｍａｇｅ ｒｅｃｏｇｎｉｔｉｏｎ ｂａｓｅｄ ｏｎ ｃｏｒｒｅｌａｔｉｏｎ ｐｒｏｊｅｃｔｉｏｎ ａｎａｌｙｓｉｓ［Ｄ］． Ｎａｎｊｉｎｇ： Ｎａｎｊｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ， ２００６． ［７］ＨＯＵ Ｓｈｕｄｏｎｇ， 孙权森． 稀疏保持典型相关分析及在特 征融合中的应用［ Ｊ］． 自动化学报， ２０１２， ３８（ ４）： ６５９ －６６５． ＨＯＵ Ｓｈｕｄｏｎｇ， ＳＵＮ Ｑｕａｎｓｅｎ． Ｓｐａｒｓｅ ｍａｉｎｔａｉｎｉｎｇ ｃａｎｏｎｉｃａｌ ｃｏｒｒｅｌａｔｉｏｎ ａｎａｌｙｓｉｓ ａｎｄ ｉｔｓ ａｐｐｌｉｃａｔｉｏｎ ｉｎ ｆｅａｔｕｒｅ ｆｕｓｉｏｎ［ Ｊ］． Ｊｏｕｒｎａｌ ｏｆ ａｕｔｏｍａｔｉｏｎ， ２０１２， ３８（４）： ６５９－６６５． ［８］ＬＩＵ Ｇ， ＬＩＮ Ｚ， ＹＡＮ Ｓ， ｅｔ ａｌ． Ｒｏｂｕｓｔ ｒｅｃｏｖｅｒｙ ｏｆ ｓｕｂｓｐａｃｅ ｓｔｒｕｃｔｕｒｅｓ ｂｙ ｌｏｗ⁃ｒａｎｋ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ［Ｊ］． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ， ２０１３， ３５ （１）： １７１－１８４． ［９］ＷＲＩＧＨＴ Ｊ， ＧＡＮＥＳＨ Ａ， ＲＡＯ Ｓ， ｅｔ ａｌ． Ｒｏｂｕｓｔ ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ： Ｅｘａｃｔ ｒｅｃｏｖｅｒｙ ｏｆ ｃｏｒｒｕｐｔｅｄ ｌｏｗ⁃ｒａｎｋ ｍａｔｒｉｃｅｓ ｖｉａ ｃｏｎｖｅｘ ｏｐｔｉｍｉｚａｔｉｏｎ ［ Ｃ］ ／ ／ Ａｄｖａｎｃｅｓ ｉｎ ｎｅｕｒａｌ ｉｎｆｏｒｍａｔｉｏｎ ｐｒｏｃｅｓｓｉｎｇ ｓｙｓｔｅｍｓ． Ｖａｎｃｏｕｖｅｒ， ＢＣ， Ｃａｎａｄａ， ２００９： ２０８０－２０８８． ［１０］ ＬＩＵ Ｇ， ＬＩＮ Ｚ， ＹＵ Ｙ． Ｒｏｂｕｓｔ ｓｕｂｓｐａｃｅ ｓｅｇｍｅｎｔａｔｉｏｎ ｂｙ ｌｏｗ⁃ｒａｎｋ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ［ Ｃ ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２７ｔｈ ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ （ ＩＣＭＬ⁃１０）． Ｈａｉｆａ， Ｉｓｒａｅｌ． ２０１０： ６６３－６７０． ［１１］袁运浩．多重集典型相关分析理论及在高维多表示数据 中的应用［Ｄ］． 南京：南京理工大学， ２０１３． ＹＵＡＮ Ｙｕｎｈａｏ． Ｃａｎｏｎｉｃａｌ ｃｏｒｒｅｌａｔｉｏｎ ａｎａｌｙｓｉｓ ｔｈｅｏｒｙ ｏｆ ｍｕｌｔｉｐｌｅ ｓｅｔｓ ａｎｄ ｉｔｓ ａｐｐｌｉｃａｔｉｏｎ ｉｎ ｍｕｌｔｉ⁃ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｄａｔａ ［ Ｄ］． Ｎａｎｊｉｎｇ： Ｎａｎｊｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ， ２０１３． ［１２］孙权森， 曾生根， 王平安，等． 典型相关分析的理论及 其在特征融合中的应用［ Ｊ］． 计算机学报， ２００５， ２８ （９）： １５２４－１５３３． ＳＵＮ Ｑｕａｎｓｅｎ， ＺＥＮＧ Ｓｈｅｎｇｇｅｎ， ＷＡＮＧ Ｐｉｎｇａｎ， ｅｔ ａｌ． Ｔｈｅ ｔｈｅｏｒｙ ｏｆ ｃａｎｏｎｉｃａｌ ｃｏｒｒｅｌａｔｉｏｎ ａｎａｌｙｓｉｓ ａｎｄ ｉｔｓ ａｐｐｌｉｃａｔｉｏｎ ｉｎ ｆｅａｔｕｒｅ ｆｕｓｉｏｎ［Ｊ］． Ｃｈｉｎｅｓｅ ｊｏｕｒｎａｌ ｏｆ ｃｏｍｐｕｔｅｒｓ， ２００５， ２８（９）： １５２４－１５３３． ［１３］张凡龙． 基于核范数的低秩理论与方法研究［Ｄ］． 南 京：南京理工大学，２０１５． ＺＨＡＮＧ Ｆａｎｌｏｎｇ． Ｒｅｓｅａｒｃｈ ｏｎ ｌｏｗ ｒａｎｋ ｔｈｅｏｒｙ ａｎｄ ｍｅｔｈｏｄ ｂａｓｅｄ ｏｎ ｋｅｒｎｅｌ ｎｏｒｍ［Ｄ］． Ｎａｎｊｉｎｇ： Ｎａｎｊｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，２０１５． ·４９６· 智 能 系 统 学 报 第 １２ 卷
第4期 倪怀发，等：基于低秩分解的鲁棒典型相关分析 497. [14 CANDES E J,LI X,MA Y,et al.Robust principal ZHAO Jun,ZHAO Yan,YANG Yong,et al.Facial component analysis[J].Journal of the ACM JACM), expression recognition method based on stacked 2011,58(3):11. denoisingauto-encoders and feature reduction[J].Journal [15]BAO B K,LIU G,XU C,et al.Inductive robust principal of chongqing university of posts and telecommunications: component analysis [J].IEEE transactions on image natural science edition,2016,28(6):844-848. processing,2012,21(8):3794-3800. 作者简介： [16]SHEN X B,SUN Q S,YUAN Y H.A unified multiset 倪怀发，男，1990年生，硕士研究 canonical correlation analysis framework based on graph 生，主要研究方向为模式识别理论与 embedding for multiple feature extraction[]]. 应用。 Neurocomputing,2015,148:397-408. [17 FERDINANDO S,ANDY H.Parameterisation of a stochastic model for human face identification[C// Proceedings of 2nd IEEE Workshop on Applications of Computer Vision.Sarasota FL,1994. 沈肖波，男，1989年生，博士研究 [18 BELHUMEUR P,HEPANHA J,KRIEGMAN D. 生，主要研究方向为模式识别、信息融 Eigenfaces vs.Fisherfaces:recognition using class specific 合等。 linear projection[J].IEEE transactions on pattern analysis and machine intelligence,1997,19 (7): 711-720. [19]袁宝华，王欢，任明武.基于完整LBP特征的人脸识 别[J].计算机应用研究，2012,29(4)：1557-1559. YUAN Baohua,WANG Huan,REN Mingwu.Face 孙权森，男，1963年生，教授，博士 生导师，主要研究方向为模式识别理论 recognition based on complete Ibp feature [J].Journal of 与应用、图像分析与识别。主持国家自 computer applications,2012,29(4):1557-1559. [20]何国辉，甘俊英.二维主元分析在人脸识别中的应用研 然科学基金、教育部博士点基金、江苏 究[J].计算机工程与设计，2006,27(24)：4667-4669 省自然科学基金、国防科工局民用航天 HE Guohui,GAN Junying.Application of two-dimensional 预先研究项目、国家重大专项基础关键 principal component analysis in face recognition[J]. 技术项目及其他省部级项目20余项。获得省项部级奖励5 Computer engineering and design,2006,27 (24 ) 项：获得国家发明专利3项，申请国家发明5项。发表学术 4667-4669. 论文100余篇，被SCI检索近30篇，主编著作教材4部。 「21]赵军，赵艳，杨勇，等.基于降维的堆积降噪自动编码机 的表情识别方法[J]重庆邮电大学学报：自然科学版， 2016,28(6):844-848
技术项目及其他省部级项目 ２０ 余项。获得省项部级奖励 ５ ［１４］ ＣＡＮＤÈＳ Ｅ Ｊ， ＬＩ Ｘ， ＭＡ Ｙ， ｅｔ ａｌ． Ｒｏｂｕｓｔ ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ［Ｊ］． Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ ＡＣＭ （ ＪＡＣＭ）， ２０１１， ５８（３）： １１． ［１５］ＢＡＯ Ｂ Ｋ， ＬＩＵ Ｇ， ＸＵ Ｃ， ｅｔ ａｌ． Ｉｎｄｕｃｔｉｖｅ ｒｏｂｕｓｔ ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ ［ Ｊ ］． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ， ２０１２， ２１（８）： ３７９４－３８００． ［１６］ ＳＨＥＮ Ｘ Ｂ， ＳＵＮ Ｑ Ｓ， ＹＵＡＮ Ｙ Ｈ． Ａ ｕｎｉｆｉｅｄ ｍｕｌｔｉｓｅｔ ｃａｎｏｎｉｃａｌ ｃｏｒｒｅｌａｔｉｏｎ ａｎａｌｙｓｉｓ ｆｒａｍｅｗｏｒｋ ｂａｓｅｄ ｏｎ ｇｒａｐｈ ｅｍｂｅｄｄｉｎｇ ｆｏｒ ｍｕｌｔｉｐｌｅ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ［Ｊ］． Ｎｅｕｒｏｃｏｍｐｕｔｉｎｇ， ２０１５， １４８： ３９７－４０８． ［ １７ ］ ＦＥＲＤＩＮＡＮＤＯ Ｓ， ＡＮＤＹ Ｈ． Ｐａｒａｍｅｔｅｒｉｓａｔｉｏｎ ｏｆ ａ ｓｔｏｃｈａｓｔｉｃ ｍｏｄｅｌ ｆｏｒ ｈｕｍａｎ ｆａｃｅ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ［ Ｃ ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ２ｎｄ ＩＥＥＥ Ｗｏｒｋｓｈｏｐ ｏｎ Ａｐｐｌｉｃａｔｉｏｎｓ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ． Ｓａｒａｓｏｔａ ＦＬ， １９９４． ［ １８ ］ ＢＥＬＨＵＭＥＵＲ Ｐ， ＨＥＰＡＮＨＡ Ｊ， ＫＲＩＥＧＭＡＮ Ｄ． Ｅｉｇｅｎｆａｃｅｓ ｖｓ． Ｆｉｓｈｅｒｆａｃｅｓ： ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ ｃｌａｓｓ ｓｐｅｃｉｆｉｃ ｌｉｎｅａｒ ｐｒｏｊｅｃｔｉｏｎ［Ｊ］． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ， １９９７， １９ （ ７ ）： ７１１－７２０． ［１９］袁宝华， 王欢， 任明武． 基于完整 ＬＢＰ 特征的人脸识 别［Ｊ］． 计算机应用研究， ２０１２， ２９（４）： １５５７－１５５９． ＹＵＡＮ Ｂａｏｈｕａ， ＷＡＮＧ Ｈｕａｎ， ＲＥＮ Ｍｉｎｇｗｕ． Ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ｂａｓｅｄ ｏｎ ｃｏｍｐｌｅｔｅ ｌｂｐ ｆｅａｔｕｒｅ ［Ｊ］． Ｊｏｕｒｎａｌ ｏｆ ｃｏｍｐｕｔｅｒ ａｐｐｌｉｃａｔｉｏｎｓ， ２０１２， ２９（４）： １５５７－１５５９． ［２０］何国辉， 甘俊英． 二维主元分析在人脸识别中的应用研 究［Ｊ］． 计算机工程与设计， ２００６， ２７（２４）： ４６６７－４６６９． ＨＥ Ｇｕｏｈｕｉ， ＧＡＮ Ｊｕｎｙｉｎｇ． Ａｐｐｌｉｃａｔｉｏｎ ｏｆ ｔｗｏ⁃ｄｉｍｅｎｓｉｏｎａｌ ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ ｉｎ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ［Ｊ］． ４６６７－４６６９． 的表情识别方法［ Ｊ］．重庆邮电大学学报：自然科学版， ２０１６， ２８（６）： ８４４－８４８． ＺＨＡＯ Ｊｕｎ， ＺＨＡＯ Ｙａｎ， ＹＡＮＧ Ｙｏｎｇ， ｅｔ ａｌ． Ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｍｅｔｈｏｄ ｂａｓｅｄ ｏｎ ｓｔａｃｋｅｄ ｄｅｎｏｉｓｉｎｇａｕｔｏ⁃ｅｎｃｏｄｅｒｓ ａｎｄ ｆｅａｔｕｒｅ ｒｅｄｕｃｔｉｏｎ ［ Ｊ］． Ｊｏｕｒｎａｌ ｏｆ ｃｈｏｎｇｑｉｎｇ ｕｎｉｖｅｒｓｉｔｙ ｏｆ ｐｏｓｔｓ ａｎｄ ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ： ｎａｔｕｒａｌ ｓｃｉｅｎｃｅ ｅｄｉｔｉｏｎ， ２０１６， ２８（６）： ８４４－８４８． 作者简介： 倪怀发，男， １９９０ 年生，硕士研究 生，主要研究方向为模式识别理论与 应用。 沈肖波，男，１９８９ 年生，博士研究 生，主要研究方向为模式识别、信息融 合等。 孙权森，男，１９６３ 年生，教授，博士 生导师，主要研究方向为模式识别理论 与应用、图像分析与识别。 主持国家自 然科学基金、教育部博士点基金、江苏 省自然科学基金、国防科工局民用航天 预先研究项目、国家重大专项基础关键 Ｃｏｍｐｕｔｅｒ ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ ｄｅｓｉｇｎ， ２００６， ２７ （ ２４ ） ： ４９７· ［２１］赵军，赵艳，杨勇，等． 基于降维的堆积降噪自动编码机 第 ４ 期 倪怀发，等：基于低秩分解的鲁棒典型相关分析 · 项；获得国家发明专利 ３ 项，申请国家发明５项。 发表学术 论文 １００ 余篇，被 ＳＣＩ 检索近 ３０ 篇，主编著作教材4部