第14卷第5期 智能系统学报 Vol.14 No.5 2019年9月 CAAI Transactions on Intelligent Systems Sep.2019 D0:10.11992/tis.201808007 网络出版地址：http:/kns.cnki.net/kcms/detail/23.1538.TP.20181223.1553.002.html 面向局部线性回归分类器的判别分析方法 朱换荣，郑智超，孙怀江 (南京理工大学计算机科学与工程学院，江苏南京210094) 摘要：局部线性回归分类器(locality-regularized linear regression classification,.LLRC)在人脸识别上表现出了高 识别率以及高效性的特点，然而原始特征空间并不能保证LLRC的效率。为了提高LLRC的性能，提出了一种 与LLRC相联系的新的降维方法，即面向局部线性回归分类器的判别分析方法(locality-regularized linear regres- sion classification based discriminant analysis,LLRC-DA)。LLRC-DA根据LLRC的决策准则设计目标函数，通过最 大化类间局部重构误差并最小化类内局部重构误差来寻找最优的特征子空间。此外，LLRC-DA通过对投影矩 阵添加正交约束来消除冗余信息。为了有效地求解投影矩阵，利用优化变量之间的关系，提出了一种新的迹比 优化算法。因此LLRC-DA非常适用于LLRC。在FERET和ORL人脸库上进行了实验，实验结果表明LLRC DA比现有方法更具有优越性。 关键词：局部线性回归分类器：维数约简；正交投影；迹比问题；人脸识别；特征提取；判别分析；线性回归分 类器 中图分类号：TP391文献标志码：A文章编号：1673-4785(2019)05-0959-07 中文引用格式：朱换荣，郑智超，孙怀江.面向局部线性回归分类器的判别分析方法.智能系统学报，2019,14(5)： 959-965. 英文引用格式：ZHU Huanrong,ZHENG Zhichao,SUN Huaijiang.Locality-regularized linear regression classification-based dis- criminant analysis JI.CAAI transactions on intelligent systems,2019,14(5):959-965. Locality-regularized linear regression classification-based discriminant analysis ZHU Huanrong,ZHENG Zhichao,SUN Huaijiang (College of Computer Science and Technology,Nanjing University of Science and Technology,Nanjing 210094,China) Abstract:Locality-regularized linear regression classification (LLRC)based face recognition achieves high accuracy and high efficiency.However,the original feature space cannot guarantee the efficiency of LLRC.To improve the per- formance of LLRC,this study proposes a new dimensionality reduction method called locality-regularized linear regres- sion classification-based discriminant analysis (LLRC-DA).which is directly associated with LLRC.The objective func- tion of LLRC-DA is designed according to the classification rule of LLRC.In LLRC.interclass local reconstruction er- rors are maximized and simultaneously,intraclass local reconstruction errors are minimized to identify the optimal fea- ture subspace.In addition,LLRC-DA eliminates redundant information using an orthogonal constraint,imposed on the projection matrix.To effectively obtain the solutions of the projection matrix,we exploit the relationship between op- timal variables and propose a new trace ratio optimization method.Hence,LLRC-DA suits LLRC well.Extensive exper- imental results obtained from the FERET and ORL face databases demonstrate the superiority of the proposed method than state-of-the-art methods. Keywords:locality-regularized linear regression classification;dimensionality reduction;orthogonal projections,trace ratio problem:face recognition:feature extraction:discriminant analysis:linear regression classification 收稿日期：2018-08-09.网络出版日期：2018-12-26 基金项目：国家自然科学基金项目(61772272). 维数约简是帮助我们理解数据特征结构的有 通信作者：朱换荣.E-mail:zhuhuanrong@foxmail.com 效工具，被广泛地应用于人脸识别到、图像检
DOI: 10.11992/tis.201808007 网络出版地址: http://kns.cnki.net/kcms/detail/23.1538.TP.20181223.1553.002.html 面向局部线性回归分类器的判别分析方法 朱换荣，郑智超，孙怀江 （南京理工大学 计算机科学与工程学院，江苏 南京 210094） 摘 要：局部线性回归分类器 (locality-regularized linear regression classification，LLRC) 在人脸识别上表现出了高 识别率以及高效性的特点，然而原始特征空间并不能保证 LLRC 的效率。为了提高 LLRC 的性能，提出了一种 与 LLRC 相联系的新的降维方法，即面向局部线性回归分类器的判别分析方法 (locality-regularized linear regression classification based discriminant analysis，LLRC-DA)。LLRC-DA 根据 LLRC 的决策准则设计目标函数，通过最 大化类间局部重构误差并最小化类内局部重构误差来寻找最优的特征子空间。此外，LLRC-DA 通过对投影矩 阵添加正交约束来消除冗余信息。为了有效地求解投影矩阵，利用优化变量之间的关系，提出了一种新的迹比 优化算法。因此 LLRC-DA 非常适用于 LLRC。在 FERET 和 ORL 人脸库上进行了实验，实验结果表明 LLRCDA 比现有方法更具有优越性。 关键词：局部线性回归分类器；维数约简；正交投影；迹比问题；人脸识别；特征提取；判别分析；线性回归分 类器 中图分类号：TP391 文献标志码：A 文章编号：1673−4785(2019)05−0959−07 中文引用格式：朱换荣, 郑智超, 孙怀江. 面向局部线性回归分类器的判别分析方法 [J]. 智能系统学报, 2019, 14(5): 959–965. 英文引用格式：ZHU Huanrong, ZHENG Zhichao, SUN Huaijiang. Locality-regularized linear regression classification-based discriminant analysis[J]. CAAI transactions on intelligent systems, 2019, 14(5): 959–965. Locality-regularized linear regression classification-based discriminant analysis ZHU Huanrong，ZHENG Zhichao，SUN Huaijiang (College of Computer Science and Technology, Nanjing University of Science and Technology, Nanjing 210094, China) Abstract: Locality-regularized linear regression classification (LLRC) based face recognition achieves high accuracy and high efficiency. However, the original feature space cannot guarantee the efficiency of LLRC. To improve the performance of LLRC, this study proposes a new dimensionality reduction method called locality-regularized linear regression classification-based discriminant analysis (LLRC-DA), which is directly associated with LLRC. The objective function of LLRC-DA is designed according to the classification rule of LLRC. In LLRC, interclass local reconstruction errors are maximized and simultaneously, intraclass local reconstruction errors are minimized to identify the optimal feature subspace. In addition, LLRC-DA eliminates redundant information using an orthogonal constraint, imposed on the projection matrix. To effectively obtain the solutions of the projection matrix, we exploit the relationship between optimal variables and propose a new trace ratio optimization method. Hence, LLRC-DA suits LLRC well. Extensive experimental results obtained from the FERET and ORL face databases demonstrate the superiority of the proposed method than state-of-the-art methods. Keywords: locality-regularized linear regression classification; dimensionality reduction; orthogonal projections; trace ratio problem; face recognition; feature extraction; discriminant analysis; linear regression classification 维数约简是帮助我们理解数据特征结构的有 效工具，被广泛地应用于人脸识别[ 1 - 3 ] 、图像检 收稿日期：2018−08−09. 网络出版日期：2018−12−26. 基金项目：国家自然科学基金项目 (61772272). 通信作者：朱换荣. E-mail：zhuhuanrong@foxmail.com. 第 14 卷第 5 期 智 能 系 统 学 报 Vol.14 No.5 2019 年 9 月 CAAI Transactions on Intelligent Systems Sep. 2019
·960· 智能系统学报 第14卷 索、指纹认证s-刀、生物信息学、数据挖据0山 ity-regularized linear regression classification, 等。维数约简的目标是减少冗余、不相关的信息 LLRC),将流形学习系统嵌入到LRC中，使用流 和噪声，同时保留数据的潜在结构和本征信息。 形学习来扩展传统的LRC,从而提高分类精度。 文献[12]显示，虽然随着样本维数的增加，分类 为了防止过高的维数影响LLRC的分类性能 器的性能会逐步上升，但是过高的维数却会使分 并且保留数据的潜在结构，所以在使用原始数据 类器的性能急剧下降，甚至造成“维数灾难”问 时先进行降维处理。大多数的降维方法独立于分 题。因此，维数约简对于分类具有重要的意义。 类器的决策准则，因此分类器往往不能有效地利 在过去的几十年中，针对维数约简问题出现了各 用学习到的特征子空间。为了更好地将维数约简 种不同的解决方案和算法，其中主成分分析 与特定的分类器相联系，根据分类器的决策准则 (principal component analysis,PCA)和线性判别分 来设计维数约简算法是很有必要的。于是， 析(linear discriminant analysis,LDA)是最具代表 Huang等9根据LLRC的决策准则提出了局部线 性的两个线性降维算法。PCA的思想是最大化 性回归判别分析(locality-regularized linear regres- 投影空间中样本之间的差异。LDA的目标是找 sion discriminant analysis,.LLRDA)。LLRDA根据 到一组投影轴，使得在投影空间中同类样本尽可 LLRC的决策准则分别定义了类内局部重构误差 能靠近，而不同类样本尽可能分开。LDA是一种 和类间局部重构误差，然后使用最大特征值分解 监督算法，充分利用了样本的类别信息来发现数 方法求解一个迹比问题以得到最优解。然而，在 据的特征结构，因此在维数约简方面通常比 LLRDA算法中，线性回归系数在原始空间进行计 PCA更加有效，但是LDA不能很好地处理非线性 分类问题。流形学习(manifold learning)是一种 算并且假定系数恒定，但是实际上回归系数与投 非线性的维数约简方法。流形算法的主要思想是 影矩阵是相关的，不是独立的，在求解目标函数 的过程中投影矩阵的改变会对回归系数产生影 学习高维空间中样本的局部邻域结构，并寻找能 够保留这种流形结构的子空间，使得样本投影到 响，所以不能假定系数恒定。另外，LLRDA的目 子空间后有着较好的局部近邻关系。其中局部保 标函数是一个迹比问题，但是为了便于处理， 持投影(locality preserving projections,.LPP)就是 LLRDA将迹比问题隐式地转换成了比迹问题，并 最常见的流形学习算法之一。LPP方法得到的投 用最大特征值分解方法进行求解，因而得到的结 影矩阵，可以使样本在投影之后保留邻域结构。 果会与原来的目标函数存在偏差。 近年来，基于表示的分类方法引起了人们的 为了克服LLRDA的缺点，本文提出了面向 广泛关注，稀疏表示分类器I(sparse representation 局部线性回归分类器的判别分析方法(locality-. based classification,SRC)是最具代表性的基于表 regularized linear regression classification based dis- 示的分类方法之一。SRC中测试样本用训练样本 criminant analysis,LLRC-DA)。LLRC-DA根据 的稀疏线性组合来表示，然后计算测试样本与每 LLRC的决策准则设计目标函数，通过最大化类 类样本之间的重构误差，最终将测试样本分类到 间局部重构误差并最小化类内局部重构误差来寻 重构误差最小的类别。SRC表现出了良好的分类 找最优的特征子空间。在求解目标函数的过程 性能，但是由于SRC计算稀疏表示系数需要求解 中，本文利用投影矩阵与线性回归系数之间的关 山范数，所以花费的时间较多。而线性回归分类 系，使用解析解表示线性回归系数，从而消除了 器(linear regression classification,LRC)则很好地 回归系数对求解投影矩阵产生的影响。另外，在 避免了这一问题。LRC假设同一类的样本处于 求解目标函数过程中使用了一种新的迹比优化方 相同的线性子空间中。因此LRC分别计算测试 法，直接解决迹比问题而不是使用广义特征值分 样本在不同类的子空间中的投影，然后通过计算 解的方法近似求解。文献[20]的研究显示，直接 最小重构误差来判别测试样本的类别。LRC利 解决迹比问题是可行的并且比使用广义特征值分 用最小二乘法估算回归系数，所以LRC是一个简 解效果更好。在本文提出的方法中，使用了正交 单而有效的分类方法。然而，在许多现实应用中， 投影来消除冗余信息，提高性能。本文在FER- 样本通常表现出局部线性，而不是全局线性。于 ET、ORL人脸库上进行了实验，实验结果验证了 是Brown等Is提出了局部线性回归分类器(Ioca- 算法的有效性
索 [4-5] 、指纹认证[6-7] 、生物信息学[8-9] 、数据挖掘[10-11] 等。维数约简的目标是减少冗余、不相关的信息 和噪声，同时保留数据的潜在结构和本征信息。 文献 [12] 显示，虽然随着样本维数的增加，分类 器的性能会逐步上升，但是过高的维数却会使分 类器的性能急剧下降，甚至造成“维数灾难”问 题。因此，维数约简对于分类具有重要的意义。 在过去的几十年中，针对维数约简问题出现了各 种不同的解决方案和算法，其中主成分分析[ 1 3 ] (principal component analysis，PCA) 和线性判别分 析 [14] (linear discriminant analysis，LDA) 是最具代表 性的两个线性降维算法。PCA 的思想是最大化 投影空间中样本之间的差异。LDA 的目标是找 到一组投影轴，使得在投影空间中同类样本尽可 能靠近，而不同类样本尽可能分开。LDA 是一种 监督算法，充分利用了样本的类别信息来发现数 据的特征结构，因此在维数约简方面通常 比 PCA 更加有效，但是 LDA 不能很好地处理非线性 分类问题。流形学习[15] (manifold learning) 是一种 非线性的维数约简方法。流形算法的主要思想是 学习高维空间中样本的局部邻域结构，并寻找能 够保留这种流形结构的子空间，使得样本投影到 子空间后有着较好的局部近邻关系。其中局部保 持投影[15] (locality preserving projections，LPP) 就是 最常见的流形学习算法之一。LPP 方法得到的投 影矩阵，可以使样本在投影之后保留邻域结构。 l1 近年来，基于表示的分类方法引起了人们的 广泛关注，稀疏表示分类器[16] (sparse representation based classification，SRC) 是最具代表性的基于表 示的分类方法之一。SRC 中测试样本用训练样本 的稀疏线性组合来表示，然后计算测试样本与每 类样本之间的重构误差，最终将测试样本分类到 重构误差最小的类别。SRC 表现出了良好的分类 性能，但是由于 SRC 计算稀疏表示系数需要求解 范数，所以花费的时间较多。而线性回归分类 器 [17] (linear regression classification，LRC) 则很好地 避免了这一问题。LRC 假设同一类的样本处于 相同的线性子空间中。因此 LRC 分别计算测试 样本在不同类的子空间中的投影，然后通过计算 最小重构误差来判别测试样本的类别。LRC 利 用最小二乘法估算回归系数，所以 LRC 是一个简 单而有效的分类方法。然而，在许多现实应用中， 样本通常表现出局部线性，而不是全局线性。于 是 Brown 等 [18] 提出了局部线性回归分类器 (locality-regularized linear regression classification， LLRC)，将流形学习系统嵌入到 LRC 中，使用流 形学习来扩展传统的 LRC，从而提高分类精度。 为了防止过高的维数影响 LLRC 的分类性能 并且保留数据的潜在结构，所以在使用原始数据 时先进行降维处理。大多数的降维方法独立于分 类器的决策准则，因此分类器往往不能有效地利 用学习到的特征子空间。为了更好地将维数约简 与特定的分类器相联系，根据分类器的决策准则 来设计维数约简算法是很有必要的。于是， Huang 等 [19] 根据 LLRC 的决策准则提出了局部线 性回归判别分析 (locality-regularized linear regression discriminant analysis，LLRDA)。LLRDA 根据 LLRC 的决策准则分别定义了类内局部重构误差 和类间局部重构误差，然后使用最大特征值分解 方法求解一个迹比问题以得到最优解。然而，在 LLRDA 算法中，线性回归系数在原始空间进行计 算并且假定系数恒定，但是实际上回归系数与投 影矩阵是相关的，不是独立的，在求解目标函数 的过程中投影矩阵的改变会对回归系数产生影 响，所以不能假定系数恒定。另外，LLRDA 的目 标函数是一个迹比问题，但是为了便于处理， LLRDA 将迹比问题隐式地转换成了比迹问题，并 用最大特征值分解方法进行求解，因而得到的结 果会与原来的目标函数存在偏差。 为了克服 LLRDA 的缺点，本文提出了面向 局部线性回归分类器的判别分析方法 (localityregularized linear regression classification based discriminant analysis，LLRC-DA)。LLRC-DA 根据 LLRC 的决策准则设计目标函数，通过最大化类 间局部重构误差并最小化类内局部重构误差来寻 找最优的特征子空间。在求解目标函数的过程 中，本文利用投影矩阵与线性回归系数之间的关 系，使用解析解表示线性回归系数，从而消除了 回归系数对求解投影矩阵产生的影响。另外，在 求解目标函数过程中使用了一种新的迹比优化方 法，直接解决迹比问题而不是使用广义特征值分 解的方法近似求解。文献 [20] 的研究显示，直接 解决迹比问题是可行的并且比使用广义特征值分 解效果更好。在本文提出的方法中，使用了正交 投影来消除冗余信息，提高性能。本文在 FERET、ORL 人脸库上进行了实验，实验结果验证了 算法的有效性。 ·960· 智 能 系 统 学 报 第 14 卷
第5期 朱换荣，等：面向局部线性回归分类器的判别分析方法 ·961· 1局部线性回归分类器 22以- 假设有n个训练样本，共有C类，其中第i类 有m个训练样本，所以总共有∑，=n个样本。训 日Σ2以--片 练样本矩阵为X=[XX2…Xc]eRwm,其中第i类 训练样本矩阵为X=[xx…x]∈R,i=1,2,…, 日∑立-Aa-A例 C,W表示样本维数。对于一个测试样本y∈R1, 可以通过k-最近邻算法计算出其在第i类训练样 日2立A-e-R4a 本X,中的局部线性子集=[xx…x]∈Rx,在 (5) k-最近邻算法中，通常使用欧氏距离作为距离度 量方法，则y的线性表示记作： 式中：22任-6-例是类内的 y=XB (1) 部重构散列矩阵；是通过k-最近邻算法计算出 式中：B∈Rx1表示第i类样本的线性回归系数，， 的x在第i类训练样本X:中的局部线性子集； 可以使用最小二乘估计来计算： 表示x用第i类样本的局部线性子集表示时 的线性回归系数。 B=()y (2) 同样地，在特征子空间中，可以计算类间局部 根据线性回归系数B,测试样本y在第i类 重构误差，即 样本上的线性重构可以表示为 =()y (3) 22∑以- =1j户me(x) 根据LLRC的假设，如果重构样本：和测试 样本y的距离最近，则y应该属于第i类，所以 15 tr nK ∑-- LLRC的决策准则为 1()=miny (4) 22名-- 2LLRC-DA算法 t(ATS,A) (6) 2.1LLRC-DA提出 LLRC-DA的目标是将样本投影到一个特征 式中：s=底2∑化-风)-刷 i=1 j=1 mEl 子空间，使得类内局部重构误差最小，同时类间 是类间局部重构散列矩阵；(x表示与x欧氏距 局部重构误差最大。用A∈R(d<N)表示优化 离最近的K个类，其中不包括第i类，即i(x), 投影矩阵，原始空间中的训练样本矩阵X∈Rm 而mel(x)则表示第m类是x的K近邻类； 投影到d维子空间为Y=ATX∈R",即每个训练 是通过k-最近邻算法计算出的x在第m类训练 样本xeRN投影为y=ATxER4,其中x表示第i 样本X.中的局部线性子集；表示x用第m类 类的第广个训练样本。线性回归系数B是通过 样本的局部线性子集表示时的线性回归系数。 式(2)来计算得到的。 为了使LLRC-DA表现出更好的性能，本文使 从式(4)可以看出，如果用第i类训练样本 用正交投影，即ATA=I。因为投影矩阵是正交 的局部线性子集来表示，可以得到最小的重构误 的，所以可以消除大量的冗余信息，得到更简洁 差，则y可以被LLRC正确分类，所以本文希望 的特征子空间。在特征子空间最小化类内局部重 找到一个特征子空间，在这个子空间中，y用第i 构误差同时最大化类间局部重构误差，可以得到 类训练样本表示时的局部重构误差尽可能地小， 以下目标函数： 而用其他类训练样本表示时的局部重构误差尽可 r(AS.A) 能地大。为了达到这样的目标，本文定义了类内 A'=argmin- A tr(ATSA) S.t.ATA=I (7) 局部重构误差和类间局部重构误差。其中，类内 2.2LLRC-DA优化 局部重构误差为 LLRC-DA是一个迹比最小化问题，通常此类
1 局部线性回归分类器 n C i ni ∑C i=1 ni = n X = [X1 X2 ···XC] ∈ R N×n i Xi = [ x 1 i x 2 i ··· x ni i ] ∈ R N×ni i = 1,2,··· , C N y ∈ R N×1 k i Xi X˜ i = [ x 1 i x 2 i ··· x k i ] ∈R N×k k y 假设有 个训练样本，共有 类，其中第 类 有 个训练样本，所以总共有 个样本。训 练样本矩阵为 ，其中第 类 训练样本矩阵为 ， ， 表示样本维数。对于一个测试样本 ， 可以通过 -最近邻算法计算出其在第 类训练样 本 中的局部线性子集 ，在 -最近邻算法中，通常使用欧氏距离作为距离度 量方法，则 的线性表示记作： y = X˜ iβ˜ i (1) β˜ i ∈ R k×1 i β˜ 式中： 表示第 类样本的线性回归系数， i 可以使用最小二乘估计来计算： β˜ i = ( X˜ T i X˜ i )−1 X˜ T i y (2) β˜ 根据线性回归系数 i，测试样本 y 在第 i 类 样本上的线性重构可以表示为 yˆi = X˜ i ( X˜ T i X˜ i )−1 X˜ T i y (3) yˆi y y i 根据 LLRC 的假设，如果重构样本 和测试 样本 的距离最近，则 应该属于第 类，所以 LLRC 的决策准则为 l(y) = min i y− X˜ i ( X˜ T i X˜ i )−1 X˜ T i y 2 2 (4) 2 LLRC-DA 算法 2.1 LLRC-DA 提出 A ∈ R N×d (d < N) X ∈ R N×n d Y = A TX ∈ R d×n x j i ∈ R N y j i = A T x j i ∈ R d x j i i j β˜ LLRC-DA 的目标是将样本投影到一个特征 子空间，使得类内局部重构误差最小，同时类间 局部重构误差最大。用 表示优化 投影矩阵，原始空间中的训练样本矩阵 投影到 维子空间为 ，即每个训练 样本 投影为 ，其中 表示第 类的第 个训练样本。线性回归系数 是通过 式 (2) 来计算得到的。 y j i i y j i y j i i 从式 (4) 可以看出，如果 用第 类训练样本 的局部线性子集来表示，可以得到最小的重构误 差，则 可以被 LLRC 正确分类，所以本文希望 找到一个特征子空间，在这个子空间中， 用第 类训练样本表示时的局部重构误差尽可能地小， 而用其他类训练样本表示时的局部重构误差尽可 能地大。为了达到这样的目标，本文定义了类内 局部重构误差和类间局部重构误差。其中，类内 局部重构误差为 1 n ∑C i=1 ∑ni j=1 y j i −Y˜ j i β˜ j i 2 2 = tr 1 n ∑C i=1 ∑ni j=1 ( y j i −Y˜ j i β˜ j i ) (y j i −Y˜ j i β˜ j i )T = tr 1 n ∑C i=1 ∑ni j=1 ( A T x j i − A TX˜ j i β˜ j i ) (A T x j i − A TX˜ j i β˜ j i )T = tr 1 n ∑C i=1 ∑ni j=1 A T ( x j i − X˜ j i β˜ j i ) (x j i − X˜ j i β˜ j i )T A = tr( A TSw A ) (5) Sw= 1 n ∑C i=1 ∑ni j=1 ( x j i − X˜ j i β˜ j i ) (x j i − X˜ j i β˜ j i )T X˜ j i k x j i i Xi β˜ j i x j i i X˜ j i 式中： 是类内局 部重构散列矩阵； 是通过 -最近邻算法计算出 的 在第 类训练样本 中的局部线性子集； 表示 用第 类样本的局部线性子集 表示时 的线性回归系数。 同样地，在特征子空间中，可以计算类间局部 重构误差，即 1 nK ∑C i=1 ∑ni j=1 ∑ m∈l(x j i) y j i −Y˜ j imβ˜ j im 2 2 = tr 1 nK ∑C i=1 ∑ni j=1 ∑ m∈l(x j i) ( y j i −Y˜ j imβ˜ j im) (y j i −Y˜ j imβ˜ j im)T = tr 1 nK ∑C i=1 ∑ni j=1 ∑ m∈l(x j i) A T ( x j i − X˜ j imβ˜ j im) (x j i − X˜ j imβ˜ j im)T A = tr( A TSbA ) (6) Sb = 1 nK ∑C i=1 ∑ni j=1 ∑ m∈l(x j i) ( x j i − X˜ j imβ˜ j im) (x j i − X˜ j imβ˜ j im)T l(x j i ) x j i K i i < l(x j i ) m ∈ l(x j i ) m x j i K X˜ j im k x j i m Xm β˜ j im x j i m X˜ j im 式中： 是类间局部重构散列矩阵； 表示与 欧氏距 离最近的 个类，其中不包括第 类，即 ， 而 则表示第 类是 的 近邻类； 是通过 -最近邻算法计算出的 在第 类训练 样本 中的局部线性子集； 表示 用第 类 样本的局部线性子集 表示时的线性回归系数。 A TA = I 为了使 LLRC-DA 表现出更好的性能，本文使 用正交投影，即 。因为投影矩阵是正交 的，所以可以消除大量的冗余信息，得到更简洁 的特征子空间。在特征子空间最小化类内局部重 构误差同时最大化类间局部重构误差，可以得到 以下目标函数： A ∗ = argmin A tr( A TSw A ) tr(ATSbA) s.t. A TA = I (7) 2.2 LLRC-DA 优化 LLRC-DA 是一个迹比最小化问题，通常此类 第 5 期 朱换荣，等：面向局部线性回归分类器的判别分析方法 ·961·
·962· 智能系统学报 第14卷 问题可以使用广义特征值分解的方法近似求解。 其中： 最近的研究显示2，直接解决迹比问题是可行的 J(A)=(Ar(x-(g-刚A） 并且比使用广义特征值分解效果更好。 假设目标函数存在一个最小值P,当投影矩 (A)=t(AT(B)(BA) 阵为A:时可以达到这个最小值，因此对于满足 因为目标函数要在正交约束条件下进行求 式(7的任意投影矩阵A,有以下关系： 解，所以首先要对其进行求导。J(A)对A求导得 tr(ATS.A ≥p (8) tr(ATS,A) 2222多 dA 因此可以得到 (14) tr(AS.A-ptr(ATSA)≥0 (9) 对于每一个x,可以计算”(A)的导数，为 为了优化目标函数，本文定义以下函数： 了方便表示，用x来替代x,用来替代： f(p)=mintr(ATS.A-pATSA) (10) dJ(A)=(2xxT+6GG+R+R--)A (15) 式中f(p)具有引理1中的属性，已经在文献[21- dA 式中：G=AAT)AATx,R=2x-G)G, 22]中得到证明。 引理11)f是关于p的一个非增函数；2)当 H=4GxF。 p=p时，f(p)=0。 同样地，可以计算(A)的导数，为了方便 由上述f(p)的属性可知，f是关于p的一个 表示，用x来替代x,用来替代： 非增函数。对于函数f(p),当p为负数或者较小 (A)=(2xx+6GGT+R+R"-)A (16) dA 的正数时，f(p)>0;当p为较大的正数时， 式中：G=AAT)AAx,R=2x-G)G, f(p)<0,所以p一定存在，因此可以通过交替迭 代更新得到p和相对应的A'。 H=4GxF。 首先保持p不变并更新A,然后保持A不变 求完导数之后，定义一个斜对称矩阵M: 并更新P。LLRDA中线性回归系数B在更新A M-A-AAY dA (17) 之前进行计算，并且在接下来的计算过程中固定 然后，可以通过Crank-Nicolson-like方法，得 不变。但是实际上B与A是相关的，不是独立 到更新后的投影矩阵Aewo 的，B的更新会对A产生影响。为了解决这个问 题，利用与A之间的关系，使用解析解形式： Aw=A-5MA+An） (18) 式中：τ表示步长，可以通过解析解的形式得到 B-XAAXXAAY (11) A=+5M(-5M4,I是单位矩阵，通过这 来消除B的影响。 种方法求得的Ae有很好的特性2)，即AAem= 1)固定A,更新p AA. 对于一个给定的p,用A(p)表示式(10)的 通过前面对LLRC-DA的描述，可以得到 解。固定A,对p进行求导： LLRC-DA的算法： f(p)=-t(A(p)"S.A(p)) (12) 输入训练样本矩阵X,特征子空间维数d, fp得到目 己知A(p,可以通过pe=p-nfO 最近邻个数k,最近邻类K,最大选代次数t、2, 标函数的根，其中表示步长。 步长、T; 2)固定P,更新A 输出投影矩阵ARc-DAo 存在约束条件ATA=I的情况下，可以通过 1)如果原始样本的维数大于样本总数，先使 求解下面问题来求解A。 用PCA方法将原始样本投影到低维子空间，其中 minJ(A)=mintr(ATS.A-pATS,A)= ACA是使用PCA得到的投影矩阵： 2)固定P,对于每个样本，计算它在每个类中 min((ATS.A)-ptr(ATS,A))= 的k个最近邻，使用A=+M-5M）A 2w发22名 来更新A,直到收敛或者达到迭代次数t; n台 3)固定A,对于每个样本，计算它在每个类中 s.t.ATA=I ,fp来更新po 的k个最近邻，使用P=p-小fO
问题可以使用广义特征值分解的方法近似求解。 最近的研究显示[20] ，直接解决迹比问题是可行的 并且比使用广义特征值分解效果更好。 ρ ∗ A ∗ A 假设目标函数存在一个最小值 ，当投影矩 阵为 时可以达到这个最小值，因此对于满足 式 (7) 的任意投影矩阵 ，有以下关系： tr( A TSw A ) tr(ATSbA) ⩾ ρ ∗ (8) 因此可以得到 tr( A TSw A ) −ρ ∗ tr(A TSbA) ⩾ 0 (9) 为了优化目标函数，本文定义以下函数： f(ρ) = min A tr( A TSw A−ρA TSbA ) (10) 式中 f(ρ) 具有引理 1 中的属性，已经在文献 [21- 22] 中得到证明。 f ρ ρ=ρ ∗ f(ρ) = 0 引理 1 1) 是关于 的一个非增函数；2) 当 时， 。 f(ρ) f ρ f(ρ) ρ f(ρ) > 0 ρ f(ρ) < 0 ρ ∗ ρ ∗ A ∗ 由上述 的属性可知， 是关于 的一个 非增函数。对于函数 ，当 为负数或者较小 的正数时， ； 当 为较大的正数时， ，所以 一定存在，因此可以通过交替迭 代更新得到 和相对应的 。 ρ A A ρ β˜ A β˜ A β˜ A β˜ A 首先保持 不变并更新 ，然后保持 不变 并更新 。LLRDA 中线性回归系数 在更新 之前进行计算，并且在接下来的计算过程中固定 不变。但是实际上 与 是相关的，不是独立 的， 的更新会对 产生影响。为了解决这个问 题，利用 与 之间的关系，使用解析解形式： β˜ = ( X˜ T i AATX˜ i )−1 X˜ T i AAT y (11) 来消除 β˜ 的影响。 1) 固定 A ，更新 ρ ρ A(ρ) A ρ 对于一个给定的 ，用 表示式 (10) 的 解。固定 ，对 进行求导： f ′ (ρ) = −tr( A(ρ) T SbA(ρ) ) (12) A(ρ) ρnew = ρ−η1 f(ρ) f ′ (ρ) η1 已知 ，可以通过 得到目 标函数的根，其中 表示步长。 2) 固定 ρ ，更新 A A TA = I A 存在约束条件 的情况下，可以通过 求解下面问题来求解 。 min A J(A) = min A tr( A TSw A−ρA TSbA ) = min A ( tr( A TSw A ) −ρtr( A TSbA )) = min A 1 n ∑C i=1 ∑ni j=1 J j (w) i (A)− ρ nK ∑C i=1 ∑ni j=1 ∑ m∈l(x j i) J j (b) im (A) s.t. A TA = I (13) 其中： J j (w) i (A) = tr( A T ( x j i − X˜ j i β˜ j i ) (x j i − X˜ j i β˜ j i )T A ) J j (b) im (A) = tr( A T ( x j i − X˜ j imβ˜ j im) (x j i − X˜ j imβ˜ j im)T A ) J(A) A 因为目标函数要在正交约束条件下进行求 解，所以首先要对其进行求导。 对 求导得 dJ(A) dA = 1 n ∑C i=1 ∑ni j=1 dJ j (w) i (A) dA − ρ nK ∑C i=1 ∑ni j=1 ∑ m∈l(x j i) dJ j (b) im (A) dA (14) x j i J j (w) i (A) x x j i X˜ X˜ j i 对于每一个 ，可以计算 的导数，为 了方便表示，用 来替代 ，用 来替代 ： dJ j (w) i (A) dA = (2xxT +6GGT+R+ R T − H − H T )A (15) G = X˜ ( X˜ TAATX˜ )−1 X˜ TAAT x R = 2(x−G)G T H = 4GxT 式中： ， ， 。 J j (b) im (A) x x j i X˜ X˜ j im 同样地，可以计算 的导数，为了方便 表示，用 来替代 ，用 来替代 ： dJ j (b) im (A) dA = (2xxT +6GGT+R+ R T − H − H T )A (16) G = X˜ ( X˜ TAATX˜ )−1 X˜ TAAT x R = 2(x−G)G T H = 4GxT 式中： ， ， 。 求完导数之后，定义一个斜对称矩阵 M： M = dJ(A) dA A T − A( dJ(A) dA ) T (17) Anew 然后，可以通过 Crank-Nicolson-like 方法，得 到更新后的投影矩阵 。 Anew = A− τ 2 M(A+ Anew) (18) τ Anew = ( I+ τ 2 M )−1 ( I− τ 2 M ) A I Anew A T new Anew = A TA 式中： 表示步长，可以通过解析解的形式得到 ， 是单位矩阵，通过这 种方法求得的 有很好的特性[23] ，即 。 通过前面对 LLRC-DA 的描述，可以得到 LLRC-DA 的算法： X d k K t1 t2 η1 τ 输入 训练样本矩阵 ，特征子空间维数 ， 最近邻个数 ，最近邻类 ，最大迭代次数 、 ， 步长 、 ； 输出 投影矩阵 ALLRC−DA。 APCA 1) 如果原始样本的维数大于样本总数，先使 用 PCA 方法将原始样本投影到低维子空间，其中 是使用 PCA 得到的投影矩阵； ρ k Anew = ( I+ τ 2 M )−1 ( I− τ 2 M ) A A t1 2) 固定 ，对于每个样本，计算它在每个类中 的 个最近邻，使用 来更新 ，直到收敛或者达到迭代次数 ； A k ρnew = ρ−η1 f(ρ) f ′ (ρ) ρ 3) 固定 ，对于每个样本，计算它在每个类中 的 个最近邻，使用 来更新 。 ·962· 智 能 系 统 学 报 第 14 卷
第5期 朱换荣，等：面向局部线性回归分类器的判别分析方法 ·963· 4)重复2)、3)，直到fp)=0或者达到迭代次 类器对于识别性能至关重要；3)在所有的降维方 数t2o 法与分类器的组合中，LLRC-DA与LLRC的组合 5)最终的投影矩阵为ARc-DA=ARCAA。 具有最高的识别率，由于使用了LLRC的决策准 3实验 则，因此和其他降维方法相比，LLRC-DA学习的 特征子空间与LLRC更加契合；4)LLRC-DA在 为了验证LLRC-DA的有效性，本文分别在 LRC、LLRC上的识别率均明显高于LLRDA,证 FERET和ORL人脸库上进行实验，并与PCA 明本文提出的方法对于提高分类率是有效的。 LDAI、LPPI、RDAP和LLRDAU9等先进的维 3.2ORL人脸库上的实验 数约简算法进行比较。在维数约简之后，分别使 ORL人脸库的400幅图像来自40个人，其中 用NNC2、MDCI2、LRCU7和LLRC1分类器来 每人10幅图像，图像在不同条件下进行采集，如 比较每种维数约简方法在不同分类器下的分类性 能。本文中的实验通过MATLAB编程实现，硬件 光照、面部表情、面部细节等，图2所示为一个人 环境为酷睿i7处理器、主频2.6GHz、内存8GB。 的10幅图像。实验中所有的图像均压缩成56像 3.1 FERET人脸库上的实验 素×46像素。在实验之前，首先使用PCA方法将 FERET人脸库包含1400幅人脸图像，共计 原始图像降到50维，然后在每类中选择前5幅图 200类，其中每类7幅图像，包括两张面部表情 像作为训练集，剩余的所有图像作为测试集。 图，两张左侧图，两张右侧图和一张光照图，图1 所示为一个人的7幅图像。实验中所有的图像均 被裁剪为80像素×80像素。在实验之前，首先使 用PCA方法将原始图像降到180维，然后在每类 中选择前4幅图像作为训练集，剩余的作为测试 集，最近邻类K=101,每类中的最近邻个数k=3, 在FERET上的识别率如表1所列。 图2ORL库中一个人的10幅图像 Fig.2 Ten images of a person from the ORL database 图1 FERET库中一个人的7幅图像 在ORL人脸库上，本文对LLRC-DA在不同 Fig.1 Seven images of a person from the FERET database 参数下的性能进行评估。首先，对每类中的最近 表1 FERET库上的识别率 邻参数k进行实验，使用NNC、MDC、LRC、LLRC Table 1 Recognition accuracy when using the FERET 分类器，固定K=21,k的值为1~4，实验结果如 database 图3所示。从图3中可以看出，在NNC、LRC、 方法 NNC MDC LRC LLRC LLRC分类器下，k的取值为3时，识别率最高，这 PCA 0.6717 0.5217 0.6950 0.6933 表明利用样本之间的邻域结构，选择k而不是全 LDA 0.7583 0.7333 0.7350 0.7417 部样本来表示测试样本，可以提高识别性能。 LPP 0.5300 0.4567 0.6150 0.6017 1.00 RDA 0.7483 0.7333 0.7500 0.7633 0.98 LLRDA 0.96 0.7550 0.7450 0.7567 0.7717 0.94 LLRC-DA 0.7533 0.6933 0.7883 0.7950 解02 通过表1可以看出：1)与PCA、LPP等非监督 0.88 ---0------…0 学习方法相比，监督学习的降维方法明显具有更 0.86 NNC 0.84 --&--MDC 好的性能，因为监督学习方法利用了类别信息， 米--LRC 0.82 一RC 使识别率显著提高：2)同一种降维方法，在不同 0.80 4 的分类器上的实验结果不同，甚至会有很大差 异，例如LLRC-DA在MDC与LLRC这两种分类 图3 LLRC-DA在不同k下的识别率 器上的识别率相差很大，这也说明选择合适的分 Fig.3 Recognition rate of LLRC-DA with varied k
f(ρ) = 0 t2 4) 重复 2)、3)，直到 或者达到迭代次 数 。 5) 最终的投影矩阵为 ALLRC−DA = APCA A。 3 实验 为了验证 LLRC-DA 的有效性，本文分别在 FERET 和 ORL 人脸库上进行实验，并与 PCA[13] 、 LDA[14] 、LPP[15] 、RDA[24] 和 LLRDA[19] 等先进的维 数约简算法进行比较。在维数约简之后，分别使 用 NNC[25] 、MDC[26] 、LRC[17] 和 LLRC[18] 分类器来 比较每种维数约简方法在不同分类器下的分类性 能。本文中的实验通过 MATLAB 编程实现，硬件 环境为酷睿 i7 处理器、主频 2.6 GHz、内存 8 GB。 3.1 FERET 人脸库上的实验 ×80 K = 101 k = 3 FERET 人脸库包含 1 400 幅人脸图像，共计 200 类，其中每类 7 幅图像，包括两张面部表情 图，两张左侧图，两张右侧图和一张光照图，图 1 所示为一个人的 7 幅图像。实验中所有的图像均 被裁剪为 80 像素 像素。在实验之前，首先使 用 PCA 方法将原始图像降到 180 维，然后在每类 中选择前 4 幅图像作为训练集，剩余的作为测试 集，最近邻类 ，每类中的最近邻个数 ， 在 FERET 上的识别率如表 1 所列。 图 1 FERET 库中一个人的 7 幅图像 Fig. 1 Seven images of a person from the FERET database 表 1 FERET 库上的识别率 Table 1 Recognition accuracy when using the FERET database 方法 NNC MDC LRC LLRC PCA 0.671 7 0.521 7 0.695 0 0.693 3 LDA 0.758 3 0.733 3 0.735 0 0.741 7 LPP 0.530 0 0.456 7 0.615 0 0.601 7 RDA 0.748 3 0.733 3 0.750 0 0.763 3 LLRDA 0.755 0 0.745 0 0.756 7 0.771 7 LLRC-DA 0.753 3 0.693 3 0.788 3 0.795 0 通过表 1 可以看出：1) 与 PCA、LPP 等非监督 学习方法相比，监督学习的降维方法明显具有更 好的性能，因为监督学习方法利用了类别信息， 使识别率显著提高；2) 同一种降维方法，在不同 的分类器上的实验结果不同，甚至会有很大差 异，例如 LLRC-DA 在 MDC 与 LLRC 这两种分类 器上的识别率相差很大，这也说明选择合适的分 类器对于识别性能至关重要；3) 在所有的降维方 法与分类器的组合中，LLRC-DA 与 LLRC 的组合 具有最高的识别率，由于使用了 LLRC 的决策准 则，因此和其他降维方法相比，LLRC-DA 学习的 特征子空间与 LLRC 更加契合；4)LLRC-DA 在 LRC、LLRC 上的识别率均明显高于 LLRDA，证 明本文提出的方法对于提高分类率是有效的。 3.2 ORL 人脸库上的实验 ×46 ORL 人脸库的 400 幅图像来自 40 个人，其中 每人 10 幅图像，图像在不同条件下进行采集，如 光照、面部表情、面部细节等，图 2 所示为一个人 的 10 幅图像。实验中所有的图像均压缩成 56 像 素 像素。在实验之前，首先使用 PCA 方法将 原始图像降到 50 维，然后在每类中选择前 5 幅图 像作为训练集，剩余的所有图像作为测试集。 图 2 ORL 库中一个人的 10 幅图像 Fig. 2 Ten images of a person from the ORL database k K = 21 k k k 在 ORL 人脸库上，本文对 LLRC-DA 在不同 参数下的性能进行评估。首先，对每类中的最近 邻参数 进行实验，使用 NNC、MDC、LRC、LLRC 分类器，固定 ， 的值为 1~4，实验结果如 图 3 所示。从图 3 中可以看出，在 NNC、LRC、 LLRC 分类器下， 的取值为 3 时，识别率最高，这 表明利用样本之间的邻域结构，选择 而不是全 部样本来表示测试样本，可以提高识别性能。 1 2 3 4 0.80 0.82 0.84 0.86 0.88 0.90 0.92 0.94 0.96 0.98 1.00 k 识别率 NNC MDC LRC LLRC 图 3 LLRC-DA 在不同 k 下的识别率 Fig. 3 Recognition rate of LLRC-DA with varied k 第 5 期 朱换荣，等：面向局部线性回归分类器的判别分析方法 ·963·
·964· 智能系统学报 第14卷 接着，对近邻类参数K进行实验，使用NNC、 本文利用了投影矩阵与线性回归系数之间的关 MDC、LRC、LLRC分类器，选择k=3,K的值为 系，消除了线性回归系数的影响，使得目标函数 3~39实验结果如图4所示。从图4中可以看出， 只和投影矩阵相关。LLRC-DA通过对投影矩阵 K为20时，各分类器均可取得较高的识别率。 添加正交约束来消除冗余信息，并得到更好的特 1.00 征子空间。相比于传统算法使用最大特征值分解 0.98 来求解迹比问题，本文利用了一种新的迹比优化 0.96 0-0 算法来有效地求解投影矩阵。本文在FERET、ORL 0.94 郎092 人脸库上进行了实验，与先进的维数约简算法进 录0.90 行了比较，实验结果表明，本文提出的方法具有 30.88 .分--分-合、 -0 更好的性能。对于LLRC-DA中的最近邻参数k 0.86 --NNC 的选择问题，将寻找合适的参数选择技术来确定 0.84 --e-…MDC ---◆--.LRC 0.82 k值。在接下来的工作中，打算引入核方法来研 LLRC 0.80 究改进本文的方法。 0510152025303540 参考文献： 图4 LLRC-DA在不同K下的识别率 Fig.4 Recognition rate of LLRC-DA with varied K [1]HARANDI M.SALZMANN M,HARTLEY R.Dimen- 最后，比较在不同分类器下LLRC-DA的性 sionality reduction on SPD manifolds:the emergence of 能，设置K=21,k=3,在ORL上的识别率如表2。 geometry-aware methods[J].IEEE transactions on pattern 通过表2可以看出：1)在所有的降维方法与分类 analysis and machine intelligence,2018,40(1):48-62 器的组合中，LLRC-DA与LLRC的组合具有最高 [2]CHOI S,SHIN JH,LEE J,et al.Experimental demonstra- tion of feature extraction and dimensionality reduction us- 的识别率，证明本文提出的方法是有效的：2)RDA ing memristor networks[J].Nano letters,2017,17(5): 与LRC这一组合也有着较高的识别率，这是因为 3113-3118. RDA是采用LRC决策准则产生的，证明根据分 [3]YIN Jun,WEI Lai,SONG Miao,et al.Optimized projec- 类器的决策准则来设计维数约简算法是很有必要 tion for collaborative representation based classification 的。然而它的识别率依然比LLRC-DA与LLRC and its applications to face recognition[J].Pattern recogni- 组合的低，原因是LLRC决策准则考虑了数据的 tion letters,2016,73:83-90. 邻域结构，使用k个最近邻而不是全部样本，这 [4]XIA Zhihua,WANG Xinhui,ZHANG Liangao,et al.A 对于提高识别率是有效的。 privacy-preserving and copy-deterrence content-based im- age retrieval scheme in cloud computing[J].IEEE transac- 表2ORL库上的识别率 Table 2 Recognition accuracy when using the ORL data- tions on information forensics and security,2016,11(11): base 2594-2608 方法 [5]GONG Yunchao,LAZEBNIK S,GORDO A,et al.Iterat- NNC MDC LRC LLRC ive quantization:a procrustean approach to learning binary PCA 0.9300 0.8600 0.9500 0.9500 codes for large-scale image retrieval[J].IEEE transactions LDA 0.9250 0.9400 0.9250 0.9200 on pattern analysis and machine intelligence,2013,35(12): LPP 0.8850 0.8500 0.9200 0.9200 2916-2929 RDA 0.9400 0.8900 0.9500 0.9400 [6]YUAN Chengsheng,SUN Xingming,LV Rui.Fingerprint LLRDA liveness detection based on multi-scale LPQ and PCA[]. 0.9350 0.8850 0.9500 0.9550 China communications,2016,13(7):60-65 LLRC-DA 0.9300 0.8850 0.9500 0.9650 [7]DUBEY R K,GOH J,THING V LL.Fingerprint liveness detection from single image using low-level features and 4结束语 shape analysis[J].IEEE transactions on information forensics and security,2016,11(7):1461-1475 本文提出了面向局部线性回归分类器的判别 [8]YE Jieping,LI Tao,XIONG Tao,et al.Using uncorrelated 分析方法LLRC-DA,根据LLRC的决策准则设计 discriminant analysis for tissue classification with gene ex- 目标函数，通过最大化类间局部重构误差并最小 pression data[J].IEEE/ACM transactions on computation- 化类内局部重构误差来寻找最优的特征子空间。 al biology and bioinformatics,2004,1(4):181-190
K k = 3 K K 接着，对近邻类参数 进行实验，使用 NNC、 MDC、LRC、LLRC 分类器，选择 ， 的值为 3~39，实验结果如图 4 所示。从图 4 中可以看出， 为 20 时，各分类器均可取得较高的识别率。 0.80 0.82 0.84 0.86 0.88 0.90 0.92 0.94 0.96 0.98 1.00 K 识别率 0 5 10 15 20 25 30 35 40 NNC MDC LRC LLRC 图 4 LLRC-DA 在不同 K 下的识别率 Fig. 4 Recognition rate of LLRC-DA with varied K K = 21 k = 3 k 最后，比较在不同分类器下 LLRC-DA 的性 能，设置 ， ，在 ORL 上的识别率如表 2。 通过表 2 可以看出：1) 在所有的降维方法与分类 器的组合中，LLRC-DA 与 LLRC 的组合具有最高 的识别率，证明本文提出的方法是有效的；2) RDA 与 LRC 这一组合也有着较高的识别率，这是因为 RDA 是采用 LRC 决策准则产生的，证明根据分 类器的决策准则来设计维数约简算法是很有必要 的。然而它的识别率依然比 LLRC-DA 与 LLRC 组合的低，原因是 LLRC 决策准则考虑了数据的 邻域结构，使用 个最近邻而不是全部样本，这 对于提高识别率是有效的。 表 2 ORL 库上的识别率 Table 2 Recognition accuracy when using the ORL database 方法 NNC MDC LRC LLRC PCA 0.930 0 0.860 0 0.950 0 0.950 0 LDA 0.925 0 0.940 0 0.925 0 0.920 0 LPP 0.885 0 0.850 0 0.920 0 0.920 0 RDA 0.940 0 0.890 0 0.950 0 0.940 0 LLRDA 0.935 0 0.885 0 0.950 0 0.955 0 LLRC-DA 0.930 0 0.885 0 0.950 0 0.965 0 4 结束语 本文提出了面向局部线性回归分类器的判别 分析方法 LLRC-DA，根据 LLRC 的决策准则设计 目标函数，通过最大化类间局部重构误差并最小 化类内局部重构误差来寻找最优的特征子空间。 k k 本文利用了投影矩阵与线性回归系数之间的关 系，消除了线性回归系数的影响，使得目标函数 只和投影矩阵相关。LLRC-DA 通过对投影矩阵 添加正交约束来消除冗余信息，并得到更好的特 征子空间。相比于传统算法使用最大特征值分解 来求解迹比问题，本文利用了一种新的迹比优化 算法来有效地求解投影矩阵。本文在 FERET、ORL 人脸库上进行了实验，与先进的维数约简算法进 行了比较，实验结果表明，本文提出的方法具有 更好的性能。对于 LLRC-DA 中的最近邻参数 的选择问题，将寻找合适的参数选择技术来确定 值。在接下来的工作中，打算引入核方法来研 究改进本文的方法。 参考文献： HARANDI M, SALZMANN M, HARTLEY R. Dimensionality reduction on SPD manifolds: the emergence of geometry-aware methods[J]. IEEE transactions on pattern analysis and machine intelligence, 2018, 40(1): 48–62. [1] CHOI S, SHIN J H, LEE J, et al. Experimental demonstration of feature extraction and dimensionality reduction using memristor networks[J]. Nano letters, 2017, 17(5): 3113–3118. [2] YIN Jun, WEI Lai, SONG Miao, et al. Optimized projection for collaborative representation based classification and its applications to face recognition[J]. Pattern recognition letters, 2016, 73: 83–90. [3] XIA Zhihua, WANG Xinhui, ZHANG Liangao, et al. A privacy-preserving and copy-deterrence content-based image retrieval scheme in cloud computing[J]. IEEE transactions on information forensics and security, 2016, 11(11): 2594–2608. [4] GONG Yunchao, LAZEBNIK S, GORDO A, et al. Iterative quantization: a procrustean approach to learning binary codes for large-scale image retrieval[J]. IEEE transactions on pattern analysis and machine intelligence, 2013, 35(12): 2916–2929. [5] YUAN Chengsheng, SUN Xingming, LV Rui. Fingerprint liveness detection based on multi-scale LPQ and PCA[J]. China communications, 2016, 13(7): 60–65. [6] DUBEY R K, GOH J, THING V L L. Fingerprint liveness detection from single image using low-level features and shape analysis[J]. IEEE transactions on information forensics and security, 2016, 11(7): 1461–1475. [7] YE Jieping, LI Tao, XIONG Tao, et al. Using uncorrelated discriminant analysis for tissue classification with gene expression data[J]. IEEE/ACM transactions on computational biology and bioinformatics, 2004, 1(4): 181–190. [8] ·964· 智 能 系 统 学 报 第 14 卷
第5期 朱换荣，等：面向局部线性回归分类器的判别分析方法 ·965· [9]ZOU Quan,ZENG Jiancang,CAO Liujuan,et al.A novel ceedings of 2007 IEEE Conference on Computer Vision features ranking metric with application to scalable visual and Pattern Recognition.Minneapolis,USA,2007:1-8. and bioinformatics data classification[J].Neurocomputing, [21]NGO TT,BELLALIJ M,SAAD Y.The trace ratio op- 2016,173:346-354. timization problem[J].SIAM review,2012,54(3): [10]LI Tao,ZHU Shenghuo,OGIHARA M.Using discrimin- 545-569. ant analysis for multi-class classification:an experiment- [22]JIANG Wenhao,CHUNG Fulai.A trace ratio maximiza- al investigation[J].Knowledge and information systems, tion approach to multiple kernel-based dimensionality re 2006,10(4:453-472. duction[J].Neural networks,2014,49:96-106 [11]AMATRIAIN X,PUJOL J M.Data mining methods for [23]WEN Zaiwen,YIN Wotao.A feasible method for optim- recommender systems[MJ//RICCI F,ROKACH L,SHA- ization with orthogonality constraints[J].Mathematical PIRA B.Recommender Systems Handbook.Boston,MA: programming,2013,142(1/2):397-434. Springer,2015:227-262. [24]CHEN Yi,JIN Zhong.Reconstructive discriminant ana- [12]RAUDYS S J,JAIN A K.Small sample size effects in lysis:a feature extraction method induced from linear re- statistical pattern recognition:recommendations for prac- gression classification[J].Neurocomputing,2012,87: titioners[J.IEEE transactions on pattern analysis and ma- 41-50. chine intelligence,1991,13(3):252-264 [25]COVER T,HART P.Nearest neighbor pattern classifica- [13]TURK M,PENTLAND A.Eigenfaces for recognition[J]. tion[J].IEEE transactions on information theory,1967, Journal of cognitive neuroscience,1991,3(1):71-86 13(121-27. [14]BELHUMEUR P N,HESPANHA J P,KRIEGMAN D J. Eigenfaces vs.Fisherfaces:recognition using class specif- [26]ZHANG Daoqiang,CHEN Songcan,ZHOU Zhihua. Learning the kernel parameters in kernel minimum dis- ic linear projection[J].IEEE transactions on pattern ana- lysis and machine intelligence,1997,19(7):711-720. tance classifier[J].Pattern recognition,2006,39(1): 133-135. [15]HE Xiaofei,YAN Shuicheng,HU Yuxiao,et al.Face re- cognition using laplacianfaces[J].IEEE transactions on 作者简介： pattern analysis and machine intelligence,2005,27(3): 朱换荣，女，1994年生，硕士研究 328-340. 生，主要研究方向为机器学习、人脸 [16]ZHANG Lei,YANG Meng,FENG Xiangchu.Sparse rep- 识别。 resentation or collaborative representation:which helps face recognition?[C]//Proceedings of 2011 International Conference on Computer Vision.Barcelona,Spain,2011: 471-478. [17]NASEEM I,TOGNERI R,BENNAMOUN M.Linear re- 郑智超，男，1992年生，博士研究 gression for face recognition[J].IEEE transactions on pat- 生，主要研究方向为人脸识别、子空间 tern analysis and machine intelligence,2010,32(11): 学习。 2106-2112. [18]BROWN D,LI Hanxi,GAO Yongsheng.Locality-regu- larized linear regression for face recognition[Cl//Proceed- ings of the 21st International Conference on Pattern Re- 孙怀江，男.1968年生，教授，博 cognition.Tsukuba,Japan,2012:1586-1589 士生导师，主要研究方向为神经网络 [19]HUANG Pu,LI Tao,SHU Zhengiu,et al.Locality-regu- 与机器学习、人体运动分析与合成、多 larized linear regression discriminant analysis for feature 媒体与虚拟现实、图像处理与计算机 extraction[J].Information sciences,2018,429:164-176. 视觉。曾主持或参与完成国家级项目 [20]WANG Huan,YAN Shuisheng,XU Dong,et al.Trace ra- 3项，省部级项目3项，获省部级科技 tio vs.Ratio trace for dimensionality reduction[C]//Pro- 进步二等奖1项。发表学术论文80余篇
ZOU Quan, ZENG Jiancang, CAO Liujuan, et al. A novel features ranking metric with application to scalable visual and bioinformatics data classification[J]. Neurocomputing, 2016, 173: 346–354. [9] LI Tao, ZHU Shenghuo, OGIHARA M. Using discriminant analysis for multi-class classification: an experimental investigation[J]. Knowledge and information systems, 2006, 10(4): 453–472. [10] AMATRIAIN X, PUJOL J M. Data mining methods for recommender systems[M]//RICCI F, ROKACH L, SHAPIRA B. Recommender Systems Handbook. Boston, MA: Springer, 2015: 227–262. [11] RAUDYS S J, JAIN A K. Small sample size effects in statistical pattern recognition: recommendations for practitioners[J]. IEEE transactions on pattern analysis and machine intelligence, 1991, 13(3): 252–264. [12] TURK M, PENTLAND A. Eigenfaces for recognition[J]. Journal of cognitive neuroscience, 1991, 3(1): 71–86. [13] BELHUMEUR P N, HESPANHA J P, KRIEGMAN D J. Eigenfaces vs. Fisherfaces: recognition using class specific linear projection[J]. IEEE transactions on pattern analysis and machine intelligence, 1997, 19(7): 711–720. [14] HE Xiaofei, YAN Shuicheng, HU Yuxiao, et al. Face recognition using laplacianfaces[J]. IEEE transactions on pattern analysis and machine intelligence, 2005, 27(3): 328–340. [15] ZHANG Lei, YANG Meng, FENG Xiangchu. Sparse representation or collaborative representation: which helps face recognition?[C]//Proceedings of 2011 International Conference on Computer Vision. Barcelona, Spain, 2011: 471–478. [16] NASEEM I, TOGNERI R, BENNAMOUN M. Linear regression for face recognition[J]. IEEE transactions on pattern analysis and machine intelligence, 2010, 32(11): 2106–2112. [17] BROWN D, LI Hanxi, GAO Yongsheng. Locality-regularized linear regression for face recognition[C]//Proceedings of the 21st International Conference on Pattern Recognition. Tsukuba, Japan, 2012: 1586–1589. [18] HUANG Pu, LI Tao, SHU Zhenqiu, et al. Locality-regularized linear regression discriminant analysis for feature extraction[J]. Information sciences, 2018, 429: 164–176. [19] WANG Huan, YAN Shuisheng, XU Dong, et al. Trace ratio vs. Ratio trace for dimensionality reduction[C]//Pro- [20] ceedings of 2007 IEEE Conference on Computer Vision and Pattern Recognition. Minneapolis, USA, 2007: 1–8. NGO T T, BELLALIJ M, SAAD Y. The trace ratio optimization problem[J]. SIAM review, 2012, 54(3): 545–569. [21] JIANG Wenhao, CHUNG Fulai. A trace ratio maximization approach to multiple kernel-based dimensionality reduction[J]. Neural networks, 2014, 49: 96–106. [22] WEN Zaiwen, YIN Wotao. A feasible method for optimization with orthogonality constraints[J]. Mathematical programming, 2013, 142(1/2): 397–434. [23] CHEN Yi, JIN Zhong. Reconstructive discriminant analysis: a feature extraction method induced from linear regression classification[J]. Neurocomputing, 2012, 87: 41–50. [24] COVER T, HART P. Nearest neighbor pattern classification[J]. IEEE transactions on information theory, 1967, 13(1): 21–27. [25] ZHANG Daoqiang, CHEN Songcan, ZHOU Zhihua. Learning the kernel parameters in kernel minimum distance classifier[J]. Pattern recognition, 2006, 39(1): 133–135. [26] 作者简介： 朱换荣，女，1994 年生，硕士研究 生，主要研究方向为机器学习、人脸 识别。 郑智超，男，1992 年生，博士研究 生，主要研究方向为人脸识别、子空间 学习。 孙怀江，男，1968 年生，教授，博 士生导师，主要研究方向为神经网络 与机器学习、人体运动分析与合成、多 媒体与虚拟现实、图像处理与计算机 视觉。曾主持或参与完成国家级项目 3 项，省部级项目 3 项，获省部级科技 进步二等奖1项。发表学术论文80余篇。 第 5 期 朱换荣，等：面向局部线性回归分类器的判别分析方法 ·965·