第3期 许子微，等：自步稀疏最优均值主成分分析 ·423· 3.3 参数设置 4结束语 由式(3)提出的问题可知，参数k和B的值决 定了学习过程中样本的选取，故选择合适的参数 本文提出了一种新的无监督降维算法一自 可以提升算法的分类效果。假设初始训练时最大 步稀疏最优均值主成分分析(SPL-OMSPCA)算 法。基于对样本自身差异性的考虑，引入自步学 损失为L,由式(3)取适当的k和B满足： 习的思想，实现样本从“简单”到“复杂”的训练，且 Lm=1/k+1/B2 (20) 在迭代过程中，自动更新均值，而后通过对投影 为简化计算，令k=1/B,则有 矩阵添加L21范数的行稀疏约束，一致选择样本， 进一步提高算法的识别精度。理论分析和实验结 k=1/2VLm B=2Lm (21) 果都证明了SPL-OMSPCA模型的分类优势。虽 对步长参数μ和稀疏正则化控制参数α将通 然SPL-OMSPCA的性能优于其他PCA方法，但 过实验确定，由图6可见，SPL-OMSPCA 它还是一种无监督方法，不能使用类标签来提取 算法在不同参数组合下得到不同分类效果。具体 有区别的特征，因此它还不能提取最有效的分类 地，UMST数据集上L=9时，在(a,m)=(0.001,1.25) 特征。在未来，可将之扩展到半监督分类问题。 处可取得最高精度；JAFFE数据集上L=I0时，在 参考文献： (@,四=(10,1.15)处取得最高精度；AR数据集上 L=13时，在(a,)=(0.01,1.15)处取得最高精度； [1]OU Weihua,YOU Xinge,TAO Dacheng,et al.Robust BI0数据集上L=20时，在(a,m)=(1000,1.1)时取 face recognition via occlusion dictionary learning[J].Pat- tern rec0 gnition,2014,47(4):1559-1572. 得最高精度；C0IL20数据集上L=5时， [2]WEI Lai,ZHOU Rigui,YIN Jun,et al.Latent graph-regu- (a,4)=(1000,1.15)时取得最高精度；MNIST数据 larized inductive robust principal component analysis[J]. 集上L=20时，在(a,)=(1000,1.15)取到最高精度。 Knowledge-based systems,2019,177:68-81 [3]HE Jinrong,BI Yingzhou,LIU Bin,et al.Graph-dual Laplacian principal component analysis[J].Journal of am- 0.70 bient intelligence and humanized computing,2019,10(8): 0.65 3249-3262. 0.60 [4]ZHAO Haifeng,WANG Zheng,NIE Feiping.A new for- 0.55 mulation of linear discriminant analysis for robust dimen- 0.50 sionality reduction[J.IEEE transactions on knowledge and 0.000 data engineering,2018,31(4):629-640 0 g职联马 [5]朱换荣，郑智超.孙怀江面向局部线性回归分类器的判 别分析方法U.智能系统学报，2019,14(5)：959-965. ZHU Huanrong,ZHENG Zhichao,SUN Huaijiang.Local- (a)UMIST数据集 ity-regularized linear regression classification-based dis- criminant analysis[J.CAAl transactions on intelligent sys- tems,2019,14(5y:959-965. 0.80 [6]NIE Feiping,HUANG Heng,DING C,et al.Robust prin- 0.75 cipal component analysis with non-greedy f-norm maxim- 0.70 ization[C]//Proceedings of the 22nd International Joint 0.65 Conference on Artificial Intelligence.Barcelona,Catalonia, 0.60 Spain,.2011:1433-1438 0.0001 [7]NIE Feiping,YUAN Jianjun,HUANG Heng.Optimal mean robust principal component analysis[C]//Proceed- 100000 ings of the 31st International Conference on Machine Learning.Beijing,China,2014:1062-1070. (b)JAFFE数据集 [8]ZOU Hui,HASTIE T,TIBSHIRANI R.Sparse principal 图6不同参数上的分类精度 component analysis[J].Journal of computational and Fig.6 Classification accuracy on different parameters graphical statistics,2006,15(2):265-286.3.3 参数设置 k β Lm k β 由式 (3) 提出的问题可知，参数 和 的值决 定了学习过程中样本的选取，故选择合适的参数 可以提升算法的分类效果。假设初始训练时最大 损失为 ，由式 (3) 取适当的 和 满足： Lm = 1/(k+1/β) 2 (20) 为简化计算，令 k = 1/β ，则有 k = 1/2 √ Lm, β = 2 √ Lm (21) µ α L = 9 (α, µ) = (0.001,1.25) L = 10 (α, µ) = (10,1.15) L = 13 (α, µ) = (0.01,1.15) L = 20 (α, µ) = (1 000,1.1) L = 5 (α, µ) = (1 000,1.15) L = 20 (α, µ) =(1 000,1.15) 对步长参数 和稀疏正则化控制参数 将通 过实验确定，由 图 6 可见， SPL-OMSPCA 算法在不同参数组合下得到不同分类效果。具体 地，UMIST 数据集上 时，在 处可取得最高精度；JAFFE 数据集上 时，在 处取得最高精度；AR 数据集上 时，在 处取得最高精度； BIO 数据集上 时，在 时取 得最高精度； COIL2 0 数据集上 时 ， 时取得最高精度；MNIST 数据 集上 时，在 取到最高精度。 (a) UMIST 数据集 分类精度 0.70 0.65 0.60 0.55 0.50 0.0001 0.001 0.01 0.1 1 10 100 1 000 10 000 100 000 1.50 1.45 1.40 1.35 1.30 1.25 1.20 1.15 α 1.10 μ (b) JAFFE 数据集 分类精度 0.80 0.75 0.70 0.65 0.60 0.0001 0.001 0.01 0.1 1 10 100 1 000 10 000 100 000 1.50 1.45 1.40 1.35 1.30 1.25 1.20 1.15 α 1.10 μ 图 6 不同参数上的分类精度 Fig. 6 Classification accuracy on different parameters 4 结束语 L2,1 本文提出了一种新的无监督降维算法−自 步稀疏最优均值主成分分析 (SPL-OMSPCA) 算 法。基于对样本自身差异性的考虑，引入自步学 习的思想，实现样本从“简单”到“复杂”的训练，且 在迭代过程中，自动更新均值，而后通过对投影 矩阵添加 范数的行稀疏约束，一致选择样本， 进一步提高算法的识别精度。理论分析和实验结 果都证明了 SPL-OMSPCA 模型的分类优势。虽 然 SPL-OMSPCA 的性能优于其他 PCA 方法，但 它还是一种无监督方法，不能使用类标签来提取 有区别的特征，因此它还不能提取最有效的分类 特征。在未来，可将之扩展到半监督分类问题。 参考文献： OU Weihua, YOU Xinge, TAO Dacheng, et al. Robust face recognition via occlusion dictionary learning[J]. Pat￾tern recognition, 2014, 47(4): 1559–1572. [1] WEI Lai, ZHOU Rigui, YIN Jun, et al. Latent graph-regu￾larized inductive robust principal component analysis[J]. Knowledge-based systems, 2019, 177: 68–81. [2] HE Jinrong, BI Yingzhou, LIU Bin, et al. Graph-dual Laplacian principal component analysis[J]. Journal of am￾bient intelligence and humanized computing, 2019, 10(8): 3249–3262. [3] ZHAO Haifeng, WANG Zheng, NIE Feiping. A new for￾mulation of linear discriminant analysis for robust dimen￾sionality reduction[J]. IEEE transactions on knowledge and data engineering, 2018, 31(4): 629–640. [4] 朱换荣, 郑智超, 孙怀江. 面向局部线性回归分类器的判 别分析方法 [J]. 智能系统学报, 2019, 14(5): 959–965. ZHU Huanrong, ZHENG Zhichao, SUN Huaijiang. Local￾ity-regularized linear regression classification-based dis￾criminant analysis[J]. CAAI transactions on intelligent sys￾tems, 2019, 14(5): 959–965. [5] NIE Feiping, HUANG Heng, DING C, et al. Robust prin￾cipal component analysis with non-greedy ℓ1 -norm maxim￾ization[C]//Proceedings of the 22nd International Joint Conference on Artificial Intelligence. Barcelona, Catalonia, Spain, 2011: 1433−1438. [6] NIE Feiping, YUAN Jianjun, HUANG Heng. Optimal mean robust principal component analysis[C]//Proceed￾ings of the 31st International Conference on Machine Learning. Beijing, China, 2014: 1062−1070. [7] ZOU Hui, HASTIE T, TIBSHIRANI R. Sparse principal component analysis[J]. Journal of computational and graphical statistics, 2006, 15(2): 265–286. [8] 第 3 期 许子微，等：自步稀疏最优均值主成分分析 ·423·