第3期 许子微，等：自步稀疏最优均值主成分分析 ·421· 表2在6个不同噪声数据集上各种PCA算法的分类精度及其标准差 Table 2 Average classification accuracy and standard deviation of various PCA algorithm on six data sets with different noise training samples 数据集 L PCA SPCA JSPCA OMRPCA SPL-OMSPCA 6 0.5980±0.0222 0.5853±0.0449 0.5936±0.02000.5897±0.0292 0.6198±0.0220 9 0.6430±0.0253 0.6377±0.0225 0.6418±0.03160.6425±0.0324 0.6718±0.0377 UMST13×13遮挡) 12 0.6872±0.0203 0.6761±0.0373 0.6764±0.0412 0.6830±0.0382 0.7185±0.0128 Mean0.6427±0.02260.6330±0.0349 0.6373±0.03090.6384±0.0332 0.6700±0.0242 5 0.6520±0.0587 0.6447±0.0553 0.6447±0.0580 0.6413±0.0920 0.7100±0.0367 10 0.7060±0.0660 0.7010±0.09600.6950±0.0450 0.6940±0.0560 0.7910±0.0590 JAFFE13×13遮挡) 15 0.7260±0.06600.7280±0.0680 0.7240±0.0640 0.73400.0660 0.8120±0.0640 Mean0.6947±0.0636 0.6912±0.0731 0.6879±0.0730 0.6898±0.0713 0.7710±0.0532 8 0.5456±0.0214 0.5669±0.0174 0.5444±0.0263 0.5681±0.0205 0.5744±0.0255 13 0.6450±0.0135 0.6509±0.0280 0.6495±0.0105 0.6517±0.0279 0.6659±0.0197 AR(10%椒盐噪声) 18 0.7368±0.00910.7292±0.0292 0.7211±0.02110.7397±0.0207 0.7440±0.0240 Mean 0.642440.0147 0.6490±0.02490.6383±0.0193 0.65320.0230 0.6614±0.0231 18 0.7391±0.0222 0.7424±0.02630.7438±0.0365 0.7362±0.0172 0.7621±0.0131 20 0.7483±0.02580.7589±0.0286 0.7480±0.02060.7520±0.0196 0.7741±0.0206 BI0(10%椒盐噪声) 22 0.7661±0.0116 0.7769±0.0168 0.7681±0.03640.7682±0.0223 0.7860±0.0247 Mean0.7512±0.01990.7594±0.02390.7533±0.03120.7521±0.01970.7741±0.0195 4 0.78640.01560.7735±0.0306 0.7836±0.02150.7840±0.0296 0.7895±0.0392 5 0.8100±0.0245 0.8011±0.0202 0.8149±0.0239 0.8116±0.0350 0.8205±0.0265 COL20(10%椒盐噪声) 6 0.8357±0.01900.8394±0.0227 0.7939±0.02510.8476±0.0365 0.8522±0.0211 Mean0.8107±0.01970.8047±0.02450.8201±0.02150.8144±0.0337 0.8207±0.0283 15 0.7515±0.0209 0.7449±0.0273 0.7528±0.0284 0.7439±0.0329 0.7718±0.0271 20 0.78190.0156 0.7780±0.0228 0.7795±0.0249 0.77940.0194 0.7928±0.0165 MINIST(10%椒盐噪声) 25 0.8016±0.02110.8021±0.0208 0.801940.02750.8017±0.0231 0.8168±0.0301 Mean0.7783±0.0192 0.7750±0.0236 0.7781±0.02690.7750±0.0251 0.7938±0.0246 为进一步证明实验的合理性，选取JAFFE和 部分重构图像，明显SPL-OMSPCA模型对含噪声 C0L20数据集，L分别取10和9，子空间维度取 块图像的重构更好。表3展示了迭代过程中 10。SPL-OMSPCA模型中，每一次迭代中更新均 JAFFE数据集部分样本的y:的变化情况，其中一 值，图3展示了2个数据集从1024个特征中随机 行表示一个样本的变化。从表3可看出，随迭代 抽取的10个特征的均值变化，由图3可看出均值 次数的增加，对损失值大小的限制逐渐放宽，实 随迭代次数增加逐渐趋于平稳。模型考虑样本自 现从“简单样本”到“复杂样本”的学习。此外，图5 身差异性，引入自步学习机制，利用损失值判断 给出了算法在UMIST和JAFFE上的收敛情况， 样本的难易程度，赋予样本软权重，并且放宽对 其中，训练样本数L分别为9、10，子空间维数为 投影矩阵的正交约束，以L2!范数来表示损失函 100,最大迭代次数为30。由图5可见，本文所提 数和稀疏约束，由此即使对于有噪声的样本，也 出的算法具有收敛性。 能极大程度地进行重构，图4展示了对于随机添 综上所述，SPL-OMSPCA模型对噪声样本具有 加50%块噪声的JAFFE数据集，5种算法得到的 更高的鲁棒性，且能取得比其他算法更高的识别率。表 2 在 6 个不同噪声数据集上各种 PCA 算法的分类精度及其标准差 Table 2 Average classification accuracy and standard deviation of various PCA algorithm on six data sets with different noise training samples 数据集 L PCA SPCA JSPCA OMRPCA SPL-OMSPCA UMIST ( 13×13 遮挡) 6 0.598 0±0.022 2 0.585 3±0.044 9 0.593 6±0.020 0 0.589 7±0.029 2 0.619 8±0.022 0 9 0.643 0±0.025 3 0.637 7±0.022 5 0.641 8±0.031 6 0.642 5±0.032 4 0.671 8±0.037 7 12 0.687 2±0.020 3 0.676 1±0.037 3 0.676 4±0.041 2 0.683 0±0.038 2 0.718 5±0.012 8 Mean 0.642 7±0.022 6 0.633 0±0.034 9 0.637 3±0.030 9 0.638 4±0.033 2 0.670 0±0.024 2 JAFFE ( 13×13 遮挡) 5 0.652 0±0.058 7 0.644 7±0.055 3 0.644 7±0.058 0 0.641 3±0.092 0 0.710 0±0.036 7 10 0.706 0±0.066 0 0.701 0±0.096 0 0.695 0±0.045 0 0.694 0±0.056 0 0.791 0±0.059 0 15 0.726 0±0.066 0 0.728 0±0.068 0 0.724 0±0.064 0 0.734 0±0.066 0 0.812 0±0.064 0 Mean 0.694 7±0.063 6 0.691 2±0.073 1 0.687 9±0.073 0 0.689 8±0.071 3 0.771 0±0.053 2 AR (10% 椒盐噪声) 8 0.545 6±0.021 4 0.566 9±0.017 4 0.544 4±0.026 3 0.568 1±0.020 5 0.574 4±0.025 5 13 0.645 0±0.013 5 0.650 9±0.028 0 0.649 5±0.010 5 0.651 7±0.027 9 0.665 9±0.019 7 18 0.736 8±0.009 1 0.729 2±0.029 2 0.721 1±0.021 1 0.739 7±0.020 7 0.744 0±0.024 0 Mean 0.642 4±0.014 7 0.649 0±0.024 9 0.638 3±0.019 3 0.653 2±0.023 0 0.661 4±0.023 1 BIO (10% 椒盐噪声) 18 0.739 1±0.022 2 0.742 4±0.026 3 0.743 8±0.036 5 0.736 2±0.017 2 0.762 1±0.013 1 20 0.748 3±0.025 8 0.758 9±0.028 6 0.748 0±0.020 6 0.752 0±0.019 6 0.774 1±0.020 6 22 0.766 1±0.011 6 0.776 9±0.016 8 0.768 1±0.036 4 0.768 2±0.022 3 0.786 0±0.024 7 Mean 0.751 2±0.019 9 0.759 4±0.023 9 0.753 3±0.031 2 0.752 1±0.019 7 0.774 1±0.019 5 COIL20 (10% 椒盐噪声) 4 0.786 4±0.015 6 0.773 5±0.030 6 0.783 6±0.021 5 0.784 0±0.029 6 0.789 5±0.039 2 5 0.810 0±0.024 5 0.801 1±0.020 2 0.814 9±0.023 9 0.811 6±0.035 0 0.820 5±0.026 5 6 0.835 7±0.019 0 0.839 4±0.022 7 0.793 9±0.025 1 0.847 6±0.036 5 0.852 2±0.021 1 Mean 0.810 7±0.019 7 0.804 7±0.024 5 0.820 1±0.021 5 0.814 4±0.033 7 0.820 7±0.028 3 MINIST (10% 椒盐噪声) 15 0.751 5±0.020 9 0.744 9±0.027 3 0.752 8±0.028 4 0.743 9±0.032 9 0.771 8±0.027 1 20 0.781 9±0.015 6 0.778 0±0.022 8 0.779 5±0.024 9 0.779 4±0.019 4 0.792 8±0.016 5 25 0.801 6±0.021 1 0.802 1±0.020 8 0.801 9±0.027 5 0.801 7±0.023 1 0.816 8±0.030 1 Mean 0.778 3±0.019 2 0.775 0±0.023 6 0.778 1±0.026 9 0.775 0±0.025 1 0.793 8±0.024 6 vi L2,1 为进一步证明实验的合理性，选取 JAFFE 和 COIL20 数据集，L 分别取 10 和 9，子空间维度取 10。SPL-OMSPCA 模型中，每一次迭代中更新均 值，图 3 展示了 2 个数据集从 1 024 个特征中随机 抽取的 10 个特征的均值变化，由图 3 可看出均值 随迭代次数增加逐渐趋于平稳。模型考虑样本自 身差异性，引入自步学习机制，利用损失值判断 样本的难易程度，赋予样本软权重 ，并且放宽对 投影矩阵的正交约束，以 范数来表示损失函 数和稀疏约束，由此即使对于有噪声的样本，也 能极大程度地进行重构，图 4 展示了对于随机添 加 50% 块噪声的 JAFFE 数据集，5 种算法得到的 vi L 部分重构图像，明显 SPL-OMSPCA 模型对含噪声 块图像的重构更好。 表 3 展示了迭代过程 中 JAFFE 数据集部分样本的 的变化情况，其中一 行表示一个样本的变化。从表 3 可看出，随迭代 次数的增加，对损失值大小的限制逐渐放宽，实 现从“简单样本”到“复杂样本”的学习。此外，图 5 给出了算法在 UMIST 和 JAFFE 上的收敛情况， 其中，训练样本数 分别为 9、10，子空间维数为 100，最大迭代次数为 30。由图 5 可见，本文所提 出的算法具有收敛性。 综上所述，SPL-OMSPCA 模型对噪声样本具有 更高的鲁棒性，且能取得比其他算法更高的识别率。 第 3 期 许子微，等：自步稀疏最优均值主成分分析 ·421·