第3期 许子微，等：自步稀疏最优均值主成分分析 ·419· 特解为U1的第s+1列，即c=(U1)+,从而有 本的类标签。 b=U)+XVDI (13) 在算法1中，主要的计算复杂度为奇异值分 1VD1 解和矩阵求逆，故本算法时间复杂度最高为O(m), 2.2.3固定P、v、b求解投影矩阵Q 假设算法迭代T次，则该部分的时间复杂度为 固定P、”、b后，式(4)转化为 O(Tm),从而整个算法的时间复杂度为O(Tm)。 m(X-b-PQ"(X- (14) 3实验 all VHl 令(X-b1)FD=G,则式(14)转化为 为评估SPL-OMSPCA算法的有效性，本文将 min IlG-POTG+all VHQll (15) 在UMIST6、JAFFE1M、AR181、BIO1咧、COIL2020 及MNISTP数据集上进行测试，每次实验独立随 式(15)的目标函数关于Q求偏导，并令其为 机，重复20次取平均识别率和标准差作为最后实 0得 验结果，并与PCA、SPCA、OMRPCA和JSPCA算 (GGT+aH)Q=GGTP 法作对比。 从而有 3.1数据集 Q=(GGT+aH)GGTP (16) 为测试SPL-OMSPCA对异常值的鲁棒性，将 2.2.4固定Q、"、b求解恢复矩阵P UMIST数据集的每个图像随机添加13×13的块 固定Q、”、b后，式(4)转化为 遮挡；随机抽取JAFFE数据集50%的图像添加 min((x-b1)-Pe"(x-b1)VD 13×13块遮挡，而对AR、BIO、COIL20和 MNIST数据集随机添加10%的椒盐噪声。各数 s.t.PTP=I 据集的具体特征如表1所示，而各数据集的部分 或等价形式为 图像如图1。 minVD VV(X-b1')-VDVV(X-b1'op 表1不同数据集的属性及特点 s.tPTP=I Table 1 Attributes and characteristics of different datasets (17) 约束条件PP=I意味着P是列正交矩阵。 数据集 样本数 类别数 规模 特征 设(X-b1)VD(X-b1)TQ的奇异值分解为E2W,U2, UMIST 575 20 28×32 有较大姿态变化 则由文献[9]中定理知，式(17)的最优解为 JAFFE 200 10 32×32 有面部表情变化 P=E2U; (18) 有光照表情变化 以上过程不断迭代，直到收敛条件满足为止， AR 3120 120 32×32 部分图像有遮挡 具体算法如算法1。 BIO 1460 22 32×32 样本较相似 算法1SPL-OMSPCA COIL20 1440 20 32×32 姿态间隔拍摄 输入样本X,维度d,参数k、α、B和步长 输出投影矩阵Q。 MNIST 1000 10 28×28 样本较相似 迭代执行以下操作，直到模型收敛： 1)通过式(8)计算： 2)通过式(12)、(13)计算b: 3)通过式(16)计算Q: 4)通过式(18)计算P: (a)UMIST数据集 (b)JAFFE数据集 5)通过式（⑤）计算D: 6)通过式(6)计算H; 0王3米 7更新k:k=k/μo 56087 得到投影矩阵Q之后，运用最近邻分类器 (c)COL20数据集 (d)MNIST数据集 (nearest neighbor classifier,.NN)进行分类： 图1部分含噪数据集的可视化 a-w (19) Fig.1 Visualization of some datasets with noise 3.2实验结果及分析 式中：c为测试样本y的预测标签；c:为第i个样 在各数据集的每类中随机选取L张图像作为特解为 U1 的第 s+1 列，即 c = (U1)s+1，从而有 b = (U1)s+1 + XV D1 1 TV D1 (13) 2.2.3 固定 P、v、b 求解投影矩阵 Q 固定 P、v、b 后，式 (4) 转化为 min Q (X− b1 T − PQT (X− b1 T )) √ V √ D 2 F + α|| √ HQ||2 F (14) ( X− b1 T ) √ V √ 令 D = G ，则式 (14) 转化为 min Q ||G− PQTG||2 F +α|| √ HQ||2 F (15) 式 (15) 的目标函数关于 Q 求偏导，并令其为 0 得 ( GGT +αH ) Q = GGT P 从而有 Q = ( GGT +αH )−1 GGT P (16) 2.2.4 固定 Q、v、b 求解恢复矩阵 P 固定 Q、v、b 后，式 (4) 转化为 min P ((X− b1 T ) − PQT ( X− b1 T )) √ V √ D 2 F s.t.P T P = I 或等价形式为 min P √ D √ V(X− b1 T ) T − √ D √ V(X− b1 T ) TQPT 2 F s.t.P T P = I (17) P T P = I P (X− b1 T )V D(X− b1 T ) TQ E2W2U2 T 约束条件 意味着 是列正交矩阵。 设 的奇异值分解为 ， 则由文献 [9] 中定理知，式 (17) 的最优解为 P = E2U T 2 (18) 以上过程不断迭代,直到收敛条件满足为止， 具体算法如算法 1。 算法 1 SPL-OMSPCA 输入 样本 X ，维度 d ，参数 k、α、β 和步长 µ ； 输出 投影矩阵 Q。 迭代执行以下操作，直到模型收敛： 1) 通过式 (8) 计算 v ； 2) 通过式 (12)、(13) 计算 b ； 3) 通过式 (16) 计算 Q ； 4) 通过式 (18) 计算 P ； 5) 通过式 (5) 计算 D ； 6) 通过式 (6) 计算 H ； 7) 更新 k：k = k/µ。 得到投影矩阵 Q 之后，运用最近邻分类器 (nearest neighbor classifier, NN) 进行分类： c = argminci   ∑m j=1 (X j i −yj) 2   1/2 (19) c y ci 式中： 为测试样本 的预测标签； 为第 i 个样 本的类标签。 O(m 3 ) T O(Tm3 ) O(Tm3 ) 在算法 1 中，主要的计算复杂度为奇异值分 解和矩阵求逆，故本算法时间复杂度最高为 ， 假设算法迭代 次，则该部分的时间复杂度为 ，从而整个算法的时间复杂度为 。 3 实验 为评估 SPL-OMSPCA 算法的有效性，本文将 在 UMIST[16] 、JAFFE[17] 、AR[18] 、BIO[19] 、COIL20[20] 及 MNIST[21] 数据集上进行测试，每次实验独立随 机，重复 20 次取平均识别率和标准差作为最后实 验结果，并与 PCA、SPCA、OMRPCA和 JSPCA 算 法作对比。 3.1 数据集 13×13 13×13 为测试 SPL-OMSPCA 对异常值的鲁棒性，将 UMIST 数据集的每个图像随机添加 的块 遮挡；随机抽取 JAFFE 数据集 50% 的图像添加 块遮挡，而 对 A R 、 BIO 、 COIL2 0 和 MNIST 数据集随机添加 10% 的椒盐噪声。各数 据集的具体特征如表 1 所示，而各数据集的部分 图像如图 1。 表 1 不同数据集的属性及特点 Table 1 Attributes and characteristics of different datasets 数据集 样本数 类别数 规模 特征 UMIST 575 20 28×32 有较大姿态变化 JAFFE 200 10 32×32 有面部表情变化 AR 3120 120 32×32 有光照表情变化 部分图像有遮挡 BIO 1460 22 32×32 样本较相似 COIL20 1440 20 32×32 姿态间隔拍摄 MNIST 1000 10 28×28 样本较相似 (a) UMIST 数据集 (b) JAFFE 数据集 (c) COIL20 数据集 (d) MNIST 数据集 图 1 部分含噪数据集的可视化 Fig. 1 Visualization of some datasets with noise 3.2 实验结果及分析 在各数据集的每类中随机选取 L 张图像作为 第 3 期 许子微，等：自步稀疏最优均值主成分分析 ·419·