·540· 智能系统学报 第13卷 3.2.2定量分析 1.05 ◆本文提出的算法 --cICA MI 文献1刀提出的方法 -NLSI R MI 将提出的方法与M.Bleyer等提出的Patch- 1.00 Match方法进行比较，如图10所示。可以看出当 0.95 迭代次数为4时，两个算法基本收敛，并且迭代次 0.90 数等于3与等于4差大概3%，差距减小的速度小 X0.85 了很多。本文提出的方法比原方法在同样的迭代 0.80 次数下能够减小5%的错误率。 0.75 50 0.70 13579111315171921 人物 40 图11不同方法对应的前20个人物的相关系数 原Patchmatch算法 Fig.11 The correlation coefficient of the top 20 individu- 本文改进算法 als corresponding to different methods L20 以人物1(bs000的PRD姿态)为例，比较人 物真实的22个特征点的深度值与本文算法重建 10 所得到的值。为了进行比较，将深度值进行了归 0123456789 一化，归一化到[0,1]。通过式(13)对估计的深度 选代次数 值进行归一化叫： 图10 PatchMatch与本文方法的错误率比较 M:-Mmin (13) Fig.10 Error rate of PatchMatch and proposed method M.=M -Mi 表1展示了数据库中前20个人物对应5个 式中：M:是M,的归一化深度值，Mm和M是最小 姿态下PBM(percentage of bad matching pixel)的平 深度和最大深度。 均值，PBM表示错误匹配点的百分比，计算如式 从图12中可以看出，人脸特征点中的大部分 (1I)所示，PBM值越小表示重建得越准确。可以 的点得到了正确的估计。可以看出算法能够较好 看出，在每个姿态下，本文提出的方法具有最高 地恢复出人脸的三维深度。 的PBM值。 1 1.2「◆真实的深度值 PBM=x∑ D(x,y) (11) ■一本文算法估计的深度值 1.0 np (ty) 式中Dx,y)计算如式(12)： ∫0，ldE(x,y)-dT(x,y≤6adl Dx)=1,其他 (12) 0.6 0.4 式中6取值为1。 0.2 表1不同方法在人脸不同姿态下的PBM值 Table 1 PBM of different face pose on different methods 7911131517192123 PBM值 PR D PR SD PR SU PR U YR RI0 脸部特征点的编号 Meshstereo 50.73 46.70 44.29 43.13 46.44 图12 真实人脸特征点的深度值与本文方法估计的人脸 PatchMatch 21.73 特征点深度值的比较 20.87 20.25 20.27 19.13 Fig.12 Comparison of depth of face key points between 本文算法15.7814.5814.5414.92 14.27 ground truth and estimated value by proposed method 图11将本文所提出的算法与NLS11方法、 综上所述，无论是与双目匹配算法比较，还是 ICA算法（被称为CICA MI算法），以及基于块 匹配算法的双目匹配的算法进行比较。为了与 与人脸重建算法进行比较，本文提出的算法都表 这些算法进行比较，计算脸部基准图中的22个关 现出了较好的性能。 键点的深度值与本文提出算法建立的深度图中对 4结束语 应点的相关系数。图11比较了数据库中的前 20个人物的相关系数。从图7中可以看出，本文 本文通过分析人脸的拓扑结构，结合双目立 算法的相关系数普遍高于另外3种算法，只有人 体视觉系统，提出了一种新颖的人脸稠密三维点 物2的相关性低于别的算法，根据测试结果，分析 云的三维重建方法。通过对人脸进行关键点检 发现是22点中的右眼内角点与实际差别较大。 测，获取稀疏的人脸视差值，然后结合线性插值3.2.2 定量分析 将提出的方法与 M. Bleyer 等提出的 Patch￾Match 方法进行比较，如图 10 所示。可以看出当 迭代次数为 4 时，两个算法基本收敛，并且迭代次 数等于 3 与等于 4 差大概 3%，差距减小的速度小 了很多。本文提出的方法比原方法在同样的迭代 次数下能够减小 5% 的错误率。 50 40 30 20 10 0 error ＞1像素/% 1 2 3 4 5 6 7 8 9 迭代次数 原Patchmatch算法 本文改进算法 图 10 PatchMatch 与本文方法的错误率比较 Fig. 10 Error rate of PatchMatch and proposed method 表 1 展示了数据库中前 20 个人物对应 5 个 姿态下 PBM(percentage of bad matching pixel) 的平 均值，PBM 表示错误匹配点的百分比，计算如式 (11) 所示，PBM 值越小表示重建得越准确。可以 看出，在每个姿态下，本文提出的方法具有最高 的 PBM 值。 PBM = 1 np × ∑ (x,y) D(x, y) (11) 式中 D(x, y) 计算如式 (12)： D(x, y) = { 0, |dE(x, y)−dT(x, y) ⩽ δd| 1, 其他 (12) 式中 δd取值为 1。 表 1 不同方法在人脸不同姿态下的 PBM 值 Table 1 PBM of different face pose on different methods % PBM 值 PR_D PR_SD PR_SU PR_U YR_R10 Meshstereo 50.73 46.70 44.29 43.13 46.44 PatchMatch 21.73 20.87 20.25 20.27 19.13 本文算法 15.78 14.58 14.54 14.92 14.27 图 11 将本文所提出的算法与 NLS[10]方法、 ICA 算法[11] (被称为 cICA_MI 算法)，以及基于块 匹配算法[18]的双目匹配的算法进行比较。为了与 这些算法进行比较，计算脸部基准图中的 22 个关 键点的深度值与本文提出算法建立的深度图中对 应点的相关系数。图 11 比较了数据库中的前 20 个人物的相关系数。从图 7 中可以看出，本文 算法的相关系数普遍高于另外 3 种算法，只有人 物 2 的相关性低于别的算法，根据测试结果，分析 发现是 22 点中的右眼内角点与实际差别较大。 0.70 0.75 0.80 0.85 0.90 0.95 1.00 1.05 1 3 5 7 9 11 13 15 17 19 21 相关系数 人物 本文提出的算法 文献[17]提出的方法 cICA_MI NLS1_R_MI 图 11 不同方法对应的前 20 个人物的相关系数 Fig. 11 The correlation coefficient of the top 20 individu￾als corresponding to different methods 以人物 1(bs000 的 PR_D 姿态) 为例，比较人 物真实的 22 个特征点的深度值与本文算法重建 所得到的值。为了进行比较，将深度值进行了归 一化，归一化到[0，1]。通过式 (13) 对估计的深度 值进行归一化[11] ： M′ z = Mz − Mmin z Mmax z − Mmin z (13) M′ z Mz Mmin z Mmax 式中： 是 的归一化深度值 z , 和 是最小 深度和最大深度。 从图 12 中可以看出，人脸特征点中的大部分 的点得到了正确的估计。可以看出算法能够较好 地恢复出人脸的三维深度。 0 0.2 0.4 0.6 0.8 1.0 1.2 1 3 5 7 9 11 13 15 17 19 21 23 归一化的深度值 脸部特征点的编号 真实的深度值 本文算法估计的深度值 图 12 真实人脸特征点的深度值与本文方法估计的人脸 特征点深度值的比较 Fig. 12 Comparison of depth of face key points between ground truth and estimated value by proposed method 综上所述，无论是与双目匹配算法比较，还是 与人脸重建算法进行比较，本文提出的算法都表 现出了较好的性能。 4 结束语 本文通过分析人脸的拓扑结构，结合双目立 体视觉系统，提出了一种新颖的人脸稠密三维点 云的三维重建方法。通过对人脸进行关键点检 测，获取稀疏的人脸视差值，然后结合线性插值 ·540· 智 能 系 统 学 报 第 13 卷