陕西师范大学学报（自然科学版）：因式分解的三维非刚体重建方法（梁新刚）

2018 49 F Journal of Shaanxi Normal University(Natural Science Edition) Sep, 201U 第46卷第5期 西师范大学学报(自然科学版) Vol 引用格式:梁新刚,因式分解的三维非刚体重建方法[冂].陕西师范大学学报(自然科学版),2018,46(5):16-21.[ LIANG X G A factorization method for 3D non rigid reconstruction[J] Journal of Shaanxi Normal University(Natural Science Edition) 2018,46(5):16-21.]DO1:10.15983/.cnki.jsnu.2018.05.153 因式分解的三维非刚体重建方法 梁新刚12 (1现代教学技术教育部重点实验室,陕西西安710062; 2陕西师范大学计算机科学学院,陕西西安710119) 摘要:为了实现三维非刚体的重建,提出了一种因式分解的三维非刚体重建方法,该方法首先利 用图像点和深度因子构成的图像矩阵为低秩的特性,求到相差一个变换矩阵的射影重建;再利用投 影矩阵的约柬关系,线性地求解岀该变换矩阵,完成到欧氏重建的过渡。该方法采用线性方法求变 换矩阵,而且在求解过程中将所有图像平等地对待。模拟实验和真实实验数据结果表明,该重建方 具有鲁棒性妤、重投影误差小等优点。 关键词:非刚体;三维重建;因式分解 中图分类号:TP391.1文献标志码:A文章编号:1672-4291(2018)05-0016-06 a factorization method for 3d non-rigid reconstruction LIANG Xingang. (1 Key Laboratory of Modern Teaching Technology, Ministry of Education Xi'an 710062, Shaanxi China 2 School of Computer Science, Shaanxi Normal University Xi'an 710119, Shaanxi, China) Abstract: To reconstruction the 3D non-rigid from a un-calibration image sequence, a factorization method for 3D non-rigid reconstruction is presented. Firstly, based on the character that the im- age matrix composed by all the image points and depth factors is a low rank, the projective recon- truction which is different a transformation matrix with the real one is obtained. the transfor mation matrix can be linearly solved based on the constraints of the projective matrix, and the re- construction can be upgrade to the euclid one. The innovation of the method is that the solving of the transformation matrix is linear and all the images are treated uniformly. The experiments with both simulate and real data show that the method presented in the paper is efficient Keywords: non-rigid; 3D reconstruction; factorization MR Subject classification: 68T35 -08-31 基金项目:国家自然科学基金(61402274);现代教学技术教育部重点实验室学习科学交叉学科培育计划;陕西师范大学 实验技术研究项目(SYJS201314) 作者简介:梁新刚,男,讲师,主要研究方向为三维重建、计算机视觉。E-mail:1072600059@qq.com

第４６卷 第５期 陕西师范大学学报（自然科学版） Ｖｏｌ．４６ Ｎｏ．５ ２０１８年９月 ＪｏｕｒｎａｌｏｆＳｈａａｎｘｉＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙ（ＮａｔｕｒａｌＳｃｉｅｎｃｅＥｄｉｔｉｏｎ） Ｓｅｐ．，２０１８ 引用格式：梁新刚．因式分解的三维非刚体重建方法［Ｊ］．陕西师范大学学报（自然科学版），２０１８，４６（５）：１６２１．［ＬＩＡＮＧＸＧ． Ａｆａｃｔｏｒｉｚａｔｉｏｎｍｅｔｈｏｄｆｏｒ３Ｄｎｏｎｒｉｇｉｄｒｅｃｏｎｓｔｒｕｃｔｉｏｎ［Ｊ］．ＪｏｕｒｎａｌｏｆＳｈａａｎｘｉＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙ （ＮａｔｕｒａｌＳｃｉｅｎｃｅＥｄｉｔｉｏｎ）， ２０１８，４６（５）：１６２１．］犇犗犐：１０．１５９８３／ｊ．ｃｎｋｉ．ｊｓｎｕ．２０１８．０５．１５３ 收稿日期：２０１７０８３１ 基金项目：国家自然科学基金（６１４０２２７４）；现代教学技术教育部重点实验室学习科学交叉学科培育计划；陕西师范大学 实验技术研究项目（ＳＹＪＳ２０１３１４） 作者简介：梁新刚，男，讲师，主要研究方向为三维重建、计算机视觉。Ｅｍａｉｌ：１０７２６０００５９＠ｑｑ．ｃｏｍ 因式分解的三维非刚体重建方法 梁 新 刚１，２ （１ 现代教学技术教育部重点实验室，陕西 西安 ７１００６２； ２陕西师范大学 计算机科学学院，陕西 西安 ７１０１１９） 摘 要：为了实现三维非刚体的重建，提出了一种因式分解的三维非刚体重建方法，该方法首先利 用图像点和深度因子构成的图像矩阵为低秩的特性，求到相差一个变换矩阵的射影重建；再利用投 影矩阵的约束关系，线性地求解出该变换矩阵，完成到欧氏重建的过渡。该方法采用线性方法求变 换矩阵，而且在求解过程中将所有图像平等地对待。模拟实验和真实实验数据结果表明，该重建方 法具有鲁棒性好、重投影误差小等优点。 关键词：非刚体；三维重建；因式分解 中图分类号：ＴＰ３９１．１ 文献标志码：Ａ 文章编号：１６７２４２９１（２０１８）０５００１６０６ 犃犳犪犮狋狅狉犻狕犪狋犻狅狀犿犲狋犺狅犱犳狅狉３犇狀狅狀狉犻犵犻犱狉犲犮狅狀狊狋狉狌犮狋犻狅狀 ＬＩＡＮＧＸｉｎｇａｎｇ１，２ （１ＫｅｙＬａｂｏｒａｔｏｒｙｏｆＭｏｄｅｒｎＴｅａｃｈｉｎｇＴｅｃｈｎｏｌｏｇｙ，ＭｉｎｉｓｔｒｙｏｆＥｄｕｃａｔｉｏｎ， Ｘｉ′ａｎ７１００６２，Ｓｈａａｎｘｉ，Ｃｈｉｎａ； ２ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ，ＳｈａａｎｘｉＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙ， Ｘｉ′ａｎ７１０１１９，Ｓｈａａｎｘｉ，Ｃｈｉｎａ） 犃犫狊狋狉犪犮狋：Ｔｏｒｅｃｏｎｓｔｒｕｃｔｉｏｎｔｈｅ３Ｄｎｏｎｒｉｇｉｄｆｒｏｍａｕｎｃａｌｉｂｒａｔｉｏｎｉｍａｇｅｓｅｑｕｅｎｃｅ，ａｆａｃｔｏｒｉｚａｔｉｏｎ ｍｅｔｈｏｄｆｏｒ３Ｄｎｏｎｒｉｇｉｄｒｅｃｏｎｓｔｒｕｃｔｉｏｎｉｓｐｒｅｓｅｎｔｅｄ．Ｆｉｒｓｔｌｙ，ｂａｓｅｄｏｎｔｈｅｃｈａｒａｃｔｅｒｔｈａｔｔｈｅｉｍ ａｇｅｍａｔｒｉｘｃｏｍｐｏｓｅｄｂｙａｌｌｔｈｅｉｍａｇｅｐｏｉｎｔｓａｎｄｄｅｐｔｈｆａｃｔｏｒｓｉｓａｌｏｗｒａｎｋ，ｔｈｅｐｒｏｊｅｃｔｉｖｅｒｅｃｏｎ ｓｔｒｕｃｔｉｏｎｗｈｉｃｈｉｓｄｉｆｆｅｒｅｎｔａｔｒａｎｓｆｏｒｍａｔｉｏｎｍａｔｒｉｘｗｉｔｈｔｈｅｒｅａｌｏｎｅｉｓｏｂｔａｉｎｅｄ．Ｔｈｅｔｒａｎｓｆｏｒ ｍａｔｉｏｎｍａｔｒｉｘｃａｎｂｅｌｉｎｅａｒｌｙｓｏｌｖｅｄｂａｓｅｄｏｎｔｈｅｃｏｎｓｔｒａｉｎｔｓｏｆｔｈｅｐｒｏｊｅｃｔｉｖｅｍａｔｒｉｘ，ａｎｄｔｈｅｒｅ ｃｏｎｓｔｒｕｃｔｉｏｎｃａｎｂｅｕｐｇｒａｄｅｔｏｔｈｅＥｕｃｌｉｄｏｎｅ．Ｔｈｅｉｎｎｏｖａｔｉｏｎｏｆｔｈｅｍｅｔｈｏｄｉｓｔｈａｔｔｈｅｓｏｌｖｉｎｇｏｆ ｔｈｅｔｒａｎｓｆｏｒｍａｔｉｏｎ ｍａｔｒｉｘｉｓｌｉｎｅａｒａｎｄａｌｌｔｈｅｉｍａｇｅｓａｒｅｔｒｅａｔｅｄｕｎｉｆｏｒｍｌｙ．Ｔｈｅｅｘｐｅｒｉｍｅｎｔｓ ｗｉｔｈｂｏｔｈｓｉｍｕｌａｔｅａｎｄｒｅａｌｄａｔａｓｈｏｗｔｈａｔｔｈｅｍｅｔｈｏｄｐｒｅｓｅｎｔｅｄｉｎｔｈｅｐａｐｅｒｉｓｅｆｆｉｃｉｅｎｔ． 犓犲狔狑狅狉犱狊：ｎｏｎｒｉｇｉｄ；３Ｄｒｅｃｏｎｓｔｒｕｃｔｉｏｎ；ｆａｃｔｏｒｉｚａｔｉｏｎ 犕犚犛狌犫犼犲犮狋犮犾犪狊狊犻犳犻犮犪狋犻狅狀：６８Ｔ３５

第5期 梁新刚:因式分解的三维非刚体重建方法 近年来,随着虚拟现实、计算机视觉和计算机图 形学等领域的不断发展,三维重建技术受到广泛关 (X:X,2…Xn)=∑ 注[2,该技术可以从普通数码相机获得的图像序列 (1) 中得到物体的三维模型,其最大的优点就是可以直 接从图像序列中重建出三维物体。 式中:X.,表示第j个三维空间点在第i帧时刻的非 早期的三维重建技术都是基于物体做刚体运动 齐次坐标,B为权值,B2为刚性基 的假设,其中最具有代表性的是 Tomasi等[提出 同时,假定相机为透视投影模型,非刚体成像过 的基于因式分解的三维重建方法,但基于刚体的假程可表示为 (ai1m. Ai,2m. ?".Ai.m s)3x 设对物体的运动提出了非常苛刻的条件,要求物体 任何两点之间的距离保持不变。然而在现实生活 (2) 中,有许多物体的运动并不满足该条件,如手指的弯式中:m,为第帧图像上第;个图像点的齐次坐标; 曲、动物的爬行、鱼的游动等,这些运动并不属于刚P,=K(R1t1)为相机的投影矩阵,R1、t1为外参矩 体运动,而属于非刚体运动。非刚体运动比刚体运 动要复杂得多,重建的难度也大很多。为了重建出阵k=00f,v为内参矩阵(aw)为主 非刚体的物体, Bregler等首先提出了非刚体由若 干个刚体基线性组成的假设,并在正投影模型下,重点坐标,f为以像素为单位的焦距,δ为比例因子 建了非刚体的运动,后来许多非刚体三维重建方法s为畸变因子)。 都是基于此假设[。Tao等采用机器学习的方 将(1)式代入(2)式可得 法获取非刚体的先验知识,再对非刚体进行三维重 A,m1,n)3×m 建,但一般情况下,非刚体的先验知识很难获取 Khan0将物体的运动分为刚体运动部分和非刚体 1.B P (3) 运动部分,利用刚体运动部分对相机进行标定,然后 利用这些标定参数实现整个非刚体的重建,但是对令Q为P的前3列,p为P的第四列,则(3)式为 于一般的物体,很难将物体的运动分成刚体运动和 非刚体运动两部分,因此这种方法在实际应用中很 难推广。而且现有的非刚体重建方法大都基于相机 (Q:p:)1 (4) 为正投影模型的假设1013。正投影模型要求相机 到物体的距离远大于物体的景深,否则误差较大。对上式整理可得 而针孔模型相对于正投影模型更加符合真实情况,(Aam,nA,2m2…x,um,)3xm= 重建精度将更高 为了从图像序列中重建出三维非刚体,本文首 B 先利用秩的约束,求到相差一个变换矩阵的射影重 建,再利用投影矩阵的约束关系,线性地求解出该变 (.Q:B.Q…A.1Q1p1)3x(3H1 换矩阵,完成到欧氏重建的过渡。该方法的优点是 采用了线性的方法求变换矩阵,而且在求解时将图 像平等地对待。 若将所有的图像放在一起,则有 1非刚体成像模型 (6) 假设非刚体由n个三维空间点(XX1 w 式中W3mx X.n)组成,根据 Bregler的假设,非刚体可以认为由 若干个刚性基线性加权组成5,即

第５期 梁新刚：因式分解的三维非刚体重建方法 １７ 近年来，随着虚拟现实、计算机视觉和计算机图 形学等领域的不断发展，三维重建技术受到广泛关 注［１２］，该技术可以从普通数码相机获得的图像序列 中得到物体的三维模型，其最大的优点就是可以直 接从图像序列中重建出三维物体［３］。 早期的三维重建技术都是基于物体做刚体运动 的假设，其中最具有代表性的是 Ｔｏｍａｓｉ等［４］提出 的基于因式分解的三维重建方法，但基于刚体的假 设对物体的运动提出了非常苛刻的条件，要求物体 任何两点之间的距离保持不变。然而在现实生活 中，有许多物体的运动并不满足该条件，如手指的弯 曲、动物的爬行、鱼的游动等，这些运动并不属于刚 体运动，而属于非刚体运动。非刚体运动比刚体运 动要复杂得多，重建的难度也大很多。为了重建出 非刚体的物体，Ｂｒｅｇｌｅｒ等［５］首先提出了非刚体由若 干个刚体基线性组成的假设，并在正投影模型下，重 建了非刚体的运动，后来许多非刚体三维重建方法 都是基于此假设［６８］。Ｔａｏ等［９］采用机器学习的方 法获取非刚体的先验知识，再对非刚体进行三维重 建，但 一 般 情 况 下，非 刚 体 的 先 验 知 识 很 难 获 取。 Ｋｈａｎ［１０］将物体的运动分为刚体运动部分和非刚体 运动部分，利用刚体运动部分对相机进行标定，然后 利用这些标定参数实现整个非刚体的重建，但是对 于一般的物体，很难将物体的运动分成刚体运动和 非刚体运动两部分，因此这种方法在实际应用中很 难推广。而且现有的非刚体重建方法大都基于相机 为正投影模型的假设［１０１２］。正投影模型要求相机 到物体的距离远大于物体的景深，否则误差较大。 而针孔模型相对于正投影模型更加符合真实情况， 重建精度将更高。 为了从图像序列中重建出三维非刚体，本文首 先利用秩的约束，求到相差一个变换矩阵的射影重 建，再利用投影矩阵的约束关系，线性地求解出该变 换矩阵，完成到欧氏重建的过渡。该方法的优点是 采用了线性的方法求变换矩阵，而且在求解时将图 像平等地对待。 １ 非刚体成像模型 假设非刚体由狀 个三维空间 点 （犡犻，１ 犡犻，２ … 犡犻，狀）组成，根据 Ｂｒｅｇｌｅｒ的假设，非刚体可以认为由 若干个刚性基线性加权组成［５］，即 （犡犻，１ 犡犻，２ … 犡犻，狀）＝ ∑ 犾 犽＝１ β犻，犽（犫１犽 犫２犽 …犫狀犽）＝ ∑ 犾 犽＝１ β犻，犽犅犽。 （１） 式中：犡犻，犼 表示第犼个三维空间点在第犻帧时刻的非 齐次坐标，β犻，犽 为权值，犅犽 为刚性基。 同时，假定相机为透视投影模型，非刚体成像过 程可表示为 （λ犻，１犿犻，１ λ犻，２犿犻，２ …λ犻，狀犿犻，狀）３×狀 ＝ 犘犻 犡犻，１ 犡犻，２ … 犡犻，狀 １ １ … 烄 烆 烌 １ 烎４×狀 。 （２） 式中：犿犻，犼 为第犻帧图像上第犼个图像点的齐次坐标； 犘犻 ＝犓犻（犚犻 狋犻）为相机的投影矩阵，犚犻、狋犻 为外参矩 阵，犓犻 ＝ 犳犐 狊 狌０ ０ δ犳犻 狏０ 烄 烆 烌 ０ ０ １烎 为内参矩阵（（狌０ 狏０）为主 点坐标，犳 为以像素为单位的焦距，δ为比例因子， 狊为 畸变因子）。 将（１）式代入（２）式可得 （λ犻，１犿犻，１ λ犻，２犿犻，２ … λ犻，狀犿犻，狀）３×狀 ＝ 犘犻 ∑ 犾 犽＝１ β犻，犽犅犽 烄 烆 烌 １ 烎４×狀 。 （３） 令犙犻 为犘犻 的前３列，狆犻 为犘犻 的第四列，则（３）式为 （λ犻，１犿犻，１ λ犻，２犿犻，２ … λ犻，狀犿犻，狀）３×狀 ＝ （犙犻 狆犻） ∑ 犾 犽＝１ β犻，犽犅犽 烄 烆 烌 １ 烎４×狀 。 （４） 对上式整理可得 （λ犻，１犿犻，１ λ犻，２犿犻，２…λ犻，狀犿犻，狀）３× 烏 烐 烑 狀 狑犻 ＝ （β犻，１犙犻 β犻，２犙犻 …β犻，１犙犻 狆犻）３×（３犾＋１ 烏 烐 烑 ） 犕犻 犅１ 犅２  犅犾 烄 烆 烌 犅（ １烎 ３犾＋１）×狀 。（５） 若将所有的图像放在一起，则有 犠３犿×狀 ＝ 犕３犿×（３犾＋１）犅（３犾＋１）×狀， （６） 式中犠３犿×狀 ＝ 犠１ 犠２  犠 烄 烆 烌 犿烎 ，犕３犿×（３犾＋１） ＝ 犕１ 犕２  犕 烄 烆 烌 犿烎

18 陕西师范大学学报(自然科学版) 第46卷 当l=1时,B退化成刚体的情况。 M:=(Bi. K,R, Bi2K, R 对于(6)式,已知的图像点m,(i=1,2,…,m, 月.KR;Kt;)x(s+1。 (11) j=1,2,…,n),未知数包括深度因子λ,、权值月,k 由(8)式和(11)式可得 刚性基B1和投影矩阵P2(即Q和p:) M1=MA(31X(3+1(i=1,2,…,m)。(12) 对于(6)式中的图像矩阵W3n,一般情况有将上式展开,则有 (3l+1)(3l+1)×(3l+2)/2+m+m+4,即至少需 假设通过SVD分解,求到了一组M3 B(3H1xm,根据(7)式,有 要(92+9+10)/8幅图像。若相机在照相过程内参 矩阵保持不变,那么至少需要的图像数m应该满足 uX(3H+1)=M 6m>(3l+1)×(3l+2)/2+m+5,即m B 3/+1)x =A3+1)x(3+1)B(3+1 3(32+3l+4)/10 式中M3m×(3M+1)和B(a4+1)xn是要求的欧氏空间中的投 若求出G1,利用SVD分解可以求出矩阵A,当 影矩阵和刚性基。 求到所有的矩阵A,时,从(10)式可以看出,矩阵 为了描述方便,令(8)式中的M3m mX(3H+1) A31x(341)中还剩下最后一列a。为了求最后一列 a,可以令世界坐标位于物体的中心,即有 M Pi. be (9) 式中Bk表示Bk的平均值。 对于第i幅图像,其平均值为 m3mx(3H+1) 3H+1)X(3+1) 1 a),(10) 式中M1(=1,2,…,m)和A,(j=1,2,…,1)分别 ,二nA,m=P=,B 为3个行向量和列向量一组的矩阵,a为A(31)x(+1 中的最后一个列向量 Q∑AB4+p=p。 (18) 对于第i幅图像,由(5)式及(2)式可得

１８ 陕西师范大学学报（自然科学版） 第４６卷 当犾＝１时，犅 退化成刚体的情况。 对于（６）式，已知的图像点犿犻，犼（犻＝１，２，…，犿， 犼＝１，２，…，狀），未知数包括深度因子λ犻，犼、权值β犻，犽、 刚性基犅犽 和投影矩阵犘犻（即犙犻 和狆犻）。 对于（６）式中的图像矩阵 犠３犿×狀，一 般 情 况 有 （３犾＋１）＜ ｍｉｎ（３犿，狀），因此犠３犿×狀 不是一个满秩矩 阵，其秩为３犾＋１。利用犠３犿×狀 为低秩矩阵的特性，可 以求解出所有深度因子［１３］。若深度因子λ犻，犼 已知，则 可 以 通 过 ＳＶＤ 分 解 很 容 易 求 到 犕３犿×（３犾＋１） 和 犅（３犾＋１）×狀，但从（６）式中可以看出，对于任何一个非奇 异矩阵犃（３犾＋１）×（３犾＋１），都有 犠３犿×狀 ＝ 犕３犿×（３犾＋１）犅（３犾＋１）×狀 ＝ 犕３犿×（３犾＋１）犃－１ （３犾＋１）×（３犾＋１）犃（３犾＋１）×（３犾＋１）犅（３犾＋１）×狀 ＝ 犕′ ３犿×（３犾＋１）犅′ （３犾＋１）×狀， （７） 式中 犕′ ３犿×（３犾＋１） ＝ 犕３犿×（３犾＋１）犃－１ （３犾＋１）（３犾＋１），犅′ （３犾＋１）×狀 ＝ 犃（３犾＋１）×（３犾＋１）犅（３犾＋１）×狀。 从（７）式可以看出，如果没有任何先验知识，不 能 知 道 所 求 得 的 重 建 对 应 的 是 哪 一 个 变 换 犃（３犾＋１）×（３犾＋１），但可以知道 犕３犿×（３犾＋１） 是由相机的投影 矩阵组成，其内部之间存在一定的约束关系，利用这 些约束关系，可以求解到变换矩阵犃（３犾＋１）×（３犾＋１），下面 就对变换矩阵犃（３犾＋１）×（３犾＋１） 进行求解。 ２ 欧氏重建 假设通过 ＳＶＤ 分解，求到了一组 犕′ ３犿×（３犾＋１） 和 犅′ （３犾＋１）×狀，根据（７）式，有 犕３犿×（３犾＋１） ＝ 犕′ ３犿×（３犾＋１）犃（３犾＋１）×（３犾＋１）， 犅（３犾＋１）×狀 ＝犃－１ （３犾＋１）×（３犾＋１）犅′ （３犾＋１）×狀。 （８） 式中 犕３犿×（３犾＋１） 和犅（３犾＋１）×狀 是要求的欧氏空间中的投 影矩阵和刚性基。 为了 描 述 方 便，令 （８）式 中 的 犕′ ３犿×（３犾＋１） 和 犃（３犾＋１）×（３犾＋１） 为 犕′ ３犿×（３犾＋１） ＝ ＾犕１ ＾犕２  ＾犕 烄 烆 烌 犿烎３犿×（３犾＋１） ， （９） 犃（３犾＋１）×（３犾＋１） ＝ （＾犃１ ＾犃２ … ＾犃犾 ＾犪）， （１０） 式中 ＾犕犻（犻＝１，２，…，犿）和＾犃犼（犼＝１，２，…，犾）分别 为３个行向量和列向量一组的矩阵，＾犪为犃（３犾＋１）×（３犾＋１） 中的最后一个列向量。 对于第犻幅图像，由（５）式及（２）式可得 犕犻 ＝ （β犻，１犓犻犚犻 β犻，２犓犻犚犻 … β犻，犼犓犻犚犻 犓犻狋犻）３×（３犾＋１）。 （１１） 由（８）式和（１１）式可得 犕犻 ＝ ＾犕犻犃（３犾＋１）×（３犾＋１）（犻＝１，２，…，犿）。 （１２） 将上式展开，则有 β犻，犼犓犻犚犻 ＝ ＾犕犻 ＾犃犼， （１３） 式中犻＝１，２，…，犿；犼＝１，２，…，犾。 将上式两边各乘以其转置，并令Ω犻 ＝犓犻犓Ｔ 犻 （为 绝对二次曲面的像），则有 ＾犕犻 ＾犃犼 ＾犃Ｔ 犼 ＾犕Ｔ 犻 ＝β ２ 犻，犼犓犻犓Ｔ 犻 ＝β ２ 犻，犼Ω犻， （１４） 令 犌（犼）（３犾＋１）×（３犾＋１） ＝＾犃犼 ＾犃Ｔ 犼 ， （１５） 则（１４）式可以化为 ＾犕犻犌（犼）（３犾＋１）×（３犾＋１） ＾犕Ｔ 犻 ＝β ２ 犻，犼Ω犻。 （１６） 从（１５）式可以看出，犌（犼）（３犾＋１）×（３犾＋１） 是一个对称矩 阵，它共有（３犾＋１）×（３犾＋２）／２个未知数；而（１６）式 可以提供６个线性方程，假设有犿 幅图像，则可以提 供６犿 个方程；同时，会增加犿 个β ２ 犻，犼 未知数。假设在 照相过程中，相机内参可以变化，则会增加 犿＋４个 未知数，是由于相机在调焦过程中，仅会改变相机内 参矩阵中的焦距犳；而相机一经生产，主点坐标、比 例因子和畸变因子等参数就保持固定不变，不会随 着 相 机 的 调 焦 而 发 生 变 化， 因 此 若 要 求 解 犌（犼）（３犾＋１）×（３犾＋１），那 么 至 少 需 要 的 图 像 数 犿 应 该 满 足 ６犿 ＞ （３犾＋１）×（３犾＋２）／２＋犿＋犿＋４，即至少需 要（９犾２ ＋９犾＋１０）／８幅图像。若相机在照相过程内参 矩阵保持不变，那么至少需要的图像数 犿 应该满足 ６犿 ＞ （３犾＋１）× （３犾＋２）／２＋ 犿 ＋５，即 犿 ＞ ３（３犾２ ＋３犾＋４）／１０。 若求出犌犼，利用ＳＶＤ分解可以求出矩阵＾犃犼。当 求到所有的矩阵＾犃犼 时，从（１０）式可以看出，矩阵 犃（３犾＋１）×（３犾＋１） 中还剩下最后一列＾犪。为了求最后一列 ＾犪，可以令世界坐标位于物体的中心，即有 ∑ 犾 犽＝１ β犻，犽犅珚犽 ＝０， （１７） 式中犅珚犽 表示犅犽 的平均值。 对于第犻幅图像，其平均值为 λ珔犻犿珡犻 ＝ １ 狀∑ 狀 犼＝１ λ犻，犼犿犻，犼 ＝犘犻 ∑ 犾 犽＝１ β犻，犽犅珚犽 烄 烆 烌 １ 烎 ＝ 犙犻∑ 犾 犽＝１ β犻，犽犅珚犽 ＋狆犻 ＝狆犻。 （１８）

第5期 梁新刚:因式分解的三维非刚体重建方法 对于所有的图像,则有 式中:e表示重投影误差,i和j分别表示第i帧图像 和第j个三维空间点,m和n分别表示图像数和空间 入n 点数,m…为第i帧图像上第j个图像点,P:为相机的 =M3m×(3H+1) (19) 投影矩阵,X,表示第i帧图像上第j个三维空间点, ‖·‖表示2范式 22)式的物理意义是三维空间点经过投影矩 阵,得到重投影图像点,然后求取重投影图像点和真 M p (20) 实图像点的平均误差。该重投影误差越小,重建精度 式中+表示为伪逆 越高;相反,投影误差越大,重建精度越低。 至此,已经将矩阵A3x+1×(3+1求解完毕,利用下 同时,为了研究空间点数对本文算法的影响,和 式可以求解出欧氏坐标下的投影矩阵M3mx(3+1和 上述方法一样,产生变化的相机内参数,但空间点数 非刚体的刚体基B(3+1)xm,实现非刚体的三维重建 从20个变化至150个,这些空间点按上述比例构成 3个刚体基元,利用这些三维空间点,产生150幅图 (3H+1 3mx(3H1)4(3+1)x(34+1) Aa+1)×(3+1)B(3+1)xn (21)像,并在图像中加入1个像素的高斯噪声。在每个空 1)x 间点数目下分别运行100次,求得平均重投影误差 3算法 如图2所示 将有图像点放入图像矩阵W3mxn中,利用秩的 约束,求取深度因子λ,并实现物体的射影重建 Ⅵ3mx(3H+1)和B(a计+1)×m 利用(16)式求出屏,和G+1)x(3+1(=1,2 ,1),再利用SVD分解求出矩阵A;s+1)x3 利用(17)式求到每幅图像的平均值Am。 利用(20)式求到向量a,即完成了矩阵 A:a)的求解。 图像数 利用(21)式,可以完成欧氏重建。 图1重投影误差随图像数变化 g. 1 Reprojective error vs. image number 4实验 4.1仿真实验 为了验证图像数对本文方法的影响,本文首先 亟1 产生一个变化的相机内参数f;=800+i(表示第i 幅图像),δ=1.1,s=0.5,lo=320,v=240。然 后,在一个单位球内随机产生100个三维空间点,并 将这些三维空间点分成3个刚体基元:第1个刚体 基元由前50%的空间点组成,第2个刚体基元由中 00120140 空间点数 间30%的空间点组成,第3个刚体基元由后20%的 图2重投影误差随空间点数变化图 空间点组成;同时变化相机的外参矩阵,产生 Fig 2 Reprojective error vs. space number 20~200幅大小为640480的图像,并在每幅图像 从图1和图2中可以看出,本文方法随着空间 中通过 MATLAB函数 Imnoise加入1个像素的高斯点数和图像数的增加,重投影误差会越来越小,但后 噪声。在每个图像数目下分别运行100次,然后利用面减小的速度会越来越慢。原因是空间点数和图像 (22)式求得平均重投影误差c1,实验结果如图1数比较少时,此时的方程数和未知数比较接近,因此 所示。 求到的余差就比较小;相反,空间点数和图像数比较 多时,方程数要多于未知数,因此余差就比较大,但 (22) 随着空间点数和图像数的增加,余差变化会越来越

第５期 梁新刚：因式分解的三维非刚体重建方法 １９ 对于所有的图像，则有 狆１ 狆２  狆 烄 烆 烌 ︸ 犿烎 犘３犿×１ ＝ λ珔犻犿珡１ λ珔犿犿珡２  λ珔犿犿珡 烄 烆 烌 犿烎 ＝ 犕珨３犿×（３犾＋１） ＾犪， （１９） 即 ＾犪＝ 犕珨＋ 狆， （２０） 式中 ＋ 表示为伪逆。 至此，已经将矩阵犃（３犾＋１）×（３犾＋１）求解完毕，利用下 式可以求解出欧氏坐标下的投影矩阵 犕３犿×（３犾＋１） 和 非刚体的刚体基犅（３犾＋１）×狀，实现非刚体的三维重建： 犕３犿×（３犾＋１） ＝ 犕′ ３犿×（３犾＋１）犃（３犾＋１）×（３犾＋１）， 犅（３犾＋１）×狀 ＝犃－１ （３犾＋１）×（３犾＋１）犅′ （３犾＋１）×狀 烅 烄 烆 。 （２１） ３ 算法 将有图像点放入图像矩阵 犠３犿×狀 中，利用秩的 约束，求 取 深 度 因 子λ犻，犼 并 实 现 物 体 的 射 影 重 建 犕′ ３犿×（３犾＋１） 和犅′ （３犾＋１）×狀。 利用（１６）式求出β ２ 犻，犼 和犌（犼）（３犾＋１）×（３犾＋１）（犼 ＝ １，２， …，犾），再利用ＳＶＤ分解求出矩阵＾犃犼（３犾＋１）×３。 利用（１７）式求到每幅图像的平均值λ珔犻犿珡犻。 利用 （２０）式 求 到 向 量 ＾犪， 即 完 成 了 矩 阵 犃（３犾＋１）×（３犾＋１） ＝ （＾犃１ ＾犃２ … ＾犃犾 ＾犪）的求解。 利用（２１）式，可以完成欧氏重建。 ４ 实验 ４．１ 仿真实验 为了验证图像数对本文方法的影响，本文首先 产生一个变化的相机内参数犳犻 ＝８００＋犻（犻表示第犻 幅图像），δ＝１．１，狊＝０．５，狌０ ＝３２０，狏０ ＝２４０。然 后，在一个单位球内随机产生１００个三维空间点，并 将这些三维空间点分成３个刚体基元：第１个刚体 基元由前５０％ 的空间点组成，第２个刚体基元由中 间３０％ 的空间点组成，第３个刚体基元由后２０％ 的 空 间 点 组 成；同 时 变 化 相 机 的 外 参 矩 阵，产 生 ２０～２００幅大小为６４０４８０的图像，并在每幅图像 中通过 ＭＡＴＬＡＢ函数ｉｍｎｏｉｓｅ加入１个像素的高斯 噪声。在每个图像数目下分别运行１００次，然后利用 （２２）式求得平均重投影误差犲［１４］，实验结果如图１ 所示。 犲＝ １ 犿狀∑ 狀 犼＝１ ∑ 犿 犻＝１ １ λ犻，犼 犿犻，犼 － 犘犻 烄犡犻，犼 烆 烌 烎 烄 烆 烌 １ 烎 。 （２２） 式中：犲表示重投影误差，犻和犼分别表示第犻帧图像 和第犼个三维空间点，犿和狀分别表示图像数和空间 点数，犿犻，犼 为第犻帧图像上第犼个图像点，狆犻 为相机的 投影矩阵，犡犻，犼 表示第犻帧图像上第犼个三维空间点， ‖·‖ 表示２范式。 （２２）式的物理意义是三维空间点经过投影矩 阵，得到重投影图像点，然后求取重投影图像点和真 实图像点的平均误差。该重投影误差越小，重建精度 越高；相反，投影误差越大，重建精度越低。 同时，为了研究空间点数对本文算法的影响，和 上述方法一样，产生变化的相机内参数，但空间点数 从２０个变化至１５０个，这些空间点按上述比例构成 ３个刚体基元，利用这些三维空间点，产生１５０幅图 像，并在图像中加入１个像素的高斯噪声。在每个空 间点数目下分别运行１００次，求得平均重投影误差， 如图２所示。 图１ 重投影误差随图像数变化图 犉犻犵．１ 犚犲狆狉狅犼犲犮狋犻狏犲犲狉狉狅狉狏狊．犻犿犪犵犲狀狌犿犫犲狉 图２ 重投影误差随空间点数变化图 犉犻犵．２ 犚犲狆狉狅犼犲犮狋犻狏犲犲狉狉狅狉狏狊．狊狆犪犮犲狀狌犿犫犲狉 从图１和图２中可以看出，本文方法随着空间 点数和图像数的增加，重投影误差会越来越小，但后 面减小的速度会越来越慢。原因是空间点数和图像 数比较少时，此时的方程数和未知数比较接近，因此 求到的余差就比较小；相反，空间点数和图像数比较 多时，方程数要多于未知数，因此余差就比较大，但 随着空间点数和图像数的增加，余差变化会越来越

陕西师范大学学报(自然科学版) 第46卷 小,最终趋于稳定。 为了比较本文方法和 Akhter的非刚体三维重 建方法[2的重建性能,利用上述方法产生100个空 °8 间点,150幅图像,在图像像素中加入高斯噪声,并 在每种噪声水平下用上述3种重建方法各进行10 次实验,然后取均值,实验结果如图3所示 日一文献[12]方法 83 本文方法 第10幅 第100幅 第200幅 淤佃 图5三维重建对比结果 Fig 5 Comparison of reconstruction results 从图5可以看出,本文方法能够更好地重建出 该人体的三维结构及动作,原因是本文方法假定相 图像噪声/像素 机为针孔模型, Akhter方法为正投影模型,而针孔 图3重投影误差随图像噪声变化图 模型和正投影模型相比,能够更好地表示相机成像 Fig 3 Reprojective error vs. space number 过程,因此本文方法比 Akhter方法具有更高的重 从图3可以看出,本文方法的重建精度要比建精度 Akhter方法的重建精度要高,原因是本文方法假定5结论 相机为针孔模型,而 Akhter方法假定相机为正投 影模型。只有当物体到相机的距离远大于物体的景 本文提出了一种因式分解的三维非刚体重建方 深时,正投影模型才能够近似表示相机的成像模型,法,该方法首先利用秩的约束,求到相差一个变换矩 当条件不符合时,误差比较大。而针孔模型在各种阵的射影重建,再利用投影矩阵的约束关系,线性地 情况下都能够较好地表示相机成像过程,因此本文求解出该变换矩阵,完成到欧氏重建的过渡。该方 方法的重建精度要比 Akhter方法高。同时,从图3法的优点是采用了线性的方法求变换矩阵,且将图 中还可以看出,本文方法和 Akhter方法的重建精像平等地对待。模拟实验和真实实验数据结果表 度随图像噪声增加而增加,而且倍数一样,即呈线性明,该重建方法具有鲁棒性好、重投影误差小等 增长。 优点 4.2真实实验 参考文献 为了进一步验证本文方法的有效性,本文获得1] DHOU S. MOTAI Y. Dynamic3 D surface reconstruc- 一个包括300帧的人体跳舞动作图像序列,如图 tion and motion modeling from a pan- tilt-zoom camera [J]. Computers in Industry, 2015,70(6): 183-193 所示。通过图像序列可以看出,该人体做非刚体运[2] PARK H, SHIRATORI T, MATTHEWS I,eta.3D 动。在该图像序列中,提取并跟踪了75个特征点。 trajectory reconstruction under perspective projection 利用这些特征点,用本文方法和 Akhter方法分 [J]. International Journal of Computer Vision, 2015 别进行非刚体三维重建,对比重建结果如图5 115(2):115-135 所示 cial reconstruction method robust against pose variations [J]. Pattern Recognition, 2015 [4] TOMASI C, KANADE T. Shape and motion from im- age streams under orthography: a factorization method 第100 (2):137-154. 图4跳舞动作图像序列 [5] BREGLER C, HERTZMANN A, BLERMANN HRe- ms[C]∥

２０ 陕西师范大学学报（自然科学版） 第４６卷 小，最终趋于稳定。 为了比较本文方法和 Ａｋｈｔｅｒ的非刚体三维重 建方法［１２］的重建性能，利用上述方法产生１００个空 间点，１５０幅图像，在图像像素中加入高斯噪声，并 在每种噪声水平下用上述３种重建方法各进行１００ 次实验，然后取均值，实验结果如图３所示。 图３ 重投影误差随图像噪声变化图 犉犻犵．３ 犚犲狆狉狅犼犲犮狋犻狏犲犲狉狉狅狉狏狊．狊狆犪犮犲狀狌犿犫犲狉 从图３ 可 以 看 出，本 文 方 法 的 重 建 精 度 要 比 Ａｋｈｔｅｒ方法的重建精度要高，原因是本文方法假定 相机为针孔模型，而 Ａｋｈｔｅｒ方法假定相机为正投 影模型。只有当物体到相机的距离远大于物体的景 深时，正投影模型才能够近似表示相机的成像模型， 当条件不符合时，误差比较大。而针孔模型在各种 情况下都能够较好地表示相机成像过程，因此本文 方法的重建精度要比 Ａｋｈｔｅｒ方法高。同时，从图３ 中还可以看出，本文方法和 Ａｋｈｔｅｒ方法的重建精 度随图像噪声增加而增加，而且倍数一样，即呈线性 增长。 ４．２ 真实实验 为了进一步验证本文方法的有效性，本文获得 一个包括３００帧的人体跳舞动作图像序列，如图４ 所示。通过图像序列可以看出，该人体做非刚体运 动。在该图像序列中，提取并跟踪了７５个特征点。 利用 这 些 特 征 点，用 本 文 方 法 和 Ａｋｈｔｅｒ 方 法 分 别［１２］进行非 刚 体 三 维 重 建，对 比 重 建 结 果 如 图 ５ 所示。 图４ 跳舞动作图像序列 犉犻犵．４ 犐犿犪犵犲狊犲狇狌犲狀犮犲狅犳犱犪狀犮犻狀犵 图５ 三维重建对比结果 犉犻犵．５ 犆狅犿狆犪狉犻狊狅狀狅犳狉犲犮狅狀狊狋狉狌犮狋犻狅狀狉犲狊狌犾狋狊 从图５可以看出，本文方法能够更好地重建出 该人体的三维结构及动作，原因是本文方法假定相 机为针孔模型，Ａｋｈｔｅｒ方法为正投影模型，而针孔 模型和正投影模型相比，能够更好地表示相机成像 过程，因此本文方法比 Ａｋｈｔｅｒ方法具有更高的重 建精度。 ５ 结论 本文提出了一种因式分解的三维非刚体重建方 法，该方法首先利用秩的约束，求到相差一个变换矩 阵的射影重建，再利用投影矩阵的约束关系，线性地 求解出该变换矩阵，完成到欧氏重建的过渡。该方 法的优点是采用了线性的方法求变换矩阵，且将图 像平等地对待。模拟实验和真实实验数据结果表 明，该 重 建 方 法 具 有 鲁 棒 性 好、重 投 影 误 差 小 等 优点。 参考文献： ［１］ＤＨＯＵＳ，ＭＯＴＡＩＹ．Ｄｙｎａｍｉｃ３Ｄｓｕｒｆａｃｅｒｅｃｏｎｓｔｒｕｃ ｔｉｏｎａｎｄ ｍｏｔｉｏｎ ｍｏｄｅｌｉｎｇｆｒｏｍ ａｐａｎｔｉｌｔｚｏｏｍ ｃａｍｅｒａ ［Ｊ］．ＣｏｍｐｕｔｅｒｓｉｎＩｎｄｕｓｔｒｙ，２０１５，７０（６）：１８３１９３． ［２］ＰＡＲＫ Ｈ，ＳＨＩＲＡＴＯＲＩＴ，ＭＡＴＴＨＥＷＳＩ，ｅｔａｌ．３Ｄ ｔｒａｊｅｃｔｏｒｙ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｕｎｄｅｒ ｐｅｒｓｐｅｃｔｉｖｅ ｐｒｏｊｅｃｔｉｏｎ ［Ｊ］．ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＶｉｓｉｏｎ，２０１５， １１５（２）：１１５１３５． ［３］ＪＯＪ，ＣＨＯＩＨ，ＫＩＭＩ，ｅｔａｌ．Ｓｉｎｇｌｅｖｉｅｗｂａｓｅｄ３Ｄｆａ ｃｉａｌｒｅｃｏｎｓｔｒｕｃｔｉｏｎｍｅｔｈｏｄｒｏｂｕｓｔａｇａｉｎｓｔｐｏｓｅｖａｒｉａｔｉｏｎｓ ［Ｊ］．ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ，２０１５，４８（１）：７３８５． ［４］ＴＯＭＡＳＩＣ，ＫＡＮＡＤＥＴ．Ｓｈａｐｅａｎｄｍｏｔｉｏｎｆｒｏｍｉｍ ａｇｅｓｔｒｅａｍｓｕｎｄｅｒｏｒｔｈｏｇｒａｐｈｙ：ａｆａｃｔｏｒｉｚａｔｉｏｎ ｍｅｔｈｏｄ ［Ｊ］．ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＶｉｓｉｏｎ，１９９２，９ （２）：１３７１５４． ［５］ＢＲＥＧＬＥＲＣ，ＨＥＲＴＺＭＡＮＮＡ，ＢＬＥＲＭＡＮＮ Ｈ．Ｒｅ ｃｏｖｅｒｉｎｇｎｏｎｒｉｇｉｄ３Ｄｓｈａｐｅｆｒｏｍｉｍａｇｅｓｔｒｅａｍｓ［Ｃ］∥

第5期 梁新刚:因式分解的三维非刚体重建方法 IEEE Conference on Computer Vision and Pattern Rec- 16(5):1350-1357 ognition. South Carolina: IEEE, 2000, 2690-2696 [11] BASTIAN G, MATHIEU A, KALIN K, et al. A su- [6] WANG Y, TONG L, JIANG M, et al. Non-rigid Der-resolution framework for high-accuracy multiview structure estimation in trajectory space from monocular reconstruction[J]. International Journal of Computer visIon[J]. Sensors,2015,15(10):25730-2574 Vision,2014,106(2):172-191 [7] ZHOU Z, SHI F, XIAO J, et al. Non-rigid structure- [12] AKHTER I, SHEIKH Y, KHAN S, et al. Trajectory from-motion on degenerate deformations with low-rank space: a dual representation for nonrigid structure from shape deformation model [J]. IEEE Transactions or notion[J]. IEEE Transactions on Pattern Analysis and Multimedia,2015,17(2):171-185 Machine Intelligence, 2014, 36(7): 1442-1456 [8] HERMANN M, KLEIN R. A visual analytics perspec-[13]彭亚丽,刘侍刚,裘国水一种线性迭代非刚体射影重 tive on shape analysis: state of the art and future pros- 建方法[].西安交通大学学报(自然科学版),2015,4 pects[J]. Computers &. Graphics, 2015,53(A):63-7 [9] TAO L, MATUSZEWSKI B. Non-rigid structure from [14]LI Z, WANG K, JI AW, et al. Multiview stereo and motion with diffusion maps prior[C]//IEEE Conference silhouette fusion via minimizing generalized reprojection on Computer Vision and Pattern Recognition. New error[J]. Image and Vision Computing, 2015, 33(1) York:IEEE,2013:1530-1537 1-14. [10]KHAN L 〔责任编辑宋轶文〕 niqueness constraint and low rank matrix fitting factori- zation[J]. IEEE Transactions on Multimedia, 2014 (上接第15页) [17] MCSHERRY F D. Privacy integrated queries: an ex- [12] CHEN R, FUNG B C M, MOHAMMED N, et al ensible platform for privacy-preserving data analysis Privacy-preserving trajectory data publishing by local [C] ACM SIGMOD International Conference on suppression[J]. Information Sciences An International Management of Data. New York: ACM, 2009: 19-30. Journal,2013,231(1):83-97 [18] DWORK C, MCSHERRY F, NISSIM K, et al. Calibra [13] HUA J, GAO Y, ZHONG S. Differentially private ing noise to sensitivity in private data analysis[C]//Theo publication of general time-serial trajectory data[C] ry of Cryptography Conference. Berlin: Springer Computer Communications, New York: IEEE, 2015: 2006:265-284 [19] MCSHERRY F, TALWAR K. Mechanism design via [14]霍峥,孟小峰.轨迹隐私保护技术研究[J].计算机学 differential privacy[C]//Foundations of Computer Sci- 报,2011,34(10):1820-1830. ence. Washington: IEEE Computer Society. 2007 [15]张啸剑,孟小峰.面向数据发布和分析的差分隐私保 护[].计算机学报,2014,37(4):927-949 [20] ZHENG Y. T-Drive trajectory data sample[ EB/OL]. [16] DWORK C. A firm foundation for private data analysis [2017-08-23].http:/research.microsoftcom/apps/ DJ]. Communications of the ACM, 2011, 54(1) pubs/default. aspx? id= 152883 〔责任编辑宋轶文〕

第５期 梁新刚：因式分解的三维非刚体重建方法 ２１ ＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃ ｏｇｎｉｔｉｏｎ．ＳｏｕｔｈＣａｒｏｌｉｎａ：ＩＥＥＥ，２０００，２６９０２６９６． ［６］ＷＡＮＧ Ｙ，ＴＯＮＧ Ｌ，ＪＩＡＮＧ Ｍ，ｅｔａｌ．Ｎｏｎｒｉｇｉｄ ｓｔｒｕｃｔｕｒｅｅｓｔｉｍａｔｉｏｎｉｎｔｒａｊｅｃｔｏｒｙｓｐａｃｅｆｒｏｍ ｍｏｎｏｃｕｌａｒ ｖｉｓｉｏｎ［Ｊ］．Ｓｅｎｓｏｒｓ，２０１５，１５（１０）：２５７３０２５７４５． ［７］ＺＨＯＵＺ，ＳＨＩＦ，ＸＩＡＯＪ，ｅｔａｌ．Ｎｏｎｒｉｇｉｄｓｔｒｕｃｔｕｒｅ ｆｒｏｍｍｏｔｉｏｎｏｎｄｅｇｅｎｅｒａｔｅｄｅｆｏｒｍａｔｉｏｎｓｗｉｔｈｌｏｗｒａｎｋ ｓｈａｐｅｄｅｆｏｒｍａｔｉｏｎ ｍｏｄｅｌ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓｏｎ Ｍｕｌｔｉｍｅｄｉａ，２０１５，１７（２）：１７１１８５． ［８］ＨＥＲＭＡＮＮ Ｍ，ＫＬＥＩＮＲ．Ａｖｉｓｕａｌａｎａｌｙｔｉｃｓｐｅｒｓｐｅｃ ｔｉｖｅｏｎｓｈａｐｅａｎａｌｙｓｉｓ：ｓｔａｔｅｏｆｔｈｅａｒｔａｎｄｆｕｔｕｒｅｐｒｏｓ ｐｅｃｔｓ［Ｊ］．Ｃｏｍｐｕｔｅｒｓ＆ Ｇｒａｐｈｉｃｓ，２０１５，５３（Ａ）：６３７１． ［９］ＴＡＯＬ，ＭＡＴＵＳＺＥＷＳＫＩＢ．Ｎｏｎｒｉｇｉｄｓｔｒｕｃｔｕｒｅｆｒｏｍ ｍｏｔｉｏｎｗｉｔｈｄｉｆｆｕｓｉｏｎｍａｐｓｐｒｉｏｒ［Ｃ］∥ＩＥＥＥＣｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． Ｎｅｗ Ｙｏｒｋ：ＩＥＥＥ，２０１３：１５３０１５３７． ［１０］ＫＨＡＮ Ｉ．Ｎｏｎｒｉｇｉｄ ｓｔｒｕｃｔｕｒｅｆｒｏｍｍｏｔｉｏｎ ｗｉｔｈ ｕ ｎｉｑｕｅｎｅｓｓｃｏｎｓｔｒａｉｎｔａｎｄｌｏｗｒａｎｋｍａｔｒｉｘｆｉｔｔｉｎｇｆａｃｔｏｒｉ ｚａｔｉｏｎ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓｏｎ Ｍｕｌｔｉｍｅｄｉａ，２０１４， １６（５）：１３５０１３５７． ［１１］ＢＡＳＴＩＡＮＧ，ＭＡＴＨＩＥＵ Ａ，ＫＡＬＩＮＫ，ｅｔａｌ．Ａｓｕ ｐｅｒｒｅｓｏｌｕｔｉｏｎｆｒａｍｅｗｏｒｋｆｏｒｈｉｇｈａｃｃｕｒａｃｙ ｍｕｌｔｉｖｉｅｗ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ［Ｊ］．ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，２０１４，１０６（２）：１７２１９１． ［１２］ＡＫＨＴＥＲＩ，ＳＨＥＩＫＨ Ｙ，ＫＨＡＮＳ，ｅｔａｌ．Ｔｒａｊｅｃｔｏｒｙ ｓｐａｃｅ：ａｄｕａｌｒｅｐｒｅｓｅｎｔａｔｉｏｎｆｏｒｎｏｎｒｉｇｉｄｓｔｒｕｃｔｕｒｅｆｒｏｍ ｍｏｔｉｏｎ［Ｊ］．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄ ＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ，２０１４，３６（７）：１４４２１４５６． ［１３］彭亚丽，刘侍刚，裘国永．一种线性迭代非刚体射影重 建方法［Ｊ］．西安交通大学学报（自然科学版），２０１５，４９ （１）：１０２１０６． ［１４］ＬＩＺ，ＷＡＮＧ Ｋ，ＪＩＡＷ，ｅｔａｌ．Ｍｕｌｔｉｖｉｅｗｓｔｅｒｅｏａｎｄ ｓｉｌｈｏｕｅｔｔｅｆｕｓｉｏｎｖｉａｍｉｎｉｍｉｚｉｎｇｇｅｎｅｒａｌｉｚｅｄｒｅｐｒｏｊｅｃｔｉｏｎ ｅｒｒｏｒ［Ｊ］．ＩｍａｇｅａｎｄＶｉｓｉｏｎＣｏｍｐｕｔｉｎｇ，２０１５，３３（１）： １１４． 〔责任编辑 宋轶文〕 （上接第１５页） ［１２］ＣＨＥＮ Ｒ，ＦＵＮＧ ＢＣ Ｍ，ＭＯＨＡＭＭＥＤ Ｎ，ｅｔａｌ． Ｐｒｉｖａｃｙｐｒｅｓｅｒｖｉｎｇｔｒａｊｅｃｔｏｒｙｄａｔａｐｕｂｌｉｓｈｉｎｇｂｙｌｏｃａｌ ｓｕｐｐｒｅｓｓｉｏｎ［Ｊ］．ＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅｓＡｎＩｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ，２０１３，２３１（１）：８３９７． ［１３］ＨＵＡＪ，ＧＡＯ Ｙ，ＺＨＯＮＧ Ｓ．Ｄｉｆｆｅｒｅｎｔｉａｌｌｙｐｒｉｖａｔｅ ｐｕｂｌｉｃａｔｉｏｎｏｆｇｅｎｅｒａｌｔｉｍｅｓｅｒｉａｌｔｒａｊｅｃｔｏｒｙｄａｔａ［Ｃ］∥ ＣｏｍｐｕｔｅｒＣｏｍｍｕｎｉｃａｔｉｏｎｓ．Ｎｅｗ Ｙｏｒｋ：ＩＥＥＥ，２０１５： ５４９５５７． ［１４］霍峥，孟小峰．轨迹隐私保护技术研究［Ｊ］．计算机学 报，２０１１，３４（１０）：１８２０１８３０． ［１５］张啸剑，孟小峰．面向数据发布和分析的差分隐私保 护［Ｊ］．计算机学报，２０１４，３７（４）：９２７９４９． ［１６］ＤＷＯＲＫＣ．Ａｆｉｒｍｆｏｕｎｄａｔｉｏｎｆｏｒｐｒｉｖａｔｅｄａｔａａｎａｌｙｓｉｓ ［Ｊ］．Ｃｏｍｍｕｎｉｃａｔｉｏｎｓｏｆｔｈｅ ＡＣＭ，２０１１，５４（１）： ８６９５． ［１７］ＭＣＳＨＥＲＲＹＦＤ．Ｐｒｉｖａｃｙｉｎｔｅｇｒａｔｅｄｑｕｅｒｉｅｓ：ａｎｅｘ ｔｅｎｓｉｂｌｅｐｌａｔｆｏｒｍｆｏｒｐｒｉｖａｃｙｐｒｅｓｅｒｖｉｎｇｄａｔａａｎａｌｙｓｉｓ ［Ｃ］∥ ＡＣＭ ＳＩＧＭＯＤ ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎ ＭａｎａｇｅｍｅｎｔｏｆＤａｔａ．ＮｅｗＹｏｒｋ：ＡＣＭ，２００９：１９３０． ［１８］ＤＷＯＲＫＣ，ＭＣＳＨＥＲＲＹＦ，ＮＩＳＳＩＭ Ｋ，ｅｔａｌ．Ｃａｌｉｂｒａ ｔｉｎｇｎｏｉｓｅｔｏｓｅｎｓｉｔｉｖｉｔｙｉｎｐｒｉｖａｔｅｄａｔａａｎａｌｙｓｉｓ［Ｃ］∥Ｔｈｅｏ ｒｙ ｏｆ Ｃｒｙｐｔｏｇｒａｐｈｙ Ｃｏｎｆｅｒｅｎｃｅ． Ｂｅｒｌｉｎ：Ｓｐｒｉｎｇｅｒ， ２００６：２６５２８４． ［１９］ＭＣＳＨＥＲＲＹＦ，ＴＡＬＷＡＲ Ｋ．Ｍｅｃｈａｎｉｓｍｄｅｓｉｇｎｖｉａ ｄｉｆｆｅｒｅｎｔｉａｌｐｒｉｖａｃｙ［Ｃ］∥ＦｏｕｎｄａｔｉｏｎｓｏｆＣｏｍｐｕｔｅｒＳｃｉ ｅｎｃｅ．Ｗａｓｈｉｎｇｔｏｎ：ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ，２００７： ９４１０３． ［２０］ＺＨＥＮＧ Ｙ．ＴＤｒｉｖｅｔｒａｊｅｃｔｏｒｙｄａｔａｓａｍｐｌｅ［ＥＢ／ＯＬ］． ［２０１７０８２３］．ｈｔｔｐ：∥ｒｅｓｅａｒｃｈ．ｍｉｃｒｏｓｏｆｔ．ｃｏｍ／ａｐｐｓ／ ｐｕｂｓ／ｄｅｆａｕｌｔ．ａｓｐｘ？ｉｄ＝１５２８８３． 〔责任编辑 宋轶文〕