第12期 电 报 Vol.30 No. 12 2002年12月 子学 Dec2002 一种平面图像立体化的新方法 侯春萍,俞斯乐 (天津大学电子信息工程学院,天3072) 摘要:基于对人类心理立体视觉和生理立体视觉的理论分析和实验研究,发现在一幅平面图像的各个图像单 元中引入随机交叉视差异和随机非交叉视差异之后,其双眼深度暗示效果会明显增强的立体视觉现象,并由此提出了 一种新颖且实用的在仅含有心理立体视觉深度暗示的平面图像中随机加入双眼视差异的平面图像立体化方法 关键词:体视学;立体视觉;平面图像立体化;图像处理 中图分类号:TN919.8文献标识码:A文章编号:0372-212(200)12-1861-0 A Novel Method of Picture Conversion from 2D to 3D HOU Chun-ping, YU Si-le Abstract: Based on the theoretical analysis and experimental research of the human binocular vision and the relationship between psychological stereoscopy and physiological stereoscopy, a novel practical method, to convert 2D pictures into 3D pictures by means of adding random binocular disparities to planar pictures only having psychological depth cue, is preseated in this paper. Key words: Stereoscopy: Stereo vision; Binocular vision: 2D to 3D; Jnaging procesing 1引言 量平面图像、图片事实上,平面图像立体化的方法很早就有 早 为了使屏幕上重现的自然景物加生动、逼真,人类一直人提出196年, Weiner提出倾斜投影屏立体成像法2, 成像 在不懈的努力,于是就出现了黑白电视、彩色电视和正在发展来Shanks Weiner的方法进行了修改,他用一个向后倾斜 的高清晰度电视由于人在自然界中所看到的是三维景物,因的马鞍型曲面代替了 Weiner的倾斜投影屏(3本文通过大量 够显示这种真实三维景物的立体电视必将成为电视技术的实验研究和分析,提出了一种实用的在仅含有 下一个新的发展方向与平面电视技术不同,立体电视技术的觉深度暗示的平面图像 心理 立体 视 视差异的平面图像立 发展更加依赖于人类对视觉系统的研究目前世界上现存体化的新方法 的大多数立体图像都是采用双摄像机拍摄,也就是模拟人类2立体视觉 视觉感知三维景物的方式,用在水平方向上相隔一定距离的 两部摄像机分别记录人左眼看到的平面图像(左图像)和右眼 由于立体图像是在人的大脑视区中形成的,因此它与人 看到的平面图像(右图像)在严格同步的情况下,使人的左眼类的立体视觉是密不可分人类的立体视觉可以分为生理立 只观看左图像,右眼只观看右图像,最后在大脑视区合成立体体视觉和心理立体视觉 图像,然而,这种使用双摄像机获取立体图像的方法,需要至2.1生理立体视觉 少两部以上经过光学特性、机械特性和电子特性严格校准的 生理立体视觉指由人眼的晶状体调节、双眼会聚和双眼 摄像机,它们的白平衡系统、聚焦系统、变焦系统、几何失真、视差异等因素构成的立体视觉其中,双眼视差异是人眼最强 增益控制、光圈控制、会聚控制和视差控制等都要求非常精密烈的生理立体视觉因素 Bela Julesz利用随机点图已经证 的一致,否则就无法获得理想的立体图像,这样就增加了拍摄明4,在排除掉一切心理深度暗示之后,一组完全无意义的视 立体图像的难度正是由于这个原因,全世界的立体电视节目觉刺激,只要具备视差条件,就能经双眼产生深度上的感觉, 犹如凤毛麟角,即使将人类发明立体电影以来的全部立体电这说明双眼视差异可以与任何视觉经验无关由于双眼视差 影都包括在内,也只有一百多部实际上在平面图像中蕴含着异对立体视觉的贡献最大是最强烈的生理视觉暗示所以也 大 量的三维信息,通过一定的方式可以将许多平面图像转换是立体成像考虑的主要因素另一个在立体成像中经常遇到 成立体图像这样做不仅可以降低立体图像的制作成本、缩短的问题是立体融像区问题,又被称为 Penam融像区5,7,是 制作周期,而且还可以充分地利用人类社会多年来积累的大于1858年发现并提出的,主要解决双象单视问题 收稿日期:2001-09-03;修回日期:2002-07-22 201994-2007 China Academic Journal Electronic Publishing House allrights reserved. http: /he.cnkinet
© 1994-2007 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net
862 电子学报 02年 22心理立体视觉 得符合客观景物深度变化规律的含有双眼视差异信息的深度 理立体视觉主要由视觉经验和视觉记忆构成.人们在感觉 观看一张平面彩色图片时,可以根据图片上的内容判断其中 E深度感觉) 物体、人物之间的距离关系,而这种判断通常十分准确这说 明平面图像中尽管不存在能用人的双眼视差异等生理立体视 △6舟度感费 生理深度感觉 觉识别的深度信息,却存在着其它的深度暗示这些暗示信息 是人类对自然景物长期观察而得到的一种立体视觉记忆和立 屏幕水平方向 体视觉经验依靠这种视觉记忆和经验,观察者能够从平面图 像中准确地提取出物体间的相对位置和相对深度,人眼的这 种立体视觉被称为心理立体视觉 图像单元 23生理立体视觉与心理立体视觉之间关系的分析 通过大量的实验我们发现:当人们观察自然界的景物时 图1一个综合的立体视觉试验现象 在观察者每只眼睛的视网膜上都形成了反映被观察景物深度 由此得出结论:当生理深度感觉与 关系的像当不考虑这些像在两眼之间形成的视差异时,这种心理深现感觉一致时综合的深度感t 反映被观察景物深度关系的像就构成了心理深度暗示或心理增强;而当生理深度与心理深度感觉矛 立体视觉当考虑在两只眼睛视网膜上形成的像差异时,它们盾时,生理立体视觉会被心理立体视觉 构成了另一种深度暗示,即生理深度暗示或生理立体视觉由抑制减弱,产生这一立体视觉现象的原 于被观察的景物是同一个景物,其深度关系是同一个,因此心因是,心理立体视觉尽管不能提供最强MM2 理立体视觉和生理立体视觉所反映的被观察景物的深度关系的深度暗示,但对违反视觉经验的深度图2划分的图像 应该是一致的这种一致性作为一种恒常的立体视觉经验被 强的抑制作用,这是单眼 记忆,以至于任何违反这种恒常性的深度信息都会受到强烈视觉模式识别的重要特征,也是人类觉提供给自身的一种 的抑制本文所提出的平面图像立体化的方法正是基于这种重要的台我保护功能 分析和研究 在每个图像单元中随机加人的双眼视差异信息,在心理 3实验研究 立体视堂的作用下,会使整个立体图像的综合深度感觉得到 统计规律上的加强.当观看含有随机的双眼视差异图像时,心 前面分析指出人类的立体视觉是综合作用的结果而生理立体视觉会自动地对加入的双眼视差异信息进行增强或抑 理立体视觉和心理立体视觉在不同的情况下有相互补充增强制减弱,从而使观察者获得深度感觉逼真的立体图像这对于 或相互抑制减弱的作用,图1是为说明两者之间的关系所设处理那些几乎没有运动信息或运动变化十分复杂的平面序列 计的一个试验的描述,在试验中我们请受试者指出观看到图图像非常有效 像的深度感觉图中的横坐标X表示显示屏幕的水平方向 纵坐标E表示显示在电视屏幕上的图像给观察者造成的立4在平面图像中加入双眼视差的方法 体深度感觉程度,“·”表示观察者对屏幕上一个图像单元的 由于双眼视差异信息是由两帧平面图像提供的,所以首 心理深度感觉,“■”表示观察者对屏幕上一个图像单元的生先应该得到两帧图像假设要进行立体处理的平面图像为∫ 理深度感觉,“4”表示屏幕上一个已经含有心理深度信息的(n,m),通过复制可以得到另外一帧完全相同的平面图像,记 图像单元,在加入了生理深度暗示信息之后给观察者造成的为f(n,m).为了加入双眼视差异深度信息,先对图像f(n 综合立体深度感觉如图1中的第一个图像单元给观察者造m)进行处理,然后用处理得到的平面图像f(mn,m)与f(m, 成的心理深度感觉是Ex1,随机加入的双眼视差异信息给观m2)一起来构成立体像对 察者造成的生理深度感觉是Es,而在这个单元中加入的生 为了能够利用平面图像中的心理深度暗示信息,先把平 理立体视觉信息与原有的心理深度暗示不矛盾,生理立体视面图像分解成图像单元,将f(n,m)划分成如图2所示的M 觉和心理立体视觉共同形成的综合深度感觉为E2,这个图×N个图像子块,即图像单元,每个子块用矩阵Q1,Q12, 像单元的深度感觉得到加强.再看图1中的第二个图像单元 Qx,……,Qw表示,假设每个图像子块的水平宽度为 其心理深度感觉是En,随机加入的生理立体视觉给观察者W,子块中的水平像素数为K,垂直宽度为H由于f(n,m)与 造成的深度感觉为E2,由于心理立体视觉告诉观察者图像左图像f(n,m)是同一帧图像,因此只要图像∫(n,m)中的 单元2的深度不可能单元3的更远,形成的综合深度感觉为每个子块Q1,Q2,…,Qn,…,Qm在水平方向上随机地 E2,这时心理立体视觉对生理立体视觉产生了抑制减弱的作偏离了它们原来所处的位置,就等于在立体图像中的各图像 用用同样的方法可以分析得出所有图像单元的综合深度感子块对应的区域内加入了随机的双眼视差异深度信息,用这 觉如图1所示这样得到的综合立体深度感觉符合心理立体样处理得到的图像f(n,m)与f(n,m)就可以构成立体像 视觉深度的变化规律,由于心理立体视觉反映的也是客观景对各图像子块的位移应该满足如下条件 物的深度变化,因此从这样构成的立体图像中,观察者可以获 (1)为了使构成的立体图像不存在垂直图像视差,因此每 01994-2007chinaAcademicournalElectronicPublishingHouseAllrightsreservedhttp://rwr.cnkiner
© 1994-2007 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net
第12期 侯春萍:一种平面图像立体化的新方法 1863 个图像子块Qt只能在水平方向上产生位移,不能在垂直方 E[Ask]=Wx(t-1)x(1-a)+kx(1-a)/K(3) 向上产生位移 当a=1时,E[(q]=0,说明图像子块Q在原始的水 (2)每个图像子块Q在水平方向上的位移应该是随机平位置上随机地左、右移动产生水平交又视差或非交又视 变化的 差,这正是我们所期望的.根据图像子块移动的第三个条件, (3)每个图像子块Q在水平方向上最大的位移量不能每个图像子块随机移动形成的水平图像视差不能超出舒适立 超出舒适 Penam融像区的限制 体融像区的限制,可以用均方差实现对水平图像视差的控制 这三个条件称为图像子块的移动条件如果各图像子块由式(3)可以得到各图像块水平视差△q的最大方差为 的位移满足了移动条件,在形成的立体图像中,不存在垂直图 D[△q]m 像视差,水平图像视差不超出舒适 Penam融像区的限制 只要最大视差不超出立体融像区的限制,即有 5图像子块随机移动的方法及水平视差的控制 √DL△m1时,图像子块的水平宽度 图5孩子和他们的母亲们(用交叉视差观看) 增加图3中第s行、第t列的图像子块Q经变换后得到其 像素点的水平坐标为: 其中,k=0,1,……K-1,是子块中的水平像素序号.这样可 得到立体图像的水平视差为 a-1)]+kxW(1-K)/K k=0,1 K-1;t=1,2,……,N;(2) 图6调皮的中学生(用交叉视差观看) 用这种方法构成的立体图像,水平视差是随机变化的,因而满 试验结果表明,本文提出的平面图像立体化方法是可行 足了图像子块移动的第二个条件,由式(2)可以得到水平图像的,其立体效果较好,与双摄像机拍摄的立体图像相类似,是 视差的数学期望值 种具有实用前景的平面图像立体化新方法 c1994-2007ChinaAcademicournalElectronicPublishingHouseAllrightsreservedhttp://nw.cnki.ner
© 1994-2007 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net
1864 学报 20年 参考文 作者简介 [ 1] TToscianko, R Montagnon, J Leclerc, E MalIbert, P-L Chanteau. The role of colour as a monocular depth cue [J]. vision Research, 1991,31 侯萍女,1957年生于吉林,博士,副教 (11):1923-190 授,主要研究领域为三维图像处理、移动通信技 [2]Melvin L Weiner. The Developrment of a new 3D photographic process 术和系统 Through Utilization of a Projection Screen Method without the Use of Stereacopic Vision[J]. Applied Optics. [3] lana, Shanks. Malvem England [P]. US Patent: 4414565 4] Julesz Bela. A New Sense for Depth of Field[J].IEEE Tran Patterm Analysis and Machine Intelligence, 1987, PAM1-9(4): 523 530. [ 5] John E W Mayhew, John P Frisby. 3D Model Stereocopic Cues[M] 俞斯乐男,1930年生于苏州,教授博土生 London, England: The MrT Press Cambridge, Massachusetts, 1991 导师主要研究领域为数字视频技术,电视与图 [6] Dimitrios Tzovaras, Nikos Grammalidis, Michael G. Strintzis, Joint 像信息系统 three-dimensional n/disparity segmentation for object-based stereo tmage[门 Engineering BellingHam, 1996, 35(1): 137 [7]荆其诚,等人类的视觉[M]北京:科学出版社,1987 [8]侯春萍平面图像视觉立体化技术的研究[D]天津:天津大学 01994-2007ChinaAcademicournalElectronicPublishingHouseallrightsreservedhttp://n.cnki.ner
© 1994-2007 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net