沈丽丽等：立体视频延时的事件相关电位研究 ·509· KEY WORDS stereoscopic video;asynchronous frame;event-related potentials;motion in depth:motion in lateral:difference 随着三维显示技术的迅速发展，一些三维产品 制，是进行客观实验的可靠手段 如三维电影等逐步走进人们的日常生活，人们越来 通常自发产生的脑电信号复杂而无规律，当大 越享受观看立体视频所带来的身临其境感口.在观 脑受到某种特定刺激时，会产生电位上的变化，但这 看过程中，人的双眼只有同时接收两路独立传输的 种变化往往会淹没在自发脑电信号中.但将由相同 左右视频流，才能在特定的视角下感知到深度信息， 刺激引发的多段脑电进行叠加平均后，自发脑电正 经过大脑进一步加工、处理形成立体视觉回.然而， 负波形会相互抵消，而事件相关电位(event related 在立体视频传输过程中，由于网络延迟及数据丢包 potentials,ERPs)具有波形和潜伏期恒定的特点，因 等因素的存在会导致立体视频帧的左右视图发生延 此能从EEG信号中提取出来3-W.王笑等的针对 时效应同，影响立体感及观看质量.因而，对立体视 立体视频片段中的上边框效应是否会引起人体不适 频帧延时的探究对3D产业的进一步发展具有指导 的问题对35名被试利用ERPs进行了研究.Mun 意义. 等利用ERPs技术对21名被试(11女)在观看立 目前，对立体视频帧延时的研究主要分为主观 体视频后所产生的认知疲劳进行研究，发现疲劳状 实验法与客观实验法两种.主观实验方法通过设计 态下P600成分的幅值降低，潜伏期延长.ERPs作 相应主观实验，被试根据其主观感受填写调查问卷 为一种客观评价方法被广泛应用 或做出主观判断，进而对被试的主观行为数据分析 本文分别以1s长的深度延时运动和水平延时 得出结论.in等回通过主观实验方法得出延时超 运动立体视频作为刺激，延时等级包括无延时、延时 过2帧后易引发被试的视觉不舒适甚至视觉疲劳. 1帧、延时2帧和延时3帧，通过主观评价和客观脑 客观实验方法主要基于客观算法对立体视频帧延时 电实验相结合的方法对人的延时感知进行了探究， 进行研究，Gao等0提出了一种基于尺度不变特征 同时对二者的差异性进行分析与比较 变换(scale--invariant feature transform,SIFT)算子的 1实验方法 帧同步性检测算法，实验结果表明该算法在大多数 立体场景中具有良好的效果.Goldmann等对立 1.1深度延时运动实验 体视频延时帧数与立体视频质量关系进行了分析并 1.1.1实验素材 提出一种新的帧同步性检测算法.Tam等与Kim 为消除视差位置对探究帧延时立体视频的影 等切研究发现立体视频帧的左右视图出现延时后， 响，首先进行练习实验.实验素材由Autodesk Maya 其视差分布也会发生相应变化. 软件制作而成，以静止蓝天白云为背景，三维立体足 当前对立体视频帧延时的研究已初具成果，但 球由屏内向屏外做匀速直线运动，为增加立体效果， 其中也存在一些不可忽视的问题.(1)对于运动的 使背景与足球形成相对视差，图1(a)和图1(b)分 立体场景，深度运动和水平运动是两种不同的模式， 别为一个运动场景中首末帧的右视图.由文献4一 这两种模式下发生帧延时的结果不一定相同：(2) 5,17],为保证观看的舒适度，设置足球以中速16°· 主观实验具有直接反映被试主观感受的优点，但其 s运动，右视图发生帧延时.本实验分为7个不同 本质是基于记忆的，实验结果与被试关系密切， 的延时位置，即-0.6°、-0.4°、-0.2°、0°、+0.2°、 因此单一的主观实验结果并不完全可靠：(3)帧同 +0.4°和+0.6°处分别实现右视图延时，延时等级 步性检测算法对特定立体场景的检测效果较好，但 分为四种：无延时、延时1帧、延时2帧和延时3帧. 其鲁棒性不强，不具备普适性.基于此，本文利用主 视频时长均为1s 观实验与客观实验相结合的方法对运动的立体场景 中水平与深度运动帧延时分别进行研究，同时对二 者的差异性进行比较.客观实验通过采集被试脑电 (electroencephalogram,EEG)这一生物电信号进行， a 公 EEG是一种实时记录大脑活动的生物电信号W,其 图1深度延时运动场景首末帧右视图.(a)第一帧：(b)最后 分辨能力达毫秒级0-？，且不受被试主观因素的影 一帧 响，简单方便易于获取.该方法既能作为主观实验 Fig.I Asynchronous stereoscopic video of motion in depth:(a)the 结果可靠性的验证又不受特定立体运动场景的限 first frame of right view:(b)the last frame of right view沈丽丽等: 立体视频延时的事件相关电位研究 KEY WOＲDS stereoscopic video; asynchronous frame; event-related potentials; motion in depth; motion in lateral; difference 随着三维显示技术的迅速发展，一些三维产品 如三维电影等逐步走进人们的日常生活，人们越来 越享受观看立体视频所带来的身临其境感［1］． 在观 看过程中，人的双眼只有同时接收两路独立传输的 左右视频流，才能在特定的视角下感知到深度信息， 经过大脑进一步加工、处理形成立体视觉［2］． 然而， 在立体视频传输过程中，由于网络延迟及数据丢包 等因素的存在会导致立体视频帧的左右视图发生延 时效应［3］，影响立体感及观看质量． 因而，对立体视 频帧延时的探究对 3D 产业的进一步发展具有指导 意义． 目前，对立体视频帧延时的研究主要分为主观 实验法与客观实验法两种． 主观实验方法通过设计 相应主观实验，被试根据其主观感受填写调查问卷 或做出主观判断，进而对被试的主观行为数据分析 得出结论． Lin 等［3］通过主观实验方法得出延时超 过 2 帧后易引发被试的视觉不舒适甚至视觉疲劳． 客观实验方法主要基于客观算法对立体视频帧延时 进行研究，Gao 等［4］提出了一种基于尺度不变特征 变换( scale-invariant feature transform，SIFT) 算子的 帧同步性检测算法，实验结果表明该算法在大多数 立体场景中具有良好的效果． Goldmann 等［5］对立 体视频延时帧数与立体视频质量关系进行了分析并 提出一种新的帧同步性检测算法． Tam 等［6］与 Kim 等［7］研究发现立体视频帧的左右视图出现延时后， 其视差分布也会发生相应变化． 当前对立体视频帧延时的研究已初具成果，但 其中也存在一些不可忽视的问题． ( 1) 对于运动的 立体场景，深度运动和水平运动是两种不同的模式， 这两种模式下发生帧延时的结果不一定相同; ( 2) 主观实验具有直接反映被试主观感受的优点，但其 本质是基于记忆的，实验结果与被试关系密切［8--9］， 因此单一的主观实验结果并不完全可靠; ( 3) 帧同 步性检测算法对特定立体场景的检测效果较好，但 其鲁棒性不强，不具备普适性． 基于此，本文利用主 观实验与客观实验相结合的方法对运动的立体场景 中水平与深度运动帧延时分别进行研究，同时对二 者的差异性进行比较． 客观实验通过采集被试脑电 ( electroencephalogram，EEG) 这一生物电信号进行， EEG 是一种实时记录大脑活动的生物电信号［8］，其 分辨能力达毫秒级［10--12］，且不受被试主观因素的影 响，简单方便易于获取． 该方法既能作为主观实验 结果可靠性的验证又不受特定立体运动场景的限 制，是进行客观实验的可靠手段． 通常自发产生的脑电信号复杂而无规律，当大 脑受到某种特定刺激时，会产生电位上的变化，但这 种变化往往会淹没在自发脑电信号中． 但将由相同 刺激引发的多段脑电进行叠加平均后，自发脑电正 负波形会相互抵消，而事件相关电位( event related potentials，EＲPs) 具有波形和潜伏期恒定的特点，因 此能从 EEG 信号中提取出来［13--14］． 王笑等［15］针对 立体视频片段中的上边框效应是否会引起人体不适 的问题对 35 名被试利用 EＲPs 进行了研究． Mun 等［16］利用 EＲPs 技术对 21 名被试( 11 女) 在观看立 体视频后所产生的认知疲劳进行研究，发现疲劳状 态下 P600 成分的幅值降低，潜伏期延长． EＲPs 作 为一种客观评价方法被广泛应用． 本文分别以 1 s 长的深度延时运动和水平延时 运动立体视频作为刺激，延时等级包括无延时、延时 1 帧、延时 2 帧和延时 3 帧，通过主观评价和客观脑 电实验相结合的方法对人的延时感知进行了探究， 同时对二者的差异性进行分析与比较． 1 实验方法 1. 1 深度延时运动实验 1. 1. 1 实验素材 图 1 深度延时运动场景首末帧右视图． ( a) 第一帧; ( b) 最后 一帧 Fig． 1 Asynchronous stereoscopic video of motion in depth: ( a) the first frame of right view; ( b) the last frame of right view 为消除视差位置对探究帧延时立体视频的影 响，首先进行练习实验． 实验素材由 Autodesk Maya 软件制作而成，以静止蓝天白云为背景，三维立体足 球由屏内向屏外做匀速直线运动，为增加立体效果， 使背景与足球形成相对视差，图 1( a) 和图 1( b) 分 别为一个运动场景中首末帧的右视图． 由文献［4-- 5，17］，为保证观看的舒适度，设置足球以中速 16°· s － 1运动，右视图发生帧延时． 本实验分为 7 个不同 的延时位置，即 － 0. 6°、－ 0. 4°、－ 0. 2°、0°、+ 0. 2°、 + 0. 4°和 + 0. 6°处分别实现右视图延时，延时等级 分为四种: 无延时、延时 1 帧、延时 2 帧和延时 3 帧． 视频时长均为 1 s． · 905 ·