立体视频延时的事件相关电位研究

立体视频在无质量保证的互联网上传输时会引发立体视频左右视图的帧延时,影响观看质量.本文提出一种利用主观评价与客观脑电(electroencephalogram,EEG)相结合的方式分别对深度和水平延时运动立体视频刺激进行分析,并对二者的差异性进行比较.共有十名被试参加实验,被试观看随机呈现的不同延时等级包括无延时、延时1帧、延时2帧和延时3帧的立体视频片段,并对是否感知到延时效应做出主观判断,同时记录被试的EEG信号.从EEG信号中提取出事件相关电位(event related potentials,ERPs)并结合主观行为数据进行分析与比较.实验结果表明,为保证观看质量,深度运动立体视频中所能存在的最大延时帧数为1帧,水平运动中则不能存在延时效应.与水平延时运动相比,深度延时运动刺激产生的P300成分幅值变化范围更大,表明在深度延时运动刺激下大脑的活跃程度更高.同时,相同延时帧数的深度运动与水平运动刺激所产生的P300成分中,深度延时运动的潜伏期更长,这表明处理深度延时运动刺激所需时间更长.

团购合买资源类别：文库，文档格式：PDF，文档页数：8，文件大小：692.91KB

工程科学学报，第40卷，第4期：508-515,2018年4月 Chinese Journal of Engineering,Vol.40,No.4:508-515,April 2018 DOI:10.13374/j.issn2095-9389.2018.04.015:http://journals.ustb.edu.cn 立体视频延时的事件相关电位研究沈丽丽，吴子阳天津大学电气自动化与信息工程学院，天津300072 ☒通信作者，E-mail:sll@tju.edu.cn 摘要立体视频在无质量保证的互联网上传输时会引发立体视频左右视图的帧延时，影响观看质量.本文提出一种利用主观评价与客观脑电(electroencephalogram,EEG)相结合的方式分别对深度和水平延时运动立体视频刺激进行分析，并对二者的差异性进行比较.共有十名被试参加实验，被试观看随机呈现的不同延时等级包括无延时、延时1帧、延时2帧和延时3帧的立体视频片段，并对是否感知到延时效应做出主观判断，同时记录被试的EEG信号.从EEG信号中提取出事件相关电位 (event related potentials,ERPs)并结合主观行为数据进行分析与比较.实验结果表明，为保证观看质量，深度运动立体视频中所能存在的最大延时帧数为1帧，水平运动中则不能存在延时效应.与水平延时运动相比，深度延时运动刺激产生的P300成分幅值变化范围更大，表明在深度延时运动刺激下大脑的活跃程度更高.同时，相同延时帧数的深度运动与水平运动刺激所产生的P300成分中，深度延时运动的潜伏期更长，这表明处理深度延时运动刺激所需时间更长. 关键词立体视频：帧延时：事件相关电位：深度运动：水平运动：差异性分类号R318 Study of asynchronous stereoscopic video based on event related potentials SHEN Li-li▣，WU Zi-yang School of Electrical and Information Engineering,Tianjin University,Tianjin 300072,China Corresponding author,E-mail:sll@tju.edu.cn ABSTRACT When stereoscopic videos are transmitted on the no-quality-assurance internet,frame delay occurs in the left and right views,which affect the stereoscopic sensation as well as the viewing quality.In this paper,the stimulus of motion-in-depth and motion- in-lateral asynchronous stereoscopic videos were analyzed and they were compared via qualitative and quantitative assessments.In this quantitative experiments,the well-known electroencephalogram (EEG)was utilized.A total of ten subjects was recruited to participate in an experiment,in which they watched randomly presented asynchronous stereoscopic video clips.For the qualitative assessment,af- ter viewing one clip,the subjects were asked whether they perceived any asynchronicity in the frames.The degrees of asynchronicity in- cluded no delay,one frame delay,two frame delay,and three frame delay.The electroencephalogram (EEG)signal of each subject was recorded as they viewed the clip.Next,the event-related potentials (ERPs)were extracted from the EEG signals and the behavior- al data and the ERPs were analyzed to compare the different reactions to the depths and lateral extents of the asynchronous stereoscopic motion.The results reveal that the maximum allowable asynchronicity perceived for motion-in-depth stereoscopic video clips is one frame,whereas there must be no delay in the motion-in-ateral stereoscopic video clips.In addition,compared with being stimulated by the motion-in-ateral asynchronous stereoscopic video clips,a magnitude of P300 has a wider range when the subjects are stimulated by motion-in-depth asynchronous stereoscopic video clips.This indicates that the brain becomes more active in this circumstance.At the same time,the latency of P300 is longer than when stimulated by the motion-in-lateral asynchronous stereoscopic video clips,which means that when the subjects are stimulated by the same degree of asynchronicity of motion-in-depth and -in-ateral stereoscopic video clips,more time is required to process the stimulation of motion-in-depth stereoscopic video clips. 收稿日期：201707-20 基金项目：国家自然科学基金资助项目(61520106002,61302123)

工程科学学报，第 40 卷，第 4 期: 508--515，2018 年 4 月 Chinese Journal of Engineering，Vol． 40，No． 4: 508--515，April 2018 DOI: 10． 13374 /j． issn2095--9389． 2018． 04． 015; http: / /journals． ustb． edu． cn 立体视频延时的事件相关电位研究沈丽丽，吴子阳天津大学电气自动化与信息工程学院，天津 300072 通信作者，E-mail: sll@ tju． edu． cn 摘要立体视频在无质量保证的互联网上传输时会引发立体视频左右视图的帧延时，影响观看质量．本文提出一种利用主观评价与客观脑电( electroencephalogram，EEG) 相结合的方式分别对深度和水平延时运动立体视频刺激进行分析，并对二者的差异性进行比较．共有十名被试参加实验，被试观看随机呈现的不同延时等级包括无延时、延时 1 帧、延时 2 帧和延时 3 帧的立体视频片段，并对是否感知到延时效应做出主观判断，同时记录被试的 EEG 信号．从 EEG 信号中提取出事件相关电位 ( event related potentials，EＲPs) 并结合主观行为数据进行分析与比较．实验结果表明，为保证观看质量，深度运动立体视频中所能存在的最大延时帧数为 1 帧，水平运动中则不能存在延时效应．与水平延时运动相比，深度延时运动刺激产生的 P300 成分幅值变化范围更大，表明在深度延时运动刺激下大脑的活跃程度更高．同时，相同延时帧数的深度运动与水平运动刺激所产生的 P300 成分中，深度延时运动的潜伏期更长，这表明处理深度延时运动刺激所需时间更长．关键词立体视频; 帧延时; 事件相关电位; 深度运动; 水平运动; 差异性分类号Ｒ318 收稿日期: 2017--07--20 基金项目: 国家自然科学基金资助项目( 61520106002，61302123) Study of asynchronous stereoscopic video based on event related potentials SHEN Li-li ，WU Zi-yang School of Electrical and Information Engineering，Tianjin University，Tianjin 300072，China Corresponding author，E-mail: sll@ tju． edu． cn ABSTＲACT When stereoscopic videos are transmitted on the no-quality-assurance internet，frame delay occurs in the left and right views，which affect the stereoscopic sensation as well as the viewing quality． In this paper，the stimulus of motion-in-depth and motionin-lateral asynchronous stereoscopic videos were analyzed and they were compared via qualitative and quantitative assessments． In this quantitative experiments，the well-known electroencephalogram ( EEG) was utilized． A total of ten subjects was recruited to participate in an experiment，in which they watched randomly presented asynchronous stereoscopic video clips． For the qualitative assessment，after viewing one clip，the subjects were asked whether they perceived any asynchronicity in the frames． The degrees of asynchronicity included no delay，one frame delay，two frame delay，and three frame delay． The electroencephalogram ( EEG) signal of each subject was recorded as they viewed the clip． Next，the event-related potentials ( EＲPs) were extracted from the EEG signals and the behavioral data and the EＲPs were analyzed to compare the different reactions to the depths and lateral extents of the asynchronous stereoscopic motion． The results reveal that the maximum allowable asynchronicity perceived for motion-in-depth stereoscopic video clips is one frame，whereas there must be no delay in the motion-in-lateral stereoscopic video clips． In addition，compared with being stimulated by the motion-in-lateral asynchronous stereoscopic video clips，a magnitude of P300 has a wider range when the subjects are stimulated by motion-in-depth asynchronous stereoscopic video clips． This indicates that the brain becomes more active in this circumstance． At the same time，the latency of P300 is longer than when stimulated by the motion-in-lateral asynchronous stereoscopic video clips，which means that when the subjects are stimulated by the same degree of asynchronicity of motion-in-depth and -in-lateral stereoscopic video clips，more time is required to process the stimulation of motion-in-depth stereoscopic video clips．

沈丽丽等：立体视频延时的事件相关电位研究 ·509· KEY WORDS stereoscopic video;asynchronous frame;event-related potentials;motion in depth:motion in lateral:difference 随着三维显示技术的迅速发展，一些三维产品制，是进行客观实验的可靠手段如三维电影等逐步走进人们的日常生活，人们越来通常自发产生的脑电信号复杂而无规律，当大越享受观看立体视频所带来的身临其境感口.在观脑受到某种特定刺激时，会产生电位上的变化，但这看过程中，人的双眼只有同时接收两路独立传输的种变化往往会淹没在自发脑电信号中.但将由相同左右视频流，才能在特定的视角下感知到深度信息，刺激引发的多段脑电进行叠加平均后，自发脑电正经过大脑进一步加工、处理形成立体视觉回.然而，负波形会相互抵消，而事件相关电位(event related 在立体视频传输过程中，由于网络延迟及数据丢包 potentials,ERPs)具有波形和潜伏期恒定的特点，因等因素的存在会导致立体视频帧的左右视图发生延此能从EEG信号中提取出来3-W.王笑等的针对时效应同，影响立体感及观看质量.因而，对立体视立体视频片段中的上边框效应是否会引起人体不适频帧延时的探究对3D产业的进一步发展具有指导的问题对35名被试利用ERPs进行了研究.Mun 意义. 等利用ERPs技术对21名被试(11女)在观看立目前，对立体视频帧延时的研究主要分为主观体视频后所产生的认知疲劳进行研究，发现疲劳状实验法与客观实验法两种.主观实验方法通过设计态下P600成分的幅值降低，潜伏期延长.ERPs作相应主观实验，被试根据其主观感受填写调查问卷为一种客观评价方法被广泛应用或做出主观判断，进而对被试的主观行为数据分析本文分别以1s长的深度延时运动和水平延时得出结论.in等回通过主观实验方法得出延时超运动立体视频作为刺激，延时等级包括无延时、延时过2帧后易引发被试的视觉不舒适甚至视觉疲劳. 1帧、延时2帧和延时3帧，通过主观评价和客观脑客观实验方法主要基于客观算法对立体视频帧延时电实验相结合的方法对人的延时感知进行了探究，进行研究，Gao等0提出了一种基于尺度不变特征同时对二者的差异性进行分析与比较变换(scale--invariant feature transform,SIFT)算子的 1实验方法帧同步性检测算法，实验结果表明该算法在大多数立体场景中具有良好的效果.Goldmann等对立 1.1深度延时运动实验体视频延时帧数与立体视频质量关系进行了分析并 1.1.1实验素材提出一种新的帧同步性检测算法.Tam等与Kim 为消除视差位置对探究帧延时立体视频的影等切研究发现立体视频帧的左右视图出现延时后，响，首先进行练习实验.实验素材由Autodesk Maya 其视差分布也会发生相应变化. 软件制作而成，以静止蓝天白云为背景，三维立体足当前对立体视频帧延时的研究已初具成果，但球由屏内向屏外做匀速直线运动，为增加立体效果，其中也存在一些不可忽视的问题.(1)对于运动的使背景与足球形成相对视差，图1(a)和图1(b)分立体场景，深度运动和水平运动是两种不同的模式，别为一个运动场景中首末帧的右视图.由文献4一这两种模式下发生帧延时的结果不一定相同：(2) 5,17],为保证观看的舒适度，设置足球以中速16°· 主观实验具有直接反映被试主观感受的优点，但其 s运动，右视图发生帧延时.本实验分为7个不同本质是基于记忆的，实验结果与被试关系密切，的延时位置，即-0.6°、-0.4°、-0.2°、0°、+0.2°、因此单一的主观实验结果并不完全可靠：(3)帧同 +0.4°和+0.6°处分别实现右视图延时，延时等级步性检测算法对特定立体场景的检测效果较好，但分为四种：无延时、延时1帧、延时2帧和延时3帧. 其鲁棒性不强，不具备普适性.基于此，本文利用主视频时长均为1s 观实验与客观实验相结合的方法对运动的立体场景中水平与深度运动帧延时分别进行研究，同时对二者的差异性进行比较.客观实验通过采集被试脑电 (electroencephalogram,EEG)这一生物电信号进行， a 公 EEG是一种实时记录大脑活动的生物电信号W,其图1深度延时运动场景首末帧右视图.(a)第一帧：(b)最后分辨能力达毫秒级0-？，且不受被试主观因素的影一帧响，简单方便易于获取.该方法既能作为主观实验 Fig.I Asynchronous stereoscopic video of motion in depth:(a)the 结果可靠性的验证又不受特定立体运动场景的限 first frame of right view:(b)the last frame of right view

沈丽丽等: 立体视频延时的事件相关电位研究 KEY WOＲDS stereoscopic video; asynchronous frame; event-related potentials; motion in depth; motion in lateral; difference 随着三维显示技术的迅速发展，一些三维产品如三维电影等逐步走进人们的日常生活，人们越来越享受观看立体视频所带来的身临其境感［1］．在观看过程中，人的双眼只有同时接收两路独立传输的左右视频流，才能在特定的视角下感知到深度信息，经过大脑进一步加工、处理形成立体视觉［2］．然而，在立体视频传输过程中，由于网络延迟及数据丢包等因素的存在会导致立体视频帧的左右视图发生延时效应［3］，影响立体感及观看质量．因而，对立体视频帧延时的探究对 3D 产业的进一步发展具有指导意义．目前，对立体视频帧延时的研究主要分为主观实验法与客观实验法两种．主观实验方法通过设计相应主观实验，被试根据其主观感受填写调查问卷或做出主观判断，进而对被试的主观行为数据分析得出结论． Lin 等［3］通过主观实验方法得出延时超过 2 帧后易引发被试的视觉不舒适甚至视觉疲劳．客观实验方法主要基于客观算法对立体视频帧延时进行研究，Gao 等［4］提出了一种基于尺度不变特征变换( scale-invariant feature transform，SIFT) 算子的帧同步性检测算法，实验结果表明该算法在大多数立体场景中具有良好的效果． Goldmann 等［5］对立体视频延时帧数与立体视频质量关系进行了分析并提出一种新的帧同步性检测算法． Tam 等［6］与 Kim 等［7］研究发现立体视频帧的左右视图出现延时后，其视差分布也会发生相应变化．当前对立体视频帧延时的研究已初具成果，但其中也存在一些不可忽视的问题． ( 1) 对于运动的立体场景，深度运动和水平运动是两种不同的模式，这两种模式下发生帧延时的结果不一定相同; ( 2) 主观实验具有直接反映被试主观感受的优点，但其本质是基于记忆的，实验结果与被试关系密切［8--9］，因此单一的主观实验结果并不完全可靠; ( 3) 帧同步性检测算法对特定立体场景的检测效果较好，但其鲁棒性不强，不具备普适性．基于此，本文利用主观实验与客观实验相结合的方法对运动的立体场景中水平与深度运动帧延时分别进行研究，同时对二者的差异性进行比较．客观实验通过采集被试脑电 ( electroencephalogram，EEG) 这一生物电信号进行， EEG 是一种实时记录大脑活动的生物电信号［8］，其分辨能力达毫秒级［10--12］，且不受被试主观因素的影响，简单方便易于获取．该方法既能作为主观实验结果可靠性的验证又不受特定立体运动场景的限制，是进行客观实验的可靠手段．通常自发产生的脑电信号复杂而无规律，当大脑受到某种特定刺激时，会产生电位上的变化，但这种变化往往会淹没在自发脑电信号中．但将由相同刺激引发的多段脑电进行叠加平均后，自发脑电正负波形会相互抵消，而事件相关电位( event related potentials，EＲPs) 具有波形和潜伏期恒定的特点，因此能从 EEG 信号中提取出来［13--14］．王笑等［15］针对立体视频片段中的上边框效应是否会引起人体不适的问题对 35 名被试利用 EＲPs 进行了研究． Mun 等［16］利用 EＲPs 技术对 21 名被试( 11 女) 在观看立体视频后所产生的认知疲劳进行研究，发现疲劳状态下 P600 成分的幅值降低，潜伏期延长． EＲPs 作为一种客观评价方法被广泛应用．本文分别以 1 s 长的深度延时运动和水平延时运动立体视频作为刺激，延时等级包括无延时、延时 1 帧、延时 2 帧和延时 3 帧，通过主观评价和客观脑电实验相结合的方法对人的延时感知进行了探究，同时对二者的差异性进行分析与比较． 1 实验方法 1. 1 深度延时运动实验 1. 1. 1 实验素材图 1 深度延时运动场景首末帧右视图． ( a) 第一帧; ( b) 最后一帧 Fig． 1 Asynchronous stereoscopic video of motion in depth: ( a) the first frame of right view; ( b) the last frame of right view 为消除视差位置对探究帧延时立体视频的影响，首先进行练习实验．实验素材由 Autodesk Maya 软件制作而成，以静止蓝天白云为背景，三维立体足球由屏内向屏外做匀速直线运动，为增加立体效果，使背景与足球形成相对视差，图 1( a) 和图 1( b) 分别为一个运动场景中首末帧的右视图．由文献［4-- 5，17］，为保证观看的舒适度，设置足球以中速 16°· s － 1运动，右视图发生帧延时．本实验分为 7 个不同的延时位置，即－ 0. 6°、－ 0. 4°、－ 0. 2°、0°、+ 0. 2°、 + 0. 4°和 + 0. 6°处分别实现右视图延时，延时等级分为四种: 无延时、延时 1 帧、延时 2 帧和延时 3 帧．视频时长均为 1 s． · 905 ·

·510 工程科学学报，第40卷，第4期 1.1.2实验设计 1.2m远以保证被试观看舒适度.整个练习实验包实验随机选取10名在校大学生(4女6男)作括60个试次，每一试次包含五部分，如图2所示为被试，年龄为22到28岁，其中3名有相关实验经首先在屏幕中间呈现白色圆点以使被试集中注意验.所有被试均有正常或矫正后正常的视力及合格力，时长为500ms:紧接着呈现1s无延时的视频：之的立体敏锐度，且无神经系统疾病如光敏性癫痫. 后呈现500ms的休息间隔以缓解视差改变过大引为减少被试自身身体及心理因素的影响，在实验开起的不舒适感：然后以随机方式呈现1s不同视差等始前要充分休息并提前了解实验流程.为避免灯光级的延时视频，其中无延时视频占视频总数的闪烁引起视觉不舒适，整个实验在一个暗淡的环境 83%,延时1、2、3帧的视频共占17%（遵循0 ddball 中进行实验范式-9)：最后在屏幕中间再次呈现白色圆立体视频刺激在1366×768分辨率的立体显示点，此时被试判断是否感知到由延时效应引起的不器上以side-by-side方式呈现.根据行业标准，观看协调感，若判断为不协调则点击鼠标左键，反之点击距离为显示器高度(0.398m)的3倍，大约距显示器鼠标右键，被试点击鼠标后随即进入下一个试次. 500m5 1000ms 500ms 1000ms 等待判断图2深度延时运动实验流程图 Fig.2 Procedure of one trail in motion-in-depth experiment 分析10名被试的主观行为数据，将由不同视差运动的视差固定在+0.2°视差位置处.延时帧数同等级引起的被试不协调感检测率进行分类，如图3 样分为四个等级，即无延时、延时1帧、延时2帧和所示，其中S1和S2等分别表示被试1和被试2等. 延时3帧.其中，所有视频的帧延时都在屏幕的中由图3可知：(1)在不同的视差等级下，检测率折线间位置. 走势基本一致，即随着延时帧数的增加，检测率逐渐 1.2.2实验设计增加.(2)当延时帧数为1帧时，检测率低于50%，水平延时运动实验设计与深度延时运动相同. 当延时帧数为2帧或3帧时，检测率几乎为达到根据10名被试的行为数据分析不同速度等级下的 100%,说明被试对2帧和3帧的延时十分敏感. 不协调检测率，如图5所示.由图可知：(1)当水平 (3)10名被试在+0.2°视差位置处所得不协调检测运动速度在16cm·s1到22cm·s1之间时，随着速率曲线较为一致，表明此视差位置下，被试更易于感度的增加，不协调检测率不断上升，表明被试容易感知帧延时的变化，因而此视差位置为探究深度运动知出较高运动速度的延时效应.(2)当运动速度在中延时效应的最佳位置 18cms到22cms-1之间时，不协调感检测率的变基于练习实验结果，正式实验的实验素材选取化明显.(3)当运动速度高于22cm·s-1时，检测率 +0.2°视差位置处发生不同等级的帧延时立体视有所下降，说明此时被试虽能感知到不协调感，但过频，包括无延时、延时1帧、延时2帧和延时3帧. 大的速度也会使其不能及时捕捉到这种不协调感. 正式实验分为600个试次，除观看过程中需采集被以上结果表明速度大小对延时感知具有较大影响，试脑电信号外，其余部分与练习实验相同为保证结果的可靠性速度应在22cm's1以下. 1.2水平延时运动实验基于以上分析，正式实验选取足球的水平运动 1.2.1实验素材速度为16cm·s的立体视频，共包括600个试次，实验素材为一个三维立体足球自左向右做匀速帧延时均发生在屏幕中央位置，延时等级及其他部直线运动，图4(a)和图4(b)分别为首末帧的右视分均与深度延时运动相同图，制作方法同深度延时运动实验.由于物体运动 2 速度的大小是影响观看舒适度的重要因素，因此进实验数据的采集和处理行练习实验以找出最佳运动速度.设置6个速度等实验数据包括主观行为数据和客观脑电级，分别为16、18、20、22、24和26cms-1.基于文献 (EEG)数据两种.行为数据即被试对于帧延时所带 B5]及立体深度运动练习实验所得结论，将足球来的不协调感的主观判断，被试点击鼠标左右键由

工程科学学报，第 40 卷，第 4 期 1. 1. 2 实验设计实验随机选取 10 名在校大学生( 4 女 6 男) 作为被试，年龄为 22 到 28 岁，其中 3 名有相关实验经验．所有被试均有正常或矫正后正常的视力及合格的立体敏锐度，且无神经系统疾病如光敏性癫痫．为减少被试自身身体及心理因素的影响，在实验开始前要充分休息并提前了解实验流程．为避免灯光闪烁引起视觉不舒适，整个实验在一个暗淡的环境中进行．立体视频刺激在 1366 × 768 分辨率的立体显示器上以 side-by-side 方式呈现．根据行业标准，观看距离为显示器高度( 0. 398 m) 的 3 倍，大约距显示器 1. 2 m 远以保证被试观看舒适度．整个练习实验包括 60 个试次，每一试次包含五部分，如图 2 所示．首先在屏幕中间呈现白色圆点以使被试集中注意力，时长为 500 ms; 紧接着呈现 1 s 无延时的视频; 之后呈现 500 ms 的休息间隔以缓解视差改变过大引起的不舒适感; 然后以随机方式呈现 1 s 不同视差等级的延时视频，其中无延时视频占视频总数的 83% ，延时 1、2、3 帧的视频共占 17% ( 遵循 Oddball 实验范式［18--19］) ; 最后在屏幕中间再次呈现白色圆点，此时被试判断是否感知到由延时效应引起的不协调感，若判断为不协调则点击鼠标左键，反之点击鼠标右键，被试点击鼠标后随即进入下一个试次．图 2 深度延时运动实验流程图 Fig． 2 Procedure of one trail in motion-in-depth experiment 分析 10 名被试的主观行为数据，将由不同视差等级引起的被试不协调感检测率进行分类，如图 3 所示，其中 S1 和 S2 等分别表示被试 1 和被试 2 等．由图 3 可知: ( 1) 在不同的视差等级下，检测率折线走势基本一致，即随着延时帧数的增加，检测率逐渐增加． ( 2) 当延时帧数为 1 帧时，检测率低于 50% ，当延时帧数为 2 帧或 3 帧时，检测率几乎为达到 100% ，说明被试对 2 帧和 3 帧的延时十分敏感． ( 3) 10 名被试在 + 0. 2°视差位置处所得不协调检测率曲线较为一致，表明此视差位置下，被试更易于感知帧延时的变化，因而此视差位置为探究深度运动中延时效应的最佳位置．基于练习实验结果，正式实验的实验素材选取 + 0. 2°视差位置处发生不同等级的帧延时立体视频，包括无延时、延时 1 帧、延时 2 帧和延时 3 帧．正式实验分为 600 个试次，除观看过程中需采集被试脑电信号外，其余部分与练习实验相同． 1. 2 水平延时运动实验 1. 2. 1 实验素材实验素材为一个三维立体足球自左向右做匀速直线运动，图 4( a) 和图 4( b) 分别为首末帧的右视图，制作方法同深度延时运动实验．由于物体运动速度的大小是影响观看舒适度的重要因素，因此进行练习实验以找出最佳运动速度．设置 6 个速度等级，分别为 16、18、20、22、24 和 26 cm·s － 1 ．基于文献［3--5］及立体深度运动练习实验所得结论，将足球运动的视差固定在 + 0. 2°视差位置处．延时帧数同样分为四个等级，即无延时、延时 1 帧、延时 2 帧和延时 3 帧．其中，所有视频的帧延时都在屏幕的中间位置． 1. 2. 2 实验设计水平延时运动实验设计与深度延时运动相同．根据 10 名被试的行为数据分析不同速度等级下的不协调检测率，如图 5 所示．由图可知: ( 1) 当水平运动速度在 16 cm·s － 1到 22 cm·s － 1之间时，随着速度的增加，不协调检测率不断上升，表明被试容易感知出较高运动速度的延时效应． ( 2) 当运动速度在 18 cm·s － 1到 22 cm·s － 1之间时，不协调感检测率的变化明显． ( 3) 当运动速度高于 22 cm·s － 1时，检测率有所下降，说明此时被试虽能感知到不协调感，但过大的速度也会使其不能及时捕捉到这种不协调感．以上结果表明速度大小对延时感知具有较大影响，为保证结果的可靠性速度应在 22 cm·s － 1以下．基于以上分析，正式实验选取足球的水平运动速度为 16 cm·s － 1的立体视频，共包括 600 个试次，帧延时均发生在屏幕中央位置，延时等级及其他部分均与深度延时运动相同． 2 实验数据的采集和处理实验数据包括主观行为数据和客观脑电 ( EEG) 数据两种．行为数据即被试对于帧延时所带来的不协调感的主观判断，被试点击鼠标左右键由 · 015 ·

·512 工程科学学报，第40卷，第4期 0.22、0.8和0.896.由此可得，当延时帧数小于等于1帧时，不协调感检测率明显低于50%，此时被试不易感知出立体视频的帧延时效应：当延时帧数 o G 超过1帧后，检测率达到80%及以上，表明此时被图4水平延时运动场景首末帧.(a)第一帧：(b)最后一帧试对帧延时效应十分敏感. Fig.4 Asynchronous stereoscopic video of motion in lateral:(a)the 1.0- 0.9 -51 first frame of right view;(b)the last frame of right view -52 0.8-3 0.7 -4 1.0 -5 6 -S6 0.9 -S7 0.8 0.4 0.7 0.3 -S10 0.2 0.5 0.1 一无延时 0 ·一延时1顿延时顿数 0.3 延时2帧 02 一延时3帧图7深度延时运动中被试检测率曲线 Fig.7 Curves of detection ratio for all subjects in motion in depth 0.0 一量一 6 18 202224 26 3.1.2水平延时运动行为数据分析水平速度cm·s) 图8为10名被试观看水平延时运动立体视频图5不同速度等级延时检测率素材所得不协调感检测率曲线，其变化趋势与深度 Fig.5 Detection ratio of different speeds 延时运动相似，但不同延时等级下的平均检测率有明显差异.无延时、延时1帧、2帧和3帧的平均检测率分别为0.007、0.68、0.92和0.99，延时存在时的检测率均超过50%，延时2帧与3帧高达90%以上.可以看出，大脑对水平延时和深度延时立体视频刺激感知情况存在差异，在水平延时运动中存在帧延时现象即能被感知出. 1.0 0.9 0.8 0.7 -S3 图6脑电信号采集实景 0.6 -S4 Fig.6 Acquisition of EEG signals 0.5 04 -s7 电信号分段处理，以刺激发生的时间为起点，按照事 0.2 -S10 件持续的时间对脑电数据进行分段，并对分段后的 0.1 信号进行基线校正以去除分段信号相对基线的偏 2 延时帧数离.最后祛除伪迹并进行叠加平均，提取出ERPs 图8水平延时运动中被试检测率曲线深度延时运动和水平延时运动的数据获取及处理过 Fig.8 Curves of detection ratio for all subjects in motion in lateral 程是相同的 3.2ERPs结果分析 3实验结果 3.2.1深度延时运动ERPs结果分析 3.1行为数据结果分析图9所示为大脑中央区电极Cz上深度延时运 3.1.1深度延时运动行为数据分析动立体视频刺激在大脑皮层诱发的平均ERPs信图7为10名被试观看深度延时运动立体视频号，可以看出，大脑对深度延时运动刺激有明显反素材所得的不协调感检测率曲线.随着延时帧数的应.根据时间将曲线分为三部分：(1)0~500ms,为增加，检测率也在逐渐增加.其中无延时、延时1 被试休息阶段，四种波形无明显差异：(2)500ms~ 帧、2帧和3帧所得平均检测率分别为0.0189、 1s,帧延时刺激出现在500ms,文献20-21]表明

工程科学学报，第 40 卷，第 4 期图 4 水平延时运动场景首末帧． ( a) 第一帧; ( b) 最后一帧 Fig． 4 Asynchronous stereoscopic video of motion in lateral: ( a) the first frame of right view; ( b) the last frame of right view 图 5 不同速度等级延时检测率 Fig． 5 Detection ratio of different speeds 图 6 脑电信号采集实景 Fig． 6 Acquisition of EEG signals 电信号分段处理，以刺激发生的时间为起点，按照事件持续的时间对脑电数据进行分段，并对分段后的信号进行基线校正以去除分段信号相对基线的偏离．最后祛除伪迹并进行叠加平均，提取出 EＲPs．深度延时运动和水平延时运动的数据获取及处理过程是相同的． 3 实验结果 3. 1 行为数据结果分析 3. 1. 1 深度延时运动行为数据分析图 7 为 10 名被试观看深度延时运动立体视频素材所得的不协调感检测率曲线．随着延时帧数的增加，检测率也在逐渐增加．其中无延时、延时 1 帧、2 帧和 3 帧所得平均检测率分别为 0. 0189、 0. 22、0. 8 和 0. 896．由此可得，当延时帧数小于等于 1 帧时，不协调感检测率明显低于 50% ，此时被试不易感知出立体视频的帧延时效应; 当延时帧数超过 1 帧后，检测率达到 80% 及以上，表明此时被试对帧延时效应十分敏感．图 7 深度延时运动中被试检测率曲线 Fig． 7 Curves of detection ratio for all subjects in motion in depth 3. 1. 2 水平延时运动行为数据分析图 8 为 10 名被试观看水平延时运动立体视频素材所得不协调感检测率曲线，其变化趋势与深度延时运动相似，但不同延时等级下的平均检测率有明显差异．无延时、延时 1 帧、2 帧和 3 帧的平均检测率分别为 0. 007、0. 68、0. 92 和 0. 99，延时存在时的检测率均超过 50% ，延时 2 帧与 3 帧高达 90% 以上．可以看出，大脑对水平延时和深度延时立体视频刺激感知情况存在差异，在水平延时运动中存在帧延时现象即能被感知出．图 8 水平延时运动中被试检测率曲线 Fig． 8 Curves of detection ratio for all subjects in motion in lateral 3. 2 EＲPs 结果分析 3. 2. 1 深度延时运动 EＲPs 结果分析图 9 所示为大脑中央区电极 Cz 上深度延时运动立体视频刺激在大脑皮层诱发的平均 EＲPs 信号，可以看出，大脑对深度延时运动刺激有明显反应．根据时间将曲线分为三部分: ( 1) 0 ～ 500 ms，为被试休息阶段，四种波形无明显差异; ( 2) 500 ms ～ 1 s，帧延时刺激出现在 500 ms，文献［20--21］表明， · 215 ·

沈丽丽等: 立体视频延时的事件相关电位研究在呈现刺激开始后的 200 ms 出现的负成分 N200 意味着大脑开始对视觉刺激有所反应，本实验也出现了 N200 这一成分，表明大脑开始对立体视频刺激产生响应．但立体深度运动是一个复杂的视觉刺激，实验中发现的这一成分在呈现刺激后的 500 ms，定义为 N500．在本实验中，刺激为深度延时运动视频，说明 N500 成分是由深度延时运动视觉刺激产生的．波形表明，随着延时帧数的增加，N500 成分的幅值明显增加，即人脑的活动性不断增强，N500 成分的最高幅值是由延时 3 帧立体视频刺激产生的; ( 3) 1 ～ 1. 4 s，出现 P300( 在刺激呈现开始后 300 ms 出现的正成分) 成分． P300 的幅度较大且范围较宽，由稀少的、任务相关的刺激所诱发［22--23］．研究［13］表明，所呈现的视觉任务分类难度较大时， P300 成分的潜伏期会增加，本实验为 700 ms，定义为 P700．图 8 红点表示为由延时 2 帧视频刺激所产生的 P700 成分的范围．图 10 为不同延时帧数立体视频刺激下产生的 P700 成分平均幅值显著性差异图，其中 p 值表示不拒绝原假设的程度，p 值越小，结果越可信． p ＞ 0. 05 表明无显著性差异，0. 01 ＜ p ＜ 0. 05 表明有显著性差异，p ＜ 0. 01 表明有极显著性差异．由此可以看出无延时和延时 1 帧之间无显著性差异( p = 0. 128 ＞ 0. 05) ，无延时和延时 2 帧( p = 0. 008 ＜ 0. 05) ，无延时和延时3 帧( p = 0. 003 ＜ 0. 05) 之间均产生了显著性差异，延时 2 帧和延时 3 帧之间无显著性差异 ( p = 0. 106 ＜ 0. 05) ．因此，可以得出结论: 被试对延时 1 帧以上的深度运动立体视频刺激十分敏感，为保证观看舒适度，深度运动视频的延时帧数不能超过 1 帧．此结果与主观行为数据分析相一致．图 9 深度延时运动 Cz 电极的 EＲPs 波形 Fig． 9 EＲP waveforms of Cz in motion in depth 3. 2. 2 水平延时运动 EＲPs 结果分析图 11 所示为 Cz 电极上水平延时运动立体视频刺激在大脑皮层诱发的 EＲPs 信号． ( 1) 0 ～ 500 ms，处于无刺激阶段; ( 2) 500 ～ 800 ms，呈现水平延时运动视频，大脑开始对视觉刺激有所反应，出现 N200 成分．和深度延时运动有所不同，N200 成分的最高图 10 深度延时运动中 P700 成分显著性差异图 Fig． 10 Significant differences of the P700 component in motion in depth 图 11 水平延时运动 Cz 电极的 EＲPs 波形 Fig． 11 EＲP waveforms of Cz in motion in lateral 幅值由延时 2 帧视频刺激所产生; ( 3) 800 ms ～ 1. 4 s，同深度延时运动实验，出现 P300 成分，由于潜伏期是 450 ms，定义为 P450，最高幅值为延时 3 帧视频刺激所产生．图 12 水平延时运动中 P450 成分显著性差异图 Fig． 12 Significant differences of the P450 component in motion in lateral 图 12 为 P450 成分平均幅值的显著性差异图．分析可得，无延时和延时2 帧( p = 0. 017 ＜ 0. 05) 、无延时和延时3 帧( p = 0. 004 ＜ 0. 05) 之间出现显著性差异，而延时 1 帧、2 帧和 3 帧之间无显著性差异，这和深度延时运动存在一定差异．结合行为数据分 · 315 ·

·514 工程科学学报，第40卷，第4期析可知人对于水平运动立体视频的延时效应十分敏 Process,2017,26(8):3789 感，只要存在帧延时效应即可被感知到. 2]Parker A J.Binocular depth perception and the cerebral cortex. Nat Rev Neurosci,2007,8(5):379 4结论 B]Lin S L,Sawa Y,Fukushima N,et al.Influences of frame delay and packet loss between left and right frames in stercoscopic video 通过主观实验与客观实验相结合探究了大脑对 communications//28th Picture Coding Symposium.Nagoya,2010: 于深度和水平延时立体视频延时帧数的感知情况， 510 并对二者之间的差异性进行了比较.结合主观行为 4 Gao J K,Zhou J,Gu X.3D frame synchronization detection based 数据以及客观ERPs分析结果（图8和图10）可以看 on classified epipolar geometry parameters//2014 IEEE Interna- tional Symposium on Broadband Multimedia Systems and Broad- 出，大脑对于深度延时运动和水平延时运动的感知 casting.Beijing,2014:1 存在差异.但不管是深度延时运动还是水平延时运 5] Goldmann L,Lee J S,Ebrahimi T.Temporal synehronization in 动，不同延时帧数立体视频刺激下得到的ERPs波 stereoscopic video:influence on quality of experience and automat- 形均不相同，这也表明ERPs能够用来反映这一差 ic asynchrony detection //17th IEEE International Conference on 异性，并得出如下主要结论. Image Processing.Hong Kong,2010:3241 [6]Tam W J,Speranza F,Yano S,et al.Stereoscopic 3D-TV:visu- (1)由主观行为数据可知，大脑对水平运动立 al comfort.IEEE Trans Broadcast,2011,57(2):335 体视频的延时效应更加敏感.和深度延时运动相 7]Kim D,Choi S,Sohn K.Depth adjustment for stereoscopie images 比，水平延时运动行为数据检测率曲线从无延时 and subjective preference evaluation.Electron Imaging,2011, 到延时1帧出现剧烈变化且检测率超过50%.而 20(3):033011 深度运动延时1帧时，所得不协调感检测率低于 [8]Hoffman D M,Girshick A R,Akeley K,et al.Vergence-ccom- modation conflicts hinder visual performance and cause visual fa- 50%. tigue.J Vision,2008,8(3)33 (2)由ERPs的波形发现随着延时帧数的增加， Kuze J,Ukai K.Subjective evaluation of visual fatigue caused by 大脑的活动性也不断增强 motion images.Displays,2008.29():159 (3)深度延时运动所产生的ERPs中P300成分 [10]Scholler S,Bosse S,Treder M S,et al.Toward a direct measure 幅值变化范围为-30μV到30μV,而水平延时运动 of video quality perception using EEG.IEEE Trans Image 的变化范围是-15μV到+15μV.因此和水平延时 Process,2012,21(5):2619 [11]Li H C O,Seo J,Kham K,et al.Measurement of 3D visual fa- 运动相比，深度延时运动刺激使大脑更加活跃. tigue using event-related potential (ERP):3D oddball paradigm (4)根据两类实验中负成分出现的时间可以发 1/3D-TV Conference:the True Vision-Capture,Transmission and 现大脑处理深度延时运动刺激所需时间更长.两类 Display of 3D Video.Istanbul,2008:213 实验刺激都在500s处开始呈现，而深度延时运动 [12]Kaseda Y,Jiang C H,Kurokawa K,et al.Objective evaluation 的负成分出现在1s处(N500),水平延时运动出现 of fatigue by event-telated potentials.J Neurolog Sci,1998,158 (1):96 在700ms处(N200).P300成分的潜伏期也有所不 [13]Luck S J.An Introduction to the Event-Related Potential Tech- 同，深度延时运动具有比水平延时运动更长的潜伏 nique.The MIT Press,2014 期(700ms),表明相同延时帧数的深度运动立体视 [14]Jackson A F,Bolger D J.The neurophysiological bases of EEG 频刺激和水平运动相比不易于区分. and EEG measurement:a review for the rest of us.Psychophysi- 对立体视频帧延时效应进行了研究，通过主观 logy,2014,51(11):1061 实验与客观实验相互补充，得到了较好的实验效果. [15]Wang X,Qian Z Y,Xing L D,et al.P300 based effects of up- per board effect from 3D film on human discomfort.J Tianjin 但大脑对深度延时运动与水平延时运动刺激的感知 Univ Sci Technol,2015,48(9):839 是一个复杂问题，本文只进行了初步探究.大脑对 (王笑，钱志余，邢丽冬，等.基于300的三维影片上边框两类延时运动的处理过程是否相同等复杂性问题还效应对人体健康的影响.天津大学学报（自然科学与工程技需后续进一步研究.在后续研究中可增加被试数量术版)，2015,48(9)：839) 并结合核磁技术、心电肌电等生物电信号进行分析， [16]Mun S,Park M C,Park S,et al.SSVEP and ERP measurement of cognitive fatigue caused by stereoscopic 3D.Neurosci Lett, 使结果更加全面. 2012,525(2):89 [17]Chey J,Grossberg S,Mingolla E.Neural dynamics of motion 参考文献 processing and speed discrimination.Vision Res,1998,38(18): [Oh H,Kim J,Kim J,et al.Enhancement of visual comfort and 2769 sense of presence on stereoscopic 3D images.IEEE Trans Image [18]Chao LL,Knight R T.Prefrontal and posterior cortical activation

工程科学学报，第 40 卷，第 4 期析可知人对于水平运动立体视频的延时效应十分敏感，只要存在帧延时效应即可被感知到． 4 结论通过主观实验与客观实验相结合探究了大脑对于深度和水平延时立体视频延时帧数的感知情况，并对二者之间的差异性进行了比较．结合主观行为数据以及客观 EＲPs 分析结果( 图 8 和图 10) 可以看出，大脑对于深度延时运动和水平延时运动的感知存在差异．但不管是深度延时运动还是水平延时运动，不同延时帧数立体视频刺激下得到的 EＲPs 波形均不相同，这也表明 EＲPs 能够用来反映这一差异性，并得出如下主要结论． ( 1) 由主观行为数据可知，大脑对水平运动立体视频的延时效应更加敏感．和深度延时运动相比，水平延时运动行为数据检测率曲线从无延时到延时 1 帧出现剧烈变化且检测率超过 50% ．而深度运动延时 1 帧时，所得不协调感检测率低于 50% ． ( 2) 由 EＲPs 的波形发现随着延时帧数的增加，大脑的活动性也不断增强． ( 3) 深度延时运动所产生的 EＲPs 中 P300 成分幅值变化范围为－ 30 μV 到 30 μV，而水平延时运动的变化范围是－ 15 μV 到 + 15 μV．因此和水平延时运动相比，深度延时运动刺激使大脑更加活跃． ( 4) 根据两类实验中负成分出现的时间可以发现大脑处理深度延时运动刺激所需时间更长．两类实验刺激都在 500 ms 处开始呈现，而深度延时运动的负成分出现在 1 s 处( N500) ，水平延时运动出现在 700 ms 处( N200) ． P300 成分的潜伏期也有所不同，深度延时运动具有比水平延时运动更长的潜伏期( 700 ms) ，表明相同延时帧数的深度运动立体视频刺激和水平运动相比不易于区分．对立体视频帧延时效应进行了研究，通过主观实验与客观实验相互补充，得到了较好的实验效果．但大脑对深度延时运动与水平延时运动刺激的感知是一个复杂问题，本文只进行了初步探究．大脑对两类延时运动的处理过程是否相同等复杂性问题还需后续进一步研究．在后续研究中可增加被试数量并结合核磁技术、心电肌电等生物电信号进行分析，使结果更加全面．参考文献［1］ Oh H，Kim J，Kim J，et al． Enhancement of visual comfort and sense of presence on stereoscopic 3D images． IEEE Trans Image Process，2017，26( 8) : 3789 ［2］ Parker A J． Binocular depth perception and the cerebral cortex． Nat Ｒev Neurosci，2007，8( 5) : 379 ［3］ Lin S L，Sawa Y，Fukushima N，et al． Influences of frame delay and packet loss between left and right frames in stereoscopic video communications / /28th Picture Coding Symposium． Nagoya，2010: 510 ［4］ Gao J K，Zhou J，Gu X． 3D frame synchronization detection based on classified epipolar geometry parameters / / 2014 IEEE International Symposium on Broadband Multimedia Systems and Broadcasting． Beijing，2014: 1 ［5］ Goldmann L，Lee J S，Ebrahimi T． Temporal synchronization in stereoscopic video: influence on quality of experience and automatic asynchrony detection / / 17th IEEE International Conference on Image Processing． Hong Kong，2010: 3241 ［6］ Tam W J，Speranza F，Yano S，et al． Stereoscopic 3D--TV: visual comfort． IEEE Trans Broadcast，2011，57( 2) : 335 ［7］ Kim D，Choi S，Sohn K． Depth adjustment for stereoscopic images and subjective preference evaluation． J Electron Imaging，2011， 20( 3) : 033011 ［8］ Hoffman D M，Girshick A Ｒ，Akeley K，et al． Vergence-accommodation conflicts hinder visual performance and cause visual fatigue． J Vision，2008，8( 3) : 33 ［9］ Kuze J，Ukai K． Subjective evaluation of visual fatigue caused by motion images． Displays，2008，29( 2) : 159 ［10］ Scholler S，Bosse S，Treder M S，et al． Toward a direct measure of video quality perception using EEG． IEEE Trans Image Process，2012，21( 5) : 2619 ［11］ Li H C O，Seo J，Kham K，et al． Measurement of 3D visual fatigue using event-related potential ( EＲP) : 3D oddball paradigm / / 3D--TV Conference: the True Vision-Capture，Transmission and Display of 3D Video． Istanbul，2008: 213 ［12］ Kaseda Y，Jiang C H，Kurokawa K，et al． Objective evaluation of fatigue by event-related potentials． J Neurolog Sci，1998，158 ( 1) : 96 ［13］ Luck S J． An Introduction to the Event-Ｒelated Potential Technique． The MIT Press，2014 ［14］ Jackson A F，Bolger D J． The neurophysiological bases of EEG and EEG measurement: a review for the rest of us． Psychophysiology，2014，51( 11) : 1061 ［15］ Wang X，Qian Z Y，Xing L D，et al． P300 based effects of upper board effect from 3D film on human discomfort． J Tianjin Univ Sci Technol，2015，48( 9) : 839 ( 王笑，钱志余，邢丽冬，等．基于 P300 的三维影片上边框效应对人体健康的影响．天津大学学报( 自然科学与工程技术版) ，2015，48( 9) : 839) ［16］ Mun S，Park M C，Park S，et al． SSVEP and EＲP measurement of cognitive fatigue caused by stereoscopic 3D． Neurosci Lett， 2012，525( 2) : 89 ［17］ Chey J，Grossberg S，Mingolla E． Neural dynamics of motion processing and speed discrimination． Vision Ｒes，1998，38( 18) : 2769 ［18］ Chao L L，Knight Ｒ T． Prefrontal and posterior cortical activation · 415 ·

点击进入文档下载页（PDF格式）

已到末页，全文结束

点击下载（PDF格式）

浏览记录

立体视频延时的事件相关电位研究