工程科学学报，第40卷，第4期：508-515,2018年4月 Chinese Journal of Engineering,Vol.40,No.4:508-515,April 2018 DOI:10.13374/j.issn2095-9389.2018.04.015:http://journals.ustb.edu.cn 立体视频延时的事件相关电位研究 沈丽丽，吴子阳 天津大学电气自动化与信息工程学院，天津300072 ☒通信作者，E-mail:sll@tju.edu.cn 摘要立体视频在无质量保证的互联网上传输时会引发立体视频左右视图的帧延时，影响观看质量.本文提出一种利用主 观评价与客观脑电(electroencephalogram,EEG)相结合的方式分别对深度和水平延时运动立体视频刺激进行分析，并对二者 的差异性进行比较.共有十名被试参加实验，被试观看随机呈现的不同延时等级包括无延时、延时1帧、延时2帧和延时3帧 的立体视频片段，并对是否感知到延时效应做出主观判断，同时记录被试的EEG信号.从EEG信号中提取出事件相关电位 (event related potentials,ERPs)并结合主观行为数据进行分析与比较.实验结果表明，为保证观看质量，深度运动立体视频中 所能存在的最大延时帧数为1帧，水平运动中则不能存在延时效应.与水平延时运动相比，深度延时运动刺激产生的P300成 分幅值变化范围更大，表明在深度延时运动刺激下大脑的活跃程度更高.同时，相同延时帧数的深度运动与水平运动刺激所 产生的P300成分中，深度延时运动的潜伏期更长，这表明处理深度延时运动刺激所需时间更长. 关键词立体视频：帧延时：事件相关电位：深度运动：水平运动：差异性 分类号R318 Study of asynchronous stereoscopic video based on event related potentials SHEN Li-li▣，WU Zi-yang School of Electrical and Information Engineering,Tianjin University,Tianjin 300072,China Corresponding author,E-mail:sll@tju.edu.cn ABSTRACT When stereoscopic videos are transmitted on the no-quality-assurance internet,frame delay occurs in the left and right views,which affect the stereoscopic sensation as well as the viewing quality.In this paper,the stimulus of motion-in-depth and motion- in-lateral asynchronous stereoscopic videos were analyzed and they were compared via qualitative and quantitative assessments.In this quantitative experiments,the well-known electroencephalogram (EEG)was utilized.A total of ten subjects was recruited to participate in an experiment,in which they watched randomly presented asynchronous stereoscopic video clips.For the qualitative assessment,af- ter viewing one clip,the subjects were asked whether they perceived any asynchronicity in the frames.The degrees of asynchronicity in- cluded no delay,one frame delay,two frame delay,and three frame delay.The electroencephalogram (EEG)signal of each subject was recorded as they viewed the clip.Next,the event-related potentials (ERPs)were extracted from the EEG signals and the behavior- al data and the ERPs were analyzed to compare the different reactions to the depths and lateral extents of the asynchronous stereoscopic motion.The results reveal that the maximum allowable asynchronicity perceived for motion-in-depth stereoscopic video clips is one frame,whereas there must be no delay in the motion-in-ateral stereoscopic video clips.In addition,compared with being stimulated by the motion-in-ateral asynchronous stereoscopic video clips,a magnitude of P300 has a wider range when the subjects are stimulated by motion-in-depth asynchronous stereoscopic video clips.This indicates that the brain becomes more active in this circumstance.At the same time,the latency of P300 is longer than when stimulated by the motion-in-lateral asynchronous stereoscopic video clips,which means that when the subjects are stimulated by the same degree of asynchronicity of motion-in-depth and -in-ateral stereoscopic video clips,more time is required to process the stimulation of motion-in-depth stereoscopic video clips. 收稿日期：201707-20 基金项目：国家自然科学基金资助项目(61520106002,61302123)
工程科学学报，第 40 卷，第 4 期: 508--515，2018 年 4 月 Chinese Journal of Engineering，Vol． 40，No． 4: 508--515，April 2018 DOI: 10． 13374 /j． issn2095--9389． 2018． 04． 015; http: / /journals． ustb． edu． cn 立体视频延时的事件相关电位研究 沈丽丽，吴子阳 天津大学电气自动化与信息工程学院，天津 300072 通信作者，E-mail: sll@ tju． edu． cn 摘 要 立体视频在无质量保证的互联网上传输时会引发立体视频左右视图的帧延时，影响观看质量． 本文提出一种利用主 观评价与客观脑电( electroencephalogram，EEG) 相结合的方式分别对深度和水平延时运动立体视频刺激进行分析，并对二者 的差异性进行比较． 共有十名被试参加实验，被试观看随机呈现的不同延时等级包括无延时、延时 1 帧、延时 2 帧和延时 3 帧 的立体视频片段，并对是否感知到延时效应做出主观判断，同时记录被试的 EEG 信号． 从 EEG 信号中提取出事件相关电位 ( event related potentials，EＲPs) 并结合主观行为数据进行分析与比较． 实验结果表明，为保证观看质量，深度运动立体视频中 所能存在的最大延时帧数为 1 帧，水平运动中则不能存在延时效应． 与水平延时运动相比，深度延时运动刺激产生的 P300 成 分幅值变化范围更大，表明在深度延时运动刺激下大脑的活跃程度更高． 同时，相同延时帧数的深度运动与水平运动刺激所 产生的 P300 成分中，深度延时运动的潜伏期更长，这表明处理深度延时运动刺激所需时间更长． 关键词 立体视频; 帧延时; 事件相关电位; 深度运动; 水平运动; 差异性 分类号 Ｒ318 收稿日期: 2017--07--20 基金项目: 国家自然科学基金资助项目( 61520106002，61302123) Study of asynchronous stereoscopic video based on event related potentials SHEN Li-li ，WU Zi-yang School of Electrical and Information Engineering，Tianjin University，Tianjin 300072，China Corresponding author，E-mail: sll@ tju． edu． cn ABSTＲACT When stereoscopic videos are transmitted on the no-quality-assurance internet，frame delay occurs in the left and right views，which affect the stereoscopic sensation as well as the viewing quality． In this paper，the stimulus of motion-in-depth and motionin-lateral asynchronous stereoscopic videos were analyzed and they were compared via qualitative and quantitative assessments． In this quantitative experiments，the well-known electroencephalogram ( EEG) was utilized． A total of ten subjects was recruited to participate in an experiment，in which they watched randomly presented asynchronous stereoscopic video clips． For the qualitative assessment，after viewing one clip，the subjects were asked whether they perceived any asynchronicity in the frames． The degrees of asynchronicity included no delay，one frame delay，two frame delay，and three frame delay． The electroencephalogram ( EEG) signal of each subject was recorded as they viewed the clip． Next，the event-related potentials ( EＲPs) were extracted from the EEG signals and the behavioral data and the EＲPs were analyzed to compare the different reactions to the depths and lateral extents of the asynchronous stereoscopic motion． The results reveal that the maximum allowable asynchronicity perceived for motion-in-depth stereoscopic video clips is one frame，whereas there must be no delay in the motion-in-lateral stereoscopic video clips． In addition，compared with being stimulated by the motion-in-lateral asynchronous stereoscopic video clips，a magnitude of P300 has a wider range when the subjects are stimulated by motion-in-depth asynchronous stereoscopic video clips． This indicates that the brain becomes more active in this circumstance． At the same time，the latency of P300 is longer than when stimulated by the motion-in-lateral asynchronous stereoscopic video clips，which means that when the subjects are stimulated by the same degree of asynchronicity of motion-in-depth and -in-lateral stereoscopic video clips，more time is required to process the stimulation of motion-in-depth stereoscopic video clips．
沈丽丽等：立体视频延时的事件相关电位研究 ·509· KEY WORDS stereoscopic video;asynchronous frame;event-related potentials;motion in depth:motion in lateral:difference 随着三维显示技术的迅速发展，一些三维产品 制，是进行客观实验的可靠手段 如三维电影等逐步走进人们的日常生活，人们越来 通常自发产生的脑电信号复杂而无规律，当大 越享受观看立体视频所带来的身临其境感口.在观 脑受到某种特定刺激时，会产生电位上的变化，但这 看过程中，人的双眼只有同时接收两路独立传输的 种变化往往会淹没在自发脑电信号中.但将由相同 左右视频流，才能在特定的视角下感知到深度信息， 刺激引发的多段脑电进行叠加平均后，自发脑电正 经过大脑进一步加工、处理形成立体视觉回.然而， 负波形会相互抵消，而事件相关电位(event related 在立体视频传输过程中，由于网络延迟及数据丢包 potentials,ERPs)具有波形和潜伏期恒定的特点，因 等因素的存在会导致立体视频帧的左右视图发生延 此能从EEG信号中提取出来3-W.王笑等的针对 时效应同，影响立体感及观看质量.因而，对立体视 立体视频片段中的上边框效应是否会引起人体不适 频帧延时的探究对3D产业的进一步发展具有指导 的问题对35名被试利用ERPs进行了研究.Mun 意义. 等利用ERPs技术对21名被试(11女)在观看立 目前，对立体视频帧延时的研究主要分为主观 体视频后所产生的认知疲劳进行研究，发现疲劳状 实验法与客观实验法两种.主观实验方法通过设计 态下P600成分的幅值降低，潜伏期延长.ERPs作 相应主观实验，被试根据其主观感受填写调查问卷 为一种客观评价方法被广泛应用 或做出主观判断，进而对被试的主观行为数据分析 本文分别以1s长的深度延时运动和水平延时 得出结论.in等回通过主观实验方法得出延时超 运动立体视频作为刺激，延时等级包括无延时、延时 过2帧后易引发被试的视觉不舒适甚至视觉疲劳. 1帧、延时2帧和延时3帧，通过主观评价和客观脑 客观实验方法主要基于客观算法对立体视频帧延时 电实验相结合的方法对人的延时感知进行了探究， 进行研究，Gao等0提出了一种基于尺度不变特征 同时对二者的差异性进行分析与比较 变换(scale--invariant feature transform,SIFT)算子的 1实验方法 帧同步性检测算法，实验结果表明该算法在大多数 立体场景中具有良好的效果.Goldmann等对立 1.1深度延时运动实验 体视频延时帧数与立体视频质量关系进行了分析并 1.1.1实验素材 提出一种新的帧同步性检测算法.Tam等与Kim 为消除视差位置对探究帧延时立体视频的影 等切研究发现立体视频帧的左右视图出现延时后， 响，首先进行练习实验.实验素材由Autodesk Maya 其视差分布也会发生相应变化. 软件制作而成，以静止蓝天白云为背景，三维立体足 当前对立体视频帧延时的研究已初具成果，但 球由屏内向屏外做匀速直线运动，为增加立体效果， 其中也存在一些不可忽视的问题.(1)对于运动的 使背景与足球形成相对视差，图1(a)和图1(b)分 立体场景，深度运动和水平运动是两种不同的模式， 别为一个运动场景中首末帧的右视图.由文献4一 这两种模式下发生帧延时的结果不一定相同：(2) 5,17],为保证观看的舒适度，设置足球以中速16°· 主观实验具有直接反映被试主观感受的优点，但其 s运动，右视图发生帧延时.本实验分为7个不同 本质是基于记忆的，实验结果与被试关系密切， 的延时位置，即-0.6°、-0.4°、-0.2°、0°、+0.2°、 因此单一的主观实验结果并不完全可靠：(3)帧同 +0.4°和+0.6°处分别实现右视图延时，延时等级 步性检测算法对特定立体场景的检测效果较好，但 分为四种：无延时、延时1帧、延时2帧和延时3帧. 其鲁棒性不强，不具备普适性.基于此，本文利用主 视频时长均为1s 观实验与客观实验相结合的方法对运动的立体场景 中水平与深度运动帧延时分别进行研究，同时对二 者的差异性进行比较.客观实验通过采集被试脑电 (electroencephalogram,EEG)这一生物电信号进行， a 公 EEG是一种实时记录大脑活动的生物电信号W,其 图1深度延时运动场景首末帧右视图.(a)第一帧：(b)最后 分辨能力达毫秒级0-？，且不受被试主观因素的影 一帧 响，简单方便易于获取.该方法既能作为主观实验 Fig.I Asynchronous stereoscopic video of motion in depth:(a)the 结果可靠性的验证又不受特定立体运动场景的限 first frame of right view:(b)the last frame of right view
沈丽丽等: 立体视频延时的事件相关电位研究 KEY WOＲDS stereoscopic video; asynchronous frame; event-related potentials; motion in depth; motion in lateral; difference 随着三维显示技术的迅速发展，一些三维产品 如三维电影等逐步走进人们的日常生活，人们越来 越享受观看立体视频所带来的身临其境感［1］． 在观 看过程中，人的双眼只有同时接收两路独立传输的 左右视频流，才能在特定的视角下感知到深度信息， 经过大脑进一步加工、处理形成立体视觉［2］． 然而， 在立体视频传输过程中，由于网络延迟及数据丢包 等因素的存在会导致立体视频帧的左右视图发生延 时效应［3］，影响立体感及观看质量． 因而，对立体视 频帧延时的探究对 3D 产业的进一步发展具有指导 意义． 目前，对立体视频帧延时的研究主要分为主观 实验法与客观实验法两种． 主观实验方法通过设计 相应主观实验，被试根据其主观感受填写调查问卷 或做出主观判断，进而对被试的主观行为数据分析 得出结论． Lin 等［3］通过主观实验方法得出延时超 过 2 帧后易引发被试的视觉不舒适甚至视觉疲劳． 客观实验方法主要基于客观算法对立体视频帧延时 进行研究，Gao 等［4］提出了一种基于尺度不变特征 变换( scale-invariant feature transform，SIFT) 算子的 帧同步性检测算法，实验结果表明该算法在大多数 立体场景中具有良好的效果． Goldmann 等［5］对立 体视频延时帧数与立体视频质量关系进行了分析并 提出一种新的帧同步性检测算法． Tam 等［6］与 Kim 等［7］研究发现立体视频帧的左右视图出现延时后， 其视差分布也会发生相应变化． 当前对立体视频帧延时的研究已初具成果，但 其中也存在一些不可忽视的问题． ( 1) 对于运动的 立体场景，深度运动和水平运动是两种不同的模式， 这两种模式下发生帧延时的结果不一定相同; ( 2) 主观实验具有直接反映被试主观感受的优点，但其 本质是基于记忆的，实验结果与被试关系密切［8--9］， 因此单一的主观实验结果并不完全可靠; ( 3) 帧同 步性检测算法对特定立体场景的检测效果较好，但 其鲁棒性不强，不具备普适性． 基于此，本文利用主 观实验与客观实验相结合的方法对运动的立体场景 中水平与深度运动帧延时分别进行研究，同时对二 者的差异性进行比较． 客观实验通过采集被试脑电 ( electroencephalogram，EEG) 这一生物电信号进行， EEG 是一种实时记录大脑活动的生物电信号［8］，其 分辨能力达毫秒级［10--12］，且不受被试主观因素的影 响，简单方便易于获取． 该方法既能作为主观实验 结果可靠性的验证又不受特定立体运动场景的限 制，是进行客观实验的可靠手段． 通常自发产生的脑电信号复杂而无规律，当大 脑受到某种特定刺激时，会产生电位上的变化，但这 种变化往往会淹没在自发脑电信号中． 但将由相同 刺激引发的多段脑电进行叠加平均后，自发脑电正 负波形会相互抵消，而事件相关电位( event related potentials，EＲPs) 具有波形和潜伏期恒定的特点，因 此能从 EEG 信号中提取出来［13--14］． 王笑等［15］针对 立体视频片段中的上边框效应是否会引起人体不适 的问题对 35 名被试利用 EＲPs 进行了研究． Mun 等［16］利用 EＲPs 技术对 21 名被试( 11 女) 在观看立 体视频后所产生的认知疲劳进行研究，发现疲劳状 态下 P600 成分的幅值降低，潜伏期延长． EＲPs 作 为一种客观评价方法被广泛应用． 本文分别以 1 s 长的深度延时运动和水平延时 运动立体视频作为刺激，延时等级包括无延时、延时 1 帧、延时 2 帧和延时 3 帧，通过主观评价和客观脑 电实验相结合的方法对人的延时感知进行了探究， 同时对二者的差异性进行分析与比较． 1 实验方法 1. 1 深度延时运动实验 1. 1. 1 实验素材 图 1 深度延时运动场景首末帧右视图． ( a) 第一帧; ( b) 最后 一帧 Fig． 1 Asynchronous stereoscopic video of motion in depth: ( a) the first frame of right view; ( b) the last frame of right view 为消除视差位置对探究帧延时立体视频的影 响，首先进行练习实验． 实验素材由 Autodesk Maya 软件制作而成，以静止蓝天白云为背景，三维立体足 球由屏内向屏外做匀速直线运动，为增加立体效果， 使背景与足球形成相对视差，图 1( a) 和图 1( b) 分 别为一个运动场景中首末帧的右视图． 由文献［4-- 5，17］，为保证观看的舒适度，设置足球以中速 16°· s － 1运动，右视图发生帧延时． 本实验分为 7 个不同 的延时位置，即 － 0. 6°、－ 0. 4°、－ 0. 2°、0°、+ 0. 2°、 + 0. 4°和 + 0. 6°处分别实现右视图延时，延时等级 分为四种: 无延时、延时 1 帧、延时 2 帧和延时 3 帧． 视频时长均为 1 s． · 905 ·
·510 工程科学学报，第40卷，第4期 1.1.2实验设计 1.2m远以保证被试观看舒适度.整个练习实验包 实验随机选取10名在校大学生(4女6男)作 括60个试次，每一试次包含五部分，如图2所示 为被试，年龄为22到28岁，其中3名有相关实验经 首先在屏幕中间呈现白色圆点以使被试集中注意 验.所有被试均有正常或矫正后正常的视力及合格 力，时长为500ms:紧接着呈现1s无延时的视频：之 的立体敏锐度，且无神经系统疾病如光敏性癫痫. 后呈现500ms的休息间隔以缓解视差改变过大引 为减少被试自身身体及心理因素的影响，在实验开 起的不舒适感：然后以随机方式呈现1s不同视差等 始前要充分休息并提前了解实验流程.为避免灯光 级的延时视频，其中无延时视频占视频总数的 闪烁引起视觉不舒适，整个实验在一个暗淡的环境 83%,延时1、2、3帧的视频共占17%（遵循0 ddball 中进行 实验范式-9)：最后在屏幕中间再次呈现白色圆 立体视频刺激在1366×768分辨率的立体显示 点，此时被试判断是否感知到由延时效应引起的不 器上以side-by-side方式呈现.根据行业标准，观看 协调感，若判断为不协调则点击鼠标左键，反之点击 距离为显示器高度(0.398m)的3倍，大约距显示器 鼠标右键，被试点击鼠标后随即进入下一个试次. 500m5 1000ms 500ms 1000ms 等待判断 图2深度延时运动实验流程图 Fig.2 Procedure of one trail in motion-in-depth experiment 分析10名被试的主观行为数据，将由不同视差 运动的视差固定在+0.2°视差位置处.延时帧数同 等级引起的被试不协调感检测率进行分类，如图3 样分为四个等级，即无延时、延时1帧、延时2帧和 所示，其中S1和S2等分别表示被试1和被试2等. 延时3帧.其中，所有视频的帧延时都在屏幕的中 由图3可知：(1)在不同的视差等级下，检测率折线 间位置. 走势基本一致，即随着延时帧数的增加，检测率逐渐 1.2.2实验设计 增加.(2)当延时帧数为1帧时，检测率低于50%， 水平延时运动实验设计与深度延时运动相同. 当延时帧数为2帧或3帧时，检测率几乎为达到 根据10名被试的行为数据分析不同速度等级下的 100%,说明被试对2帧和3帧的延时十分敏感. 不协调检测率，如图5所示.由图可知：(1)当水平 (3)10名被试在+0.2°视差位置处所得不协调检测 运动速度在16cm·s1到22cm·s1之间时，随着速 率曲线较为一致，表明此视差位置下，被试更易于感 度的增加，不协调检测率不断上升，表明被试容易感 知帧延时的变化，因而此视差位置为探究深度运动 知出较高运动速度的延时效应.(2)当运动速度在 中延时效应的最佳位置 18cms到22cms-1之间时，不协调感检测率的变 基于练习实验结果，正式实验的实验素材选取 化明显.(3)当运动速度高于22cm·s-1时，检测率 +0.2°视差位置处发生不同等级的帧延时立体视 有所下降，说明此时被试虽能感知到不协调感，但过 频，包括无延时、延时1帧、延时2帧和延时3帧. 大的速度也会使其不能及时捕捉到这种不协调感. 正式实验分为600个试次，除观看过程中需采集被 以上结果表明速度大小对延时感知具有较大影响， 试脑电信号外，其余部分与练习实验相同 为保证结果的可靠性速度应在22cm's1以下. 1.2水平延时运动实验 基于以上分析，正式实验选取足球的水平运动 1.2.1实验素材 速度为16cm·s的立体视频，共包括600个试次， 实验素材为一个三维立体足球自左向右做匀速 帧延时均发生在屏幕中央位置，延时等级及其他部 直线运动，图4(a)和图4(b)分别为首末帧的右视 分均与深度延时运动相同 图，制作方法同深度延时运动实验.由于物体运动 2 速度的大小是影响观看舒适度的重要因素，因此进 实验数据的采集和处理 行练习实验以找出最佳运动速度.设置6个速度等 实验数据包括主观行为数据和客观脑电 级，分别为16、18、20、22、24和26cms-1.基于文献 (EEG)数据两种.行为数据即被试对于帧延时所带 B5]及立体深度运动练习实验所得结论，将足球 来的不协调感的主观判断，被试点击鼠标左右键由
工程科学学报，第 40 卷，第 4 期 1. 1. 2 实验设计 实验随机选取 10 名在校大学生( 4 女 6 男) 作 为被试，年龄为 22 到 28 岁，其中 3 名有相关实验经 验． 所有被试均有正常或矫正后正常的视力及合格 的立体敏锐度，且无神经系统疾病如光敏性癫痫． 为减少被试自身身体及心理因素的影响，在实验开 始前要充分休息并提前了解实验流程． 为避免灯光 闪烁引起视觉不舒适，整个实验在一个暗淡的环境 中进行． 立体视频刺激在 1366 × 768 分辨率的立体显示 器上以 side-by-side 方式呈现． 根据行业标准，观看 距离为显示器高度( 0. 398 m) 的 3 倍，大约距显示器 1. 2 m 远以保证被试观看舒适度． 整个练习实验包 括 60 个试次，每一试次包含五部分，如图 2 所示． 首先在屏幕中间呈现白色圆点以使被试集中注意 力，时长为 500 ms; 紧接着呈现 1 s 无延时的视频; 之 后呈现 500 ms 的休息间隔以缓解视差改变过大引 起的不舒适感; 然后以随机方式呈现 1 s 不同视差等 级的 延 时 视 频，其中无延时视频占视频总数的 83% ，延时 1、2、3 帧的视频共占 17% ( 遵循 Oddball 实验范式［18--19］) ; 最后在屏幕中间再次呈现白色圆 点，此时被试判断是否感知到由延时效应引起的不 协调感，若判断为不协调则点击鼠标左键，反之点击 鼠标右键，被试点击鼠标后随即进入下一个试次． 图 2 深度延时运动实验流程图 Fig． 2 Procedure of one trail in motion-in-depth experiment 分析 10 名被试的主观行为数据，将由不同视差 等级引起的被试不协调感检测率进行分类，如图 3 所示，其中 S1 和 S2 等分别表示被试 1 和被试 2 等． 由图 3 可知: ( 1) 在不同的视差等级下，检测率折线 走势基本一致，即随着延时帧数的增加，检测率逐渐 增加． ( 2) 当延时帧数为 1 帧时，检测率低于 50% ， 当延时帧数为 2 帧或 3 帧时，检测率几乎为达到 100% ，说明被试对 2 帧和 3 帧的延时十分敏感． ( 3) 10 名被试在 + 0. 2°视差位置处所得不协调检测 率曲线较为一致，表明此视差位置下，被试更易于感 知帧延时的变化，因而此视差位置为探究深度运动 中延时效应的最佳位置． 基于练习实验结果，正式实验的实验素材选取 + 0. 2°视差位置处发生不同等级的帧延时立体视 频，包括无延时、延时 1 帧、延时 2 帧和延时 3 帧． 正式实验分为 600 个试次，除观看过程中需采集被 试脑电信号外，其余部分与练习实验相同． 1. 2 水平延时运动实验 1. 2. 1 实验素材 实验素材为一个三维立体足球自左向右做匀速 直线运动，图 4( a) 和图 4( b) 分别为首末帧的右视 图，制作方法同深度延时运动实验． 由于物体运动 速度的大小是影响观看舒适度的重要因素，因此进 行练习实验以找出最佳运动速度． 设置 6 个速度等 级，分别为 16、18、20、22、24 和 26 cm·s － 1 ． 基于文献 ［3--5］及立体深度运动练习实验所得结论，将足球 运动的视差固定在 + 0. 2°视差位置处． 延时帧数同 样分为四个等级，即无延时、延时 1 帧、延时 2 帧和 延时 3 帧． 其中，所有视频的帧延时都在屏幕的中 间位置． 1. 2. 2 实验设计 水平延时运动实验设计与深度延时运动相同． 根据 10 名被试的行为数据分析不同速度等级下的 不协调检测率，如图 5 所示． 由图可知: ( 1) 当水平 运动速度在 16 cm·s － 1到 22 cm·s － 1之间时，随着速 度的增加，不协调检测率不断上升，表明被试容易感 知出较高运动速度的延时效应． ( 2) 当运动速度在 18 cm·s － 1到 22 cm·s － 1之间时，不协调感检测率的变 化明显． ( 3) 当运动速度高于 22 cm·s － 1时，检测率 有所下降，说明此时被试虽能感知到不协调感，但过 大的速度也会使其不能及时捕捉到这种不协调感． 以上结果表明速度大小对延时感知具有较大影响， 为保证结果的可靠性速度应在 22 cm·s － 1以下． 基于以上分析，正式实验选取足球的水平运动 速度为 16 cm·s － 1的立体视频，共包括 600 个试次， 帧延时均发生在屏幕中央位置，延时等级及其他部 分均与深度延时运动相同． 2 实验数据的采集和处理 实验数据包括主观行为数据和客观脑电 ( EEG) 数据两种． 行为数据即被试对于帧延时所带 来的不协调感的主观判断，被试点击鼠标左右键由 · 015 ·
沈丽丽等：立体视频延时的事件相关电位研究 511· 1.0 1.0 0.9 0.8 0.7 0.6 0.5 -9 88833 0.4 -S10 S10 0.3 3 02 0.1 0.1 b 8 延时帧数 延时顿数 1.0 1.0 0.9 0.9 0.8 0.7 0.6 0.6 0.5 0.4 -s10 s10 0.3 0 0.2 9 延时帧数 延时帧数 1.0 1.0 0.9 0.8 08 0.7 0.6 05 05 0.4 10 03 0.2 3 0.1 0.1 (f) 2 延时帧数 延时帧数 1.0 0.9 0. 07 0. 0.5 8 +S 0.4 +-S10 03 0.2 0.1 g 延时帧数 图3不同视差等级延时检测率.(a)-0.6°：(b)-0.4:(c)-0.2°：(d)0°：(c)+0.2°：(f0+0.4°：(g)+0.6 Fig.3 Detection ratio of subjects in different parallax positions:(a)-0.6:(b)-0.4°：(c)-0.2:(d)0°：(e）+0.2°：(f0+0.4°：(g) +0.6° Eprime2.0软件进行记录.EEG数据采用国际10- 试的水平眼电与垂直眼电，用以去除眼球运动对其 20系统，嵌入式64导联脑电帽与Neuroscan系统进 他电极电位的影响. 行采集与记录，如图6所示.采样频率为1000Hz, 使用Neuroscan4.5软件对所得数据进行离线 将右侧乳突电位作为参考电极.为去除直流漂移成 分析.首先进行行为数据的合并用于后续分析.接 分以及高频千扰，对信号进行0.05Hz到100Hz的 下来进行脑电数据的预览，去除漂移严重或包含心 带通滤波.实验开始前，将每个电极注射适量脑电 电伪迹、吞咽伪迹等较多的脑电数据段.然后去除 音使其阻值小于5k,保证正常导电.同时记录被 眼电，消除由眼动引起的电位变化.接着将所得脑
沈丽丽等: 立体视频延时的事件相关电位研究 图 3 不同视差等级延时检测率． ( a) － 0. 6°; ( b) － 0. 4°; ( c) － 0. 2°; ( d) 0°; ( e) + 0. 2°; ( f) + 0. 4°; ( g) + 0. 6° Fig． 3 Detection ratio of subjects in different parallax positions: ( a) － 0. 6°; ( b) － 0. 4°; ( c) － 0. 2°; ( d) 0°; ( e) + 0. 2°; ( f) + 0. 4°; ( g) + 0. 6° Eprime2. 0 软件进行记录． EEG 数据采用国际 10-- 20 系统，嵌入式 64 导联脑电帽与 Neuroscan 系统进 行采集与记录，如图 6 所示． 采样频率为 1000 Hz， 将右侧乳突电位作为参考电极． 为去除直流漂移成 分以及高频干扰，对信号进行 0. 05 Hz 到 100 Hz 的 带通滤波． 实验开始前，将每个电极注射适量脑电 膏使其阻值小于 5 kΩ，保证正常导电． 同时记录被 试的水平眼电与垂直眼电，用以去除眼球运动对其 他电极电位的影响． 使用 Neuroscan 4. 5 软件对所得数据进行离线 分析． 首先进行行为数据的合并用于后续分析． 接 下来进行脑电数据的预览，去除漂移严重或包含心 电伪迹、吞咽伪迹等较多的脑电数据段． 然后去除 眼电，消除由眼动引起的电位变化． 接着将所得脑 · 115 ·
·512 工程科学学报，第40卷，第4期 0.22、0.8和0.896.由此可得，当延时帧数小于等 于1帧时，不协调感检测率明显低于50%，此时被 试不易感知出立体视频的帧延时效应：当延时帧数 o G 超过1帧后，检测率达到80%及以上，表明此时被 图4水平延时运动场景首末帧.(a)第一帧：(b)最后一帧 试对帧延时效应十分敏感. Fig.4 Asynchronous stereoscopic video of motion in lateral:(a)the 1.0- 0.9 -51 first frame of right view;(b)the last frame of right view -52 0.8-3 0.7 -4 1.0 -5 6 -S6 0.9 -S7 0.8 0.4 0.7 0.3 -S10 0.2 0.5 0.1 一无延时 0 ·一延时1顿 延时顿数 0.3 延时2帧 02 一延时3帧 图7深度延时运动中被试检测率曲线 Fig.7 Curves of detection ratio for all subjects in motion in depth 0.0 一量一 6 18 202224 26 3.1.2水平延时运动行为数据分析 水平速度cm·s) 图8为10名被试观看水平延时运动立体视频 图5不同速度等级延时检测率 素材所得不协调感检测率曲线，其变化趋势与深度 Fig.5 Detection ratio of different speeds 延时运动相似，但不同延时等级下的平均检测率有 明显差异.无延时、延时1帧、2帧和3帧的平均检 测率分别为0.007、0.68、0.92和0.99，延时存在时 的检测率均超过50%，延时2帧与3帧高达90%以 上.可以看出，大脑对水平延时和深度延时立体视 频刺激感知情况存在差异，在水平延时运动中存在 帧延时现象即能被感知出. 1.0 0.9 0.8 0.7 -S3 图6脑电信号采集实景 0.6 -S4 Fig.6 Acquisition of EEG signals 0.5 04 -s7 电信号分段处理，以刺激发生的时间为起点，按照事 0.2 -S10 件持续的时间对脑电数据进行分段，并对分段后的 0.1 信号进行基线校正以去除分段信号相对基线的偏 2 延时帧数 离.最后祛除伪迹并进行叠加平均，提取出ERPs 图8水平延时运动中被试检测率曲线 深度延时运动和水平延时运动的数据获取及处理过 Fig.8 Curves of detection ratio for all subjects in motion in lateral 程是相同的 3.2ERPs结果分析 3实验结果 3.2.1深度延时运动ERPs结果分析 3.1行为数据结果分析 图9所示为大脑中央区电极Cz上深度延时运 3.1.1深度延时运动行为数据分析 动立体视频刺激在大脑皮层诱发的平均ERPs信 图7为10名被试观看深度延时运动立体视频 号，可以看出，大脑对深度延时运动刺激有明显反 素材所得的不协调感检测率曲线.随着延时帧数的 应.根据时间将曲线分为三部分：(1)0~500ms,为 增加，检测率也在逐渐增加.其中无延时、延时1 被试休息阶段，四种波形无明显差异：(2)500ms~ 帧、2帧和3帧所得平均检测率分别为0.0189、 1s,帧延时刺激出现在500ms,文献20-21]表明
工程科学学报，第 40 卷，第 4 期 图 4 水平延时运动场景首末帧． ( a) 第一帧; ( b) 最后一帧 Fig． 4 Asynchronous stereoscopic video of motion in lateral: ( a) the first frame of right view; ( b) the last frame of right view 图 5 不同速度等级延时检测率 Fig． 5 Detection ratio of different speeds 图 6 脑电信号采集实景 Fig． 6 Acquisition of EEG signals 电信号分段处理，以刺激发生的时间为起点，按照事 件持续的时间对脑电数据进行分段，并对分段后的 信号进行基线校正以去除分段信号相对基线的偏 离． 最后祛除伪迹并进行叠加平均，提取出 EＲPs． 深度延时运动和水平延时运动的数据获取及处理过 程是相同的． 3 实验结果 3. 1 行为数据结果分析 3. 1. 1 深度延时运动行为数据分析 图 7 为 10 名被试观看深度延时运动立体视频 素材所得的不协调感检测率曲线． 随着延时帧数的 增加，检测率也在逐渐增加． 其中无延时、延时 1 帧、2 帧 和 3 帧所得平均检测率分别为 0. 0189、 0. 22、0. 8 和 0. 896． 由此可得，当延时帧数小于等 于 1 帧时，不协调感检测率明显低于 50% ，此时被 试不易感知出立体视频的帧延时效应; 当延时帧数 超过 1 帧后，检测率达到 80% 及以上，表明此时被 试对帧延时效应十分敏感． 图 7 深度延时运动中被试检测率曲线 Fig． 7 Curves of detection ratio for all subjects in motion in depth 3. 1. 2 水平延时运动行为数据分析 图 8 为 10 名被试观看水平延时运动立体视频 素材所得不协调感检测率曲线，其变化趋势与深度 延时运动相似，但不同延时等级下的平均检测率有 明显差异． 无延时、延时 1 帧、2 帧和 3 帧的平均检 测率分别为 0. 007、0. 68、0. 92 和 0. 99，延时存在时 的检测率均超过 50% ，延时 2 帧与 3 帧高达 90% 以 上． 可以看出，大脑对水平延时和深度延时立体视 频刺激感知情况存在差异，在水平延时运动中存在 帧延时现象即能被感知出． 图 8 水平延时运动中被试检测率曲线 Fig． 8 Curves of detection ratio for all subjects in motion in lateral 3. 2 EＲPs 结果分析 3. 2. 1 深度延时运动 EＲPs 结果分析 图 9 所示为大脑中央区电极 Cz 上深度延时运 动立体视频刺激在大脑皮层诱发的平均 EＲPs 信 号，可以看出，大脑对深度延时运动刺激有明显反 应． 根据时间将曲线分为三部分: ( 1) 0 ～ 500 ms，为 被试休息阶段，四种波形无明显差异; ( 2) 500 ms ～ 1 s，帧延时刺激出现在 500 ms，文献［20--21］表明， · 215 ·
沈丽丽等：立体视频延时的事件相关电位研究 ·513· 在呈现刺激开始后的200ms出现的负成分N200意 *p>0.05*0.010.05 时间/ms 表明无显著性差异，0.01 幅值由延时2帧视频刺激所产生：(3)800ms~ 0.05),无延时和延时2帧(p=0.0080.05*0.01<p<0.05*p<0.01 12m 帝率有 15 10 8 150 40065090011501400 6 时间/ms 4 图9深度延时运动Cz电极的ERPs波形 2 Fig.9 ERP waveforms of Cz in motion in depth 3.2.2水平延时运动ERPs结果分析 图11所示为Cz电极上水平延时运动立体视频 刺激在大脑皮层诱发的ERPs信号.(1)0~500ms,处 延时帧数 于无刺激阶段：(2)500~800ms,呈现水平延时运 图12水平延时运动中450成分显著性差异图 动视频，大脑开始对视觉刺激有所反应，出现N200 Fig.12 Significant differences of the P450 component in motion in 成分.和深度延时运动有所不同，N200成分的最高 lateral
沈丽丽等: 立体视频延时的事件相关电位研究 在呈现刺激开始后的 200 ms 出现的负成分 N200 意 味着大脑开始对视觉刺激有所反应，本实验也出现 了 N200 这一成分，表明大脑开始对立体视频刺激 产生响应． 但立体深度运动是一个复杂的视觉刺 激，实验中发现的这一成分在呈现刺激后的 500 ms， 定义为 N500． 在本实验中，刺激为深度延时运动视 频，说明 N500 成分是由深度延时运动视觉刺激产 生的． 波形表明，随着延时帧数的增加，N500 成分 的幅值明显增加，即人脑的活动性不断增强，N500 成分的最高幅值是由延时 3 帧立体视频刺激产生 的; ( 3) 1 ～ 1. 4 s，出现 P300( 在刺激呈现开始后 300 ms 出现的正成分) 成分． P300 的幅度较大且范围 较宽，由稀少的、任务相关的刺激所诱发［22--23］． 研 究［13］表明，所呈现的视觉任务分类难度较大时， P300 成分的潜伏期会增加，本实验为 700 ms，定义 为 P700． 图 8 红点表示为由延时 2 帧视频刺激所产 生的 P700 成分的范围． 图 10 为不同延时帧数立体视频刺激下产生的 P700 成分平均幅值显著性差异图，其中 p 值表示不 拒绝原假设的程度，p 值越小，结果越可信． p ＞ 0. 05 表明无显著性差异，0. 01 ＜ p ＜ 0. 05 表明有显著性 差异，p ＜ 0. 01 表明有极显著性差异． 由此可以看出 无延时和延时 1 帧之间无显著性差异( p = 0. 128 ＞ 0. 05) ，无延时和延时 2 帧( p = 0. 008 ＜ 0. 05) ，无延 时和延时3 帧( p = 0. 003 ＜ 0. 05) 之间均产生了显著 性差异，延时 2 帧和延时 3 帧之间无显著性差异 ( p = 0. 106 ＜ 0. 05) ． 因此，可以得出结论: 被试对延 时 1 帧以上的深度运动立体视频刺激十分敏感，为 保证观看舒适度，深度运动视频的延时帧数不能超 过 1 帧． 此结果与主观行为数据分析相一致． 图 9 深度延时运动 Cz 电极的 EＲPs 波形 Fig． 9 EＲP waveforms of Cz in motion in depth 3. 2. 2 水平延时运动 EＲPs 结果分析 图 11 所示为 Cz 电极上水平延时运动立体视频 刺激在大脑皮层诱发的 EＲPs 信号． ( 1) 0 ～ 500 ms，处 于无刺激阶段; ( 2) 500 ～ 800 ms，呈现水平延时运 动视频，大脑开始对视觉刺激有所反应，出现 N200 成分． 和深度延时运动有所不同，N200 成分的最高 图 10 深度延时运动中 P700 成分显著性差异图 Fig． 10 Significant differences of the P700 component in motion in depth 图 11 水平延时运动 Cz 电极的 EＲPs 波形 Fig． 11 EＲP waveforms of Cz in motion in lateral 幅值由延时 2 帧视频刺激所产生; ( 3) 800 ms ～ 1. 4 s，同深度延时运动实验，出现 P300 成分，由于 潜伏期是 450 ms，定义为 P450，最高幅值为延时 3 帧视频刺激所产生． 图 12 水平延时运动中 P450 成分显著性差异图 Fig． 12 Significant differences of the P450 component in motion in lateral 图 12 为 P450 成分平均幅值的显著性差异图． 分析可得，无延时和延时2 帧( p = 0. 017 ＜ 0. 05) 、无 延时和延时3 帧( p = 0. 004 ＜ 0. 05) 之间出现显著性 差异，而延时 1 帧、2 帧和 3 帧之间无显著性差异， 这和深度延时运动存在一定差异． 结合行为数据分 · 315 ·
·514 工程科学学报，第40卷，第4期 析可知人对于水平运动立体视频的延时效应十分敏 Process,2017,26(8):3789 感，只要存在帧延时效应即可被感知到. 2]Parker A J.Binocular depth perception and the cerebral cortex. Nat Rev Neurosci,2007,8(5):379 4结论 B]Lin S L,Sawa Y,Fukushima N,et al.Influences of frame delay and packet loss between left and right frames in stercoscopic video 通过主观实验与客观实验相结合探究了大脑对 communications//28th Picture Coding Symposium.Nagoya,2010: 于深度和水平延时立体视频延时帧数的感知情况， 510 并对二者之间的差异性进行了比较.结合主观行为 4 Gao J K,Zhou J,Gu X.3D frame synchronization detection based 数据以及客观ERPs分析结果（图8和图10）可以看 on classified epipolar geometry parameters//2014 IEEE Interna- tional Symposium on Broadband Multimedia Systems and Broad- 出，大脑对于深度延时运动和水平延时运动的感知 casting.Beijing,2014:1 存在差异.但不管是深度延时运动还是水平延时运 5] Goldmann L,Lee J S,Ebrahimi T.Temporal synehronization in 动，不同延时帧数立体视频刺激下得到的ERPs波 stereoscopic video:influence on quality of experience and automat- 形均不相同，这也表明ERPs能够用来反映这一差 ic asynchrony detection //17th IEEE International Conference on 异性，并得出如下主要结论. Image Processing.Hong Kong,2010:3241 [6]Tam W J,Speranza F,Yano S,et al.Stereoscopic 3D-TV:visu- (1)由主观行为数据可知，大脑对水平运动立 al comfort.IEEE Trans Broadcast,2011,57(2):335 体视频的延时效应更加敏感.和深度延时运动相 7]Kim D,Choi S,Sohn K.Depth adjustment for stereoscopie images 比，水平延时运动行为数据检测率曲线从无延时 and subjective preference evaluation.Electron Imaging,2011, 到延时1帧出现剧烈变化且检测率超过50%.而 20(3):033011 深度运动延时1帧时，所得不协调感检测率低于 [8]Hoffman D M,Girshick A R,Akeley K,et al.Vergence-ccom- modation conflicts hinder visual performance and cause visual fa- 50%. tigue.J Vision,2008,8(3)33 (2)由ERPs的波形发现随着延时帧数的增加， Kuze J,Ukai K.Subjective evaluation of visual fatigue caused by 大脑的活动性也不断增强 motion images.Displays,2008.29():159 (3)深度延时运动所产生的ERPs中P300成分 [10]Scholler S,Bosse S,Treder M S,et al.Toward a direct measure 幅值变化范围为-30μV到30μV,而水平延时运动 of video quality perception using EEG.IEEE Trans Image 的变化范围是-15μV到+15μV.因此和水平延时 Process,2012,21(5):2619 [11]Li H C O,Seo J,Kham K,et al.Measurement of 3D visual fa- 运动相比，深度延时运动刺激使大脑更加活跃. tigue using event-related potential (ERP):3D oddball paradigm (4)根据两类实验中负成分出现的时间可以发 1/3D-TV Conference:the True Vision-Capture,Transmission and 现大脑处理深度延时运动刺激所需时间更长.两类 Display of 3D Video.Istanbul,2008:213 实验刺激都在500s处开始呈现，而深度延时运动 [12]Kaseda Y,Jiang C H,Kurokawa K,et al.Objective evaluation 的负成分出现在1s处(N500),水平延时运动出现 of fatigue by event-telated potentials.J Neurolog Sci,1998,158 (1):96 在700ms处(N200).P300成分的潜伏期也有所不 [13]Luck S J.An Introduction to the Event-Related Potential Tech- 同，深度延时运动具有比水平延时运动更长的潜伏 nique.The MIT Press,2014 期(700ms),表明相同延时帧数的深度运动立体视 [14]Jackson A F,Bolger D J.The neurophysiological bases of EEG 频刺激和水平运动相比不易于区分. and EEG measurement:a review for the rest of us.Psychophysi- 对立体视频帧延时效应进行了研究，通过主观 logy,2014,51(11):1061 实验与客观实验相互补充，得到了较好的实验效果. [15]Wang X,Qian Z Y,Xing L D,et al.P300 based effects of up- per board effect from 3D film on human discomfort.J Tianjin 但大脑对深度延时运动与水平延时运动刺激的感知 Univ Sci Technol,2015,48(9):839 是一个复杂问题，本文只进行了初步探究.大脑对 (王笑，钱志余，邢丽冬，等.基于300的三维影片上边框 两类延时运动的处理过程是否相同等复杂性问题还 效应对人体健康的影响.天津大学学报（自然科学与工程技 需后续进一步研究.在后续研究中可增加被试数量 术版)，2015,48(9)：839) 并结合核磁技术、心电肌电等生物电信号进行分析， [16]Mun S,Park M C,Park S,et al.SSVEP and ERP measurement of cognitive fatigue caused by stereoscopic 3D.Neurosci Lett, 使结果更加全面. 2012,525(2):89 [17]Chey J,Grossberg S,Mingolla E.Neural dynamics of motion 参考文献 processing and speed discrimination.Vision Res,1998,38(18): [Oh H,Kim J,Kim J,et al.Enhancement of visual comfort and 2769 sense of presence on stereoscopic 3D images.IEEE Trans Image [18]Chao LL,Knight R T.Prefrontal and posterior cortical activation
工程科学学报，第 40 卷，第 4 期 析可知人对于水平运动立体视频的延时效应十分敏 感，只要存在帧延时效应即可被感知到． 4 结论 通过主观实验与客观实验相结合探究了大脑对 于深度和水平延时立体视频延时帧数的感知情况， 并对二者之间的差异性进行了比较． 结合主观行为 数据以及客观 EＲPs 分析结果( 图 8 和图 10) 可以看 出，大脑对于深度延时运动和水平延时运动的感知 存在差异． 但不管是深度延时运动还是水平延时运 动，不同延时帧数立体视频刺激下得到的 EＲPs 波 形均不相同，这也表明 EＲPs 能够用来反映这一差 异性，并得出如下主要结论． ( 1) 由主观行为数据可知，大脑对水平运动立 体视频的延时效应更加敏感． 和深度延时运动相 比，水平延时运动行为数据检测率曲线从无延时 到延时 1 帧出现剧烈变化且检测率超过 50% ． 而 深度运动延时 1 帧时，所得不协调感检测率低于 50% ． ( 2) 由 EＲPs 的波形发现随着延时帧数的增加， 大脑的活动性也不断增强． ( 3) 深度延时运动所产生的 EＲPs 中 P300 成分 幅值变化范围为 － 30 μV 到 30 μV，而水平延时运动 的变化范围是 － 15 μV 到 + 15 μV． 因此和水平延时 运动相比，深度延时运动刺激使大脑更加活跃． ( 4) 根据两类实验中负成分出现的时间可以发 现大脑处理深度延时运动刺激所需时间更长． 两类 实验刺激都在 500 ms 处开始呈现，而深度延时运动 的负成分出现在 1 s 处( N500) ，水平延时运动出现 在 700 ms 处( N200) ． P300 成分的潜伏期也有所不 同，深度延时运动具有比水平延时运动更长的潜伏 期( 700 ms) ，表明相同延时帧数的深度运动立体视 频刺激和水平运动相比不易于区分． 对立体视频帧延时效应进行了研究，通过主观 实验与客观实验相互补充，得到了较好的实验效果． 但大脑对深度延时运动与水平延时运动刺激的感知 是一个复杂问题，本文只进行了初步探究． 大脑对 两类延时运动的处理过程是否相同等复杂性问题还 需后续进一步研究． 在后续研究中可增加被试数量 并结合核磁技术、心电肌电等生物电信号进行分析， 使结果更加全面． 参 考 文 献 ［1］ Oh H，Kim J，Kim J，et al． Enhancement of visual comfort and sense of presence on stereoscopic 3D images． IEEE Trans Image Process，2017，26( 8) : 3789 ［2］ Parker A J． Binocular depth perception and the cerebral cortex． Nat Ｒev Neurosci，2007，8( 5) : 379 ［3］ Lin S L，Sawa Y，Fukushima N，et al． Influences of frame delay and packet loss between left and right frames in stereoscopic video communications / /28th Picture Coding Symposium． Nagoya，2010: 510 ［4］ Gao J K，Zhou J，Gu X． 3D frame synchronization detection based on classified epipolar geometry parameters / / 2014 IEEE International Symposium on Broadband Multimedia Systems and Broadcasting． Beijing，2014: 1 ［5］ Goldmann L，Lee J S，Ebrahimi T． Temporal synchronization in stereoscopic video: influence on quality of experience and automatic asynchrony detection / / 17th IEEE International Conference on Image Processing． Hong Kong，2010: 3241 ［6］ Tam W J，Speranza F，Yano S，et al． Stereoscopic 3D--TV: visual comfort． IEEE Trans Broadcast，2011，57( 2) : 335 ［7］ Kim D，Choi S，Sohn K． Depth adjustment for stereoscopic images and subjective preference evaluation． J Electron Imaging，2011， 20( 3) : 033011 ［8］ Hoffman D M，Girshick A Ｒ，Akeley K，et al． Vergence-accommodation conflicts hinder visual performance and cause visual fatigue． J Vision，2008，8( 3) : 33 ［9］ Kuze J，Ukai K． Subjective evaluation of visual fatigue caused by motion images． Displays，2008，29( 2) : 159 ［10］ Scholler S，Bosse S，Treder M S，et al． Toward a direct measure of video quality perception using EEG． IEEE Trans Image Process，2012，21( 5) : 2619 ［11］ Li H C O，Seo J，Kham K，et al． Measurement of 3D visual fatigue using event-related potential ( EＲP) : 3D oddball paradigm / / 3D--TV Conference: the True Vision-Capture，Transmission and Display of 3D Video． Istanbul，2008: 213 ［12］ Kaseda Y，Jiang C H，Kurokawa K，et al． Objective evaluation of fatigue by event-related potentials． J Neurolog Sci，1998，158 ( 1) : 96 ［13］ Luck S J． An Introduction to the Event-Ｒelated Potential Technique． The MIT Press，2014 ［14］ Jackson A F，Bolger D J． The neurophysiological bases of EEG and EEG measurement: a review for the rest of us． Psychophysiology，2014，51( 11) : 1061 ［15］ Wang X，Qian Z Y，Xing L D，et al． P300 based effects of upper board effect from 3D film on human discomfort． J Tianjin Univ Sci Technol，2015，48( 9) : 839 ( 王笑，钱志余，邢丽冬，等． 基于 P300 的三维影片上边框 效应对人体健康的影响． 天津大学学报( 自然科学与工程技 术版) ，2015，48( 9) : 839) ［16］ Mun S，Park M C，Park S，et al． SSVEP and EＲP measurement of cognitive fatigue caused by stereoscopic 3D． Neurosci Lett， 2012，525( 2) : 89 ［17］ Chey J，Grossberg S，Mingolla E． Neural dynamics of motion processing and speed discrimination． Vision Ｒes，1998，38( 18) : 2769 ［18］ Chao L L，Knight Ｒ T． Prefrontal and posterior cortical activation · 415 ·
沈丽丽等：立体视频延时的事件相关电位研究 ·515· during auditory working memory.Cogn Brain Res,1995,4(1): mismatch on the N2 component of the ERP:a review.Psycho- 27 physiology,2008,45(1):152 [19]Chao LL,Knight RT.Contribution of human prefrontal cortex to Hagen C F,Gatherwright JR,Lopez B A,et al.P3a from visual delay performance.J Cogn Neurosci,1998,10(2):167 stimuli:task difficulty effects.Psychophysiology,006,59(1): 220]Breton F,Ritter W,Simson R,et al.The N2 component elicited 8 by stimulus matches and multiple targets.Biol Psychol,1988,27 23]Kim K H,Kim J H,Yoon J,et al.Influence of task difficulty on (1):23 the features of event-related potential during visual oddball task. D1]Folstein J R,Van Petten C.Influence of cognitive control and Neurosci Let,2008,445(2）:179
沈丽丽等: 立体视频延时的事件相关电位研究 during auditory working memory． Cogn Brain Ｒes，1995，4( 1) : 27 ［19］ Chao L L，Knight Ｒ T． Contribution of human prefrontal cortex to delay performance． J Cogn Neurosci，1998，10( 2) : 167 ［20］ Breton F，Ｒitter W，Simson Ｒ，et al． The N2 component elicited by stimulus matches and multiple targets． Biol Psychol，1988，27 ( 1) : 23 ［21］ Folstein J Ｒ，Van Petten C． Influence of cognitive control and mismatch on the N2 component of the EＲP: a review． Psychophysiology，2008，45( 1) : 152 ［22］ Hagen G F，Gatherwright J Ｒ，Lopez B A，et al． P3a from visual stimuli: task difficulty effects． Psychophysiology，2006，59( 1) : 8 ［23］ Kim K H，Kim J H，Yoon J，et al． Influence of task difficulty on the features of event-related potential during visual oddball task． Neurosci Lett，2008，445( 2) : 179 · 515 ·
