斜等通扳2016年第61卷第1期:2~11 《中国科学》杂志社 -m-125个科学前沿问题“系列解读 SCIENCE CHINA PRESS What is the biological basis of consciousness? 意识与多感觉信息整合的最新研究进展 刘睿,王莉“,蒋毅 ①中国科学院心理研究所,脑与认知科学国家重点实验室,脑科学与智能技术卓越创新中心,北京100101 ②中国科学院大学,北京100049 *联系人,Emai: wangli@ psych.accn 2015-06-17收稿,2015-09-21修回,2015-09-21接受,2015-1103网络版发表 中国科学院战略性先导科技专项(XDB02010003)、国家自然科学基金(31070903,31200767)和中国科学院青年创新促进会(2014073)资助 摘要长期以来科学界一直认为意识对多感觉信息整合来说是必需的.然而,近年来有研究者通过操纵视觉刺 激知觉意识的方法(视觉掩蔽、双眼竟争、连续闪烁抑制)发现多感觉信息整合即使在视觉信息处于无意识条件下 也能发生.最新的一项研究首次表明不同感觉通道(视觉和听觉)信息甚至在同时处于阈限水平下时仍然能得到 定程度的整合,进一步提供了关于无意识多感觉信息整合的证据.这些研究挑战了以往关于多感觉整合需要意识 的主张,但其应用具有一定的局限性,并不能完全否认意识在多感觉整合中的作用.本文首先回顾了意识与信息 整合关系的传统观点,接着对近年来无意识多感觉信息整合的研究进行综述并讨论了无意识多感觉整合的加工水 平、时间界限、机制解释等问题,最后对未来的研究方向进行展望,以期增加人们对意识与整合关系的新认识,为 多感觉信息整合的后续研究提供借鉴 关键词多感觉整合,意识,无意识,跨通道信息加工,视觉 无论是春夏之交莺歌燕舞,还是中秋月下丹桂 在多感觉整合的研究中,一个核心的问题是,多 飘香,通常人们所遇到的事物和情境都同时传递着感觉通道的信息整合是否需要意识.对于这个问题 多种形式的物理和化学信号(如光波、声波、气味分的解答与意识研究者们关注的一个焦点(即整合和意 子等,这些信号分别被不同的感觉器官所接收.尽识的关系)有关.早期有关意识与整合关系的研究与 管如此,人们并没有把这些事件知觉为支离破碎的理论揭示了意识在信息整合包括多感觉信息整合中 各种颜色、声音和气味等信息,而是将来自不同感觉的必要性6.随着无意识实验范式尤其是视觉无意 通道的信息(如视觉、听觉和嗅觉等)整合成一个统识实验范式的发展与革新,研究者们可以通过多种 连贯、稳定的单一多感觉事件,这种多感觉事件手段制造无意识状态,包括操纵刺激本身的知觉条 的加工过程即为多感觉整合( multisensory integra-件(如掩蔽、连续闪烁抑制等)以及控制被试的注意分 ion}1-3.多感觉整合能弥补单一模态信息的匮乏,配方式(如注意瞬脱、不注意视盲等).这都为研究 有助于人们更有效地感知环境中有意义的信息,从者们对多感觉整合是否可以在没有意识参与的条件 而对于人类的学习、记忆以及意识的形成都有非常重下发生这一问题进行深入探索提供了可能.随着研 要的作用.多感觉整合被认为是研究意识和脑高级究的深入,当前研究者们又面临着更精细和具体的 活动的重要内容,也是行为和神经科学研究最热点问题,例如,无意识多感觉信息整合究竟发生在感觉 的前沿领域之 水平还是语义水平上,这一整合过程的时间界限何 引用格式:刘睿,王莉,蒋毅.意识与多感觉信息整合的最新研究进展.科学通报,2016,61:2-11 Liu R, Wang L, Jiang Y. Recent progress in the study of consciousness and multisensory integration (in Chinese). Chin Sci Bull, 2016. 61: 2-11 doi:10.1360/N972015-00666 2015《中国科学》杂志社 www.scichina.comcsb.scichina.com unloadedtoIP159226.1132210n:201802-21141529httpengines do10.1360N972015-0066
2016 年 第 61 卷 第 1 期：2 ~ 11 引用格式: 刘睿, 王莉, 蒋毅. 意识与多感觉信息整合的最新研究进展. 科学通报, 2016, 61: 2–11 Liu R, Wang L, Jiang Y. Recent progress in the study of consciousness and multisensory integration (in Chinese). Chin Sci Bull, 2016, 61: 2–11, doi: 10.1360/N972015-00666 © 2015《中国科学》杂志社 www.scichina.com csb.scichina.com 《中国科学》杂志社 论 文 SCIENCE CHINA PRESS What is the biological basis of consciousness? “Science125个科学前沿问题”系列解读(Ⅰ) 意识与多感觉信息整合的最新研究进展 刘睿①② , 王莉①* , 蒋毅① ① 中国科学院心理研究所, 脑与认知科学国家重点实验室, 脑科学与智能技术卓越创新中心, 北京 100101; ② 中国科学院大学, 北京 100049 * 联系人, E-mail: wangli@psych.ac.cn 2015-06-17 收稿, 2015-09-21 修回, 2015-09-21 接受, 2015-11-03 网络版发表 中国科学院战略性先导科技专项(XDB02010003)、国家自然科学基金(31070903, 31200767)和中国科学院青年创新促进会(2014073)资助 摘要 长期以来科学界一直认为意识对多感觉信息整合来说是必需的. 然而, 近年来有研究者通过操纵视觉刺 激知觉意识的方法(视觉掩蔽、双眼竞争、连续闪烁抑制)发现多感觉信息整合即使在视觉信息处于无意识条件下 也能发生. 最新的一项研究首次表明不同感觉通道(视觉和听觉)信息甚至在同时处于阈限水平下时仍然能得到一 定程度的整合, 进一步提供了关于无意识多感觉信息整合的证据. 这些研究挑战了以往关于多感觉整合需要意识 的主张, 但其应用具有一定的局限性, 并不能完全否认意识在多感觉整合中的作用. 本文首先回顾了意识与信息 整合关系的传统观点, 接着对近年来无意识多感觉信息整合的研究进行综述并讨论了无意识多感觉整合的加工水 平、时间界限、机制解释等问题, 最后对未来的研究方向进行展望, 以期增加人们对意识与整合关系的新认识, 为 多感觉信息整合的后续研究提供借鉴. 关键词 多感觉整合, 意识, 无意识, 跨通道信息加工, 视觉 无论是春夏之交莺歌燕舞, 还是中秋月下丹桂 飘香, 通常人们所遇到的事物和情境都同时传递着 多种形式的物理和化学信号(如光波、声波、气味分 子等), 这些信号分别被不同的感觉器官所接收. 尽 管如此, 人们并没有把这些事件知觉为支离破碎的 各种颜色、声音和气味等信息, 而是将来自不同感觉 通道的信息(如视觉、听觉和嗅觉等)整合成一个统 一、连贯、稳定的单一多感觉事件, 这种多感觉事件 的加工过程即为多感觉整合(multisensory integration)[1~3]. 多感觉整合能弥补单一模态信息的匮乏, 有助于人们更有效地感知环境中有意义的信息, 从 而对于人类的学习、记忆以及意识的形成都有非常重 要的作用. 多感觉整合被认为是研究意识和脑高级 活动的重要内容, 也是行为和神经科学研究最热点 的前沿领域之一. 在多感觉整合的研究中, 一个核心的问题是, 多 感觉通道的信息整合是否需要意识. 对于这个问题 的解答与意识研究者们关注的一个焦点(即整合和意 识的关系)有关. 早期有关意识与整合关系的研究与 理论揭示了意识在信息整合包括多感觉信息整合中 的必要性[4~6]. 随着无意识实验范式尤其是视觉无意 识实验范式的发展与革新, 研究者们可以通过多种 手段制造无意识状态, 包括操纵刺激本身的知觉条 件(如掩蔽、连续闪烁抑制等)以及控制被试的注意分 配方式(如注意瞬脱、不注意视盲等) [7]. 这都为研究 者们对多感觉整合是否可以在没有意识参与的条件 下发生这一问题进行深入探索提供了可能. 随着研 究的深入, 当前研究者们又面临着更精细和具体的 问题, 例如, 无意识多感觉信息整合究竟发生在感觉 水平还是语义水平上, 这一整合过程的时间界限何 Downloaded to IP: 159.226.113.221 On: 2018-02-21 14:15:29 http://engine.scichina.com/doi/10.1360/N972015-00666
在等问题.本文将回顾有关意识与多感觉信息整合分并无影响,换句话说,没有反馈即没有整合,因此 关系的经典理论与相关研究,尤其关注使用改变刺单纯的前馈系统也不具备意识 激知觉条件范式的无意识多感觉信息研究并对无意 识多感觉信息整合的加工水平、时间界限和解释机制2无意识条件下的多感觉信息整合 进行讨论,以期增加人们对多感觉整合的新认识,为 后续研究意识这个“千古之谜”提供借鉴. 2.1单一通道无意识的研究 1意识与信息整合关系的传统观点 视觉是人类感知世界最主要的信息来源,研究 者们对视觉系统的认识也较之其他感觉通道来说更 意识的绝大多数理论假定整合和意识紧密相关,为深人.在意识的研究领域中,视觉系统也被作为研 整合问题是意识研究的重点,而意识又在信息整合究意识的突破口.与其他通道的意识(如听觉意识 中具有中心的作用-.对于这种潜在密切联系的描触觉意识等)相比,视觉意识在定义的操作性、实验 述至少可以追溯到笛卡尔、康德以及詹姆斯的论的可行性以及实验结果的适用性等方面具有独特的 著μ-3.这种将意识与信息整合紧密联系在一起的优势.早期研究认为视觉是优势感觉通道,从而不受 传统观点对当今学术思想有着很深远的影响.全局其他感觉通道影响.随后的一些研究表明其他通道 神经工作空间理论( global neural workspace theory,的信息能够调节视知觉,甚至当视觉刺激处于无意 GNW)为整合和意识的紧密关系提供了神经基础的识的状态下,该影响效果仍然存在2.前人利用多 假设,它认为有意识的加工涉及远程反馈连接,从而种范式(如掩蔽、连续闪烁抑制等)来考察被试的视觉 能够使不同种类的信息在大脑中发生整合,而无意无意识加工与其他感觉通道信息加工的整合及交互 识情况下的加工则处于信息封闭的状态,不存在不作用,而探讨除视觉外的其他感觉通道之间的无意 同脑区间的信息交换·5. Tononi研究组6提出的识整合的文献则相对较少 整合信息理论( integrated information theory,IT认为 视觉掩蔽( visual masking)技术是一种被广泛用 人以整合信息的方式来获得意识,或者说意识就是来研究无意识多感觉信息整合的方法.一般来说,该 个系统所能整合的信息,并可以通过信息论的方方法是通过缩短目标刺激的呈现时间(通常小于50 法加以计算.近年来TMS结合EEG实验中发现,失去ms),并呈现时间和空间上与之相近的掩蔽刺激,以 和恢复意识与大脑整合信息的能力有关.在意识清达到使目标刺激不被观察者所觉知的目的324.在 醒状态下,向被试的前运动区( the premotor area)施加跨通道信息整合的研究中,研究者在掩蔽视觉刺激 TMS刺激同时记录全脑的EEG活动,研究者观察到呈现的同时或短时间内再给予另一感觉通道的信息, 脑电波由刺激位点向相邻区域“扩散”.然而,若被试这样即可观测该感觉通道信息与无意识视觉信息的 处于非快速眼动睡眠状态,即使向相同位点施加强整合及交互作用.Ngo和 Spence231分别采用听觉、触 度更高的TMS刺激也无法观察到前述现象.后续觉以及听觉触觉同时呈现等多种方式来研究跨通道 研究中,研究者还以类似方法(向局部或整个大脑进信息对处于后摄掩蔽( backward masking)条件下的视 行轻微刺激),对不同意识状态下(如全身麻醉、昏迷觉目标刺激加工的影响.实验的每个试次由先后呈 等)大脑复杂性反应进行考察,并发现随着意识程度现的4对被掩蔽-掩蔽刺激组成,其中掩蔽刺激是由 的减弱脑内有效连接数量、PCI值( perturbational16个点组成的4×4矩阵,被掩蔽刺激则是由出现在 complexity index)均随之降低11,研究者推测这与4x4矩阵的任意位置上的4个点组成,这4个点可能组 丘脑皮层模块的信息整合能力丧失有关.随着无成不规则的形状(分心物),也可能组成菱形(目标物) 意识研究的深入, Tononi研究组2近来也在其信息日标物总是出现在第三对刺激中,其余的3对刺激包 整合理论框架下加入了无意识的成分,但他们并不含的都是分心物.每个被掩蔽刺激(4个点)呈现100 认为这些无意识的“僵尸”系统具有信息整合的功能,ms,随后紧接着呈现掩蔽刺激(16个点)100ms.在听 虽然从行为上看它们似乎具有某些计算功能,但在觉条件中,声音刺激与被掩蔽刺激同时呈现,与4组 这样的前馈系统信息的输入完全来自于外部输入,被掩蔽刺激相对应的是4个纯音信号,可能出现的序 其输出只影响下游信息的传递而对整个系统其他部列有4个声音全是低音①LLLL)或第三个声音是高音 DownloadedtoIp:159.226.113221On:2018-02-2114:15:29http:/engine.st o/10.1360N972015-00666
3 在等问题. 本文将回顾有关意识与多感觉信息整合 关系的经典理论与相关研究, 尤其关注使用改变刺 激知觉条件范式的无意识多感觉信息研究并对无意 识多感觉信息整合的加工水平、时间界限和解释机制 进行讨论, 以期增加人们对多感觉整合的新认识, 为 后续研究意识这个“千古之谜”提供借鉴. 1 意识与信息整合关系的传统观点 意识的绝大多数理论假定整合和意识紧密相关, 整合问题是意识研究的重点, 而意识又在信息整合 中具有中心的作用[8~10]. 对于这种潜在密切联系的描 述至少可以追溯到笛卡尔、康德以及詹姆斯的论 著[11~13]. 这种将意识与信息整合紧密联系在一起的 传统观点对当今学术思想有着很深远的影响. 全局 神经工作空间理论(global neural workspace theory, GNW)为整合和意识的紧密关系提供了神经基础的 假设, 它认为有意识的加工涉及远程反馈连接, 从而 能够使不同种类的信息在大脑中发生整合, 而无意 识情况下的加工则处于信息封闭的状态, 不存在不 同脑区间的信息交换[14,15]. Tononi研究组[4~6]提出的 整合信息理论(integrated information theory, IIT)认为 人以整合信息的方式来获得意识, 或者说意识就是 一个系统所能整合的信息, 并可以通过信息论的方 法加以计算. 近年来TMS结合EEG实验中发现, 失去 和恢复意识与大脑整合信息的能力有关. 在意识清 醒状态下, 向被试的前运动区(the premotor area)施加 TMS刺激同时记录全脑的EEG活动, 研究者观察到 脑电波由刺激位点向相邻区域“扩散”. 然而, 若被试 处于非快速眼动睡眠状态, 即使向相同位点施加强 度更高的TMS刺激也无法观察到前述现象[16]. 后续 研究中, 研究者还以类似方法(向局部或整个大脑进 行轻微刺激), 对不同意识状态下(如全身麻醉、昏迷 等)大脑复杂性反应进行考察, 并发现随着意识程度 的减弱脑内有效连接数量、 PCI 值 (perturbational complexity index)均随之降低[17~19], 研究者推测这与 丘脑皮层模块的信息整合能力丧失有关[9,20]. 随着无 意识研究的深入, Tononi研究组[20,21]近来也在其信息 整合理论框架下加入了无意识的成分, 但他们并不 认为这些无意识的“僵尸”系统具有信息整合的功能, 虽然从行为上看它们似乎具有某些计算功能, 但在 这样的前馈系统信息的输入完全来自于外部输入, 其输出只影响下游信息的传递而对整个系统其他部 分并无影响, 换句话说, 没有反馈即没有整合, 因此 单纯的前馈系统也不具备意识. 2 无意识条件下的多感觉信息整合 2.1 单一通道无意识的研究 视觉是人类感知世界最主要的信息来源, 研究 者们对视觉系统的认识也较之其他感觉通道来说更 为深入. 在意识的研究领域中, 视觉系统也被作为研 究意识的突破口. 与其他通道的意识(如听觉意识、 触觉意识等)相比, 视觉意识在定义的操作性、实验 的可行性以及实验结果的适用性等方面具有独特的 优势. 早期研究认为视觉是优势感觉通道, 从而不受 其他感觉通道影响. 随后的一些研究表明其他通道 的信息能够调节视知觉, 甚至当视觉刺激处于无意 识的状态下, 该影响效果仍然存在[22]. 前人利用多 种范式(如掩蔽、连续闪烁抑制等)来考察被试的视觉 无意识加工与其他感觉通道信息加工的整合及交互 作用, 而探讨除视觉外的其他感觉通道之间的无意 识整合的文献则相对较少. 视觉掩蔽(visual masking)技术是一种被广泛用 来研究无意识多感觉信息整合的方法. 一般来说, 该 方法是通过缩短目标刺激的呈现时间(通常小于50 ms), 并呈现时间和空间上与之相近的掩蔽刺激, 以 达到使目标刺激不被观察者所觉知的目的[23,24]. 在 跨通道信息整合的研究中, 研究者在掩蔽视觉刺激 呈现的同时或短时间内再给予另一感觉通道的信息, 这样即可观测该感觉通道信息与无意识视觉信息的 整合及交互作用. Ngo和Spence[25]分别采用听觉、触 觉以及听觉触觉同时呈现等多种方式来研究跨通道 信息对处于后摄掩蔽(backward masking)条件下的视 觉目标刺激加工的影响. 实验的每个试次由先后呈 现的4对被掩蔽-掩蔽刺激组成, 其中掩蔽刺激是由 16个点组成的4×4矩阵, 被掩蔽刺激则是由出现在 4×4矩阵的任意位置上的4个点组成, 这4个点可能组 成不规则的形状(分心物), 也可能组成菱形(目标物). 目标物总是出现在第三对刺激中, 其余的3对刺激包 含的都是分心物. 每个被掩蔽刺激(4个点)呈现100 ms, 随后紧接着呈现掩蔽刺激(16个点)100 ms. 在听 觉条件中, 声音刺激与被掩蔽刺激同时呈现, 与4组 被掩蔽刺激相对应的是4个纯音信号, 可能出现的序 列有4个声音全是低音(LLLL)或第三个声音是高音 Downloaded to IP: 159.226.113.221 On: 2018-02-21 14:15:29 http://engine.scichina.com/doi/10.1360/N972015-00666
姘答面扳2016年1月第61卷第1期 其余3个声音为低音LHL),也就是说和目标物对应时间更少 的声音刺激有可能是低音也有可能是高音.在触觉 视觉掩蔽范式虽然应用广泛,但存在一些不足, 条件中,与被掩蔽刺激同时呈现的是高频或低频震例如,由于目标刺激呈现时间短且掩蔽刺激需要在 动,也是包括LLLL或LLHL2种刺激序列.在听触混时空上与之相接近,从而难以提供持续较长时间的 合条件中,声音刺激和触觉震动都随着被掩蔽刺激不可见刺激3.作为双眼竞争范式的一种变式,连 同时呈现,并且两者呈现的序列一致①LLLL或续闪烁抑制范式( continuous flash suppression,CFS)能 LLHL).在每个条件中被试的任务均是探测目标物够控制视觉刺激处于不可见的状态长达数分钟的时 所在的位置(左上角、右上角、左下角或者右下角)结间,从而弥补了上述视觉掩蔽范式的不足.连续闪烁 果发现,高频的听觉刺激、触觉震动以及听触混合刺抑制范式是通过在非优势眼呈现低对比度的目标刺 激与相应形式的低频刺激相比都能够促进被试对处激,在优势眼呈现快速变化和髙对比度的掩蔽刺激, 于掩蔽条件下的视觉目标物的检测.这一研究说明来达到抑制目标刺激的目的. Lupyan和ward3 某感觉通道的信息可以促进另一感觉通道的信息从曾采用CFS范式考察听觉词汇是否能促进无意识图 无意识状态进入意识状态,提供了多感觉整合能够片的加工,结果发现如果声音与图片内容一致,被试 在无意识条件下发生的证据.视觉掩蔽条件下的多反应的击中率则会显著提高,且虚报率在各条件间 感觉信息整合现象并不局限于简单视觉刺激(如菱没有显著差异.有研究者利用CFS范式与线索提示范 形、字母等)226,也表现于复杂有意义的视觉刺激式相结合的方法考察了意识在视听言语整合中的作 (如动物简笔画)Chen和 Spence选用简笔画(如狗)用3.实验中呈现2个被动态变化噪音所抑制的唇部 作为视觉目标刺激,以随机曲线组成的图形作为视运动序列,同时呈现与其中一个序列相一致的言语 觉掩蔽刺激,听觉刺激是与视觉目标刺激一致(如狗声音刺激,随后一个视觉目标物呈现在之前其中 叫声)、不一致(如工具声)的自然声音或白噪音.实验个唇部运动序列所在的位置,视觉目标物出现在视 结果显示,一致性的声音能够促进掩蔽条件下视觉听一致的位置的概率为80%,.结果发现当视觉目标 目标图画的识别 物出现在视听一致的位置时被试对它的识别要显著 除了视觉掩蔽技术,双眼竞争也是研究者探索快于当其出现在视听不一致的位置时,表明被试能 无意识多感觉整合的重要实验范式.视觉实验中当够在意识不到唇部运动序列的情况下将其与意识上 同时给被试双眼呈现不同的刺激时,被试觉知到的的声音刺激相整合,并进一步利用学到的目标物呈 不是2种刺激的叠加而是2种刺激交替出现,这就是现位置与跨通道线索一致性之间的关系来指引他们 经典的双眼竞争 binocular rivalry)范式B.在双眼的注意.研究者进一步研究了意识在 McGurk跨通道 的输入刺激动态竞争的过程中,外界的输入刺激始整合效应中的作用. McGurk效应指的是一种视觉改 终保持不变,但被试有意识的主观觉知却不断发生变语音感知的跨通道现象,如在发出“ba”这个声音 变化,当被试觉知到其中一个刺激(主导状态)时,另的同时伴随“ma”的唇部运动,被试听到的声音变成 个刺激则不被被试觉知到(抑制状态).zhou等人了“na”.当在实验中通过CFS范式使视觉唇部运动处 用双眼竞争范式来研究嗅觉对视觉加工的调制作用.于不可见的状态时,这种在意识上观察到的 McGurk 他们通过立体镜向被试的双眼分别呈现亮度匹配的效应则消失.综合上述结果,多感觉信息整合是否需 玫瑰花和记号笔灰度图片,同时给被试闻玫瑰花或要意识取决于所整合的信息的类型 记号笔的气味,结果发现了图片与气味的一致性效 另一方面,研究者们也对CFS范式进行不断改 应,即当呈现玫瑰(或记号笔)气味时,玫瑰(或记号进,例如Jang等人提出一个CFS的变式:突破连 笔)图片的主导时间会显著提高.视听整合方面,续闪烁抑制( breaking continuous flash suppression Chen等人3研究发现双眼竞争中被试的视觉受到同b-CFS)范式,具体操作如下,给被试的其中一只眼呈 时呈现的听觉信息的调制.他们用红蓝眼镜呈现鸟-现一系列对比度由弱变强的目标刺激,另一只眼呈 汽车图形,同时加以鸟叫声、汽车声或无关的声音刺现动态噪音点,并要求被试看到目标刺激就按键反 激,结果发现与呈现无关声音刺激相比,和呈现的鸟应,由此得到的反应时即抑制时间( suppression time) 叫声或汽车声不一致的图形在双眼竞争中占主导的能够反映刺激在无意识下加工的深度. Alsius和 DownloadedtoIp:159.226.113221On:2018-02-2114:15:29http:/engine.st o/10.1360N972015-00666
2016 年 1 月 第 61 卷 第 1 期 4 其余3个声音为低音(LLHL), 也就是说和目标物对应 的声音刺激有可能是低音也有可能是高音. 在触觉 条件中, 与被掩蔽刺激同时呈现的是高频或低频震 动, 也是包括LLLL或LLHL 2种刺激序列. 在听触混 合条件中, 声音刺激和触觉震动都随着被掩蔽刺激 同时呈现 , 并且两者呈现的序列一致 (LLLL 或 LLHL). 在每个条件中被试的任务均是探测目标物 所在的位置(左上角、右上角、左下角或者右下角). 结 果发现, 高频的听觉刺激、触觉震动以及听触混合刺 激与相应形式的低频刺激相比都能够促进被试对处 于掩蔽条件下的视觉目标物的检测. 这一研究说明 某感觉通道的信息可以促进另一感觉通道的信息从 无意识状态进入意识状态, 提供了多感觉整合能够 在无意识条件下发生的证据. 视觉掩蔽条件下的多 感觉信息整合现象并不局限于简单视觉刺激(如菱 形、字母等) [25,26], 也表现于复杂有意义的视觉刺激 (如动物简笔画). Chen和Spence[27]选用简笔画(如狗) 作为视觉目标刺激, 以随机曲线组成的图形作为视 觉掩蔽刺激, 听觉刺激是与视觉目标刺激一致(如狗 叫声)、不一致(如工具声)的自然声音或白噪音. 实验 结果显示, 一致性的声音能够促进掩蔽条件下视觉 目标图画的识别. 除了视觉掩蔽技术, 双眼竞争也是研究者探索 无意识多感觉整合的重要实验范式. 视觉实验中当 同时给被试双眼呈现不同的刺激时, 被试觉知到的 不是2种刺激的叠加而是2种刺激交替出现, 这就是 经典的双眼竞争(binocular rivalry)范式[28,29]. 在双眼 的输入刺激动态竞争的过程中, 外界的输入刺激始 终保持不变, 但被试有意识的主观觉知却不断发生 变化, 当被试觉知到其中一个刺激(主导状态)时, 另 一个刺激则不被被试觉知到(抑制状态). Zhou等人[30] 用双眼竞争范式来研究嗅觉对视觉加工的调制作用. 他们通过立体镜向被试的双眼分别呈现亮度匹配的 玫瑰花和记号笔灰度图片, 同时给被试闻玫瑰花或 记号笔的气味, 结果发现了图片与气味的一致性效 应, 即当呈现玫瑰(或记号笔)气味时, 玫瑰(或记号 笔)图片的主导时间会显著提高. 视听整合方面, Chen等人[31]研究发现双眼竞争中被试的视觉受到同 时呈现的听觉信息的调制. 他们用红蓝眼镜呈现鸟- 汽车图形, 同时加以鸟叫声、汽车声或无关的声音刺 激, 结果发现与呈现无关声音刺激相比, 和呈现的鸟 叫声或汽车声不一致的图形在双眼竞争中占主导的 时间更少. 视觉掩蔽范式虽然应用广泛, 但存在一些不足, 例如, 由于目标刺激呈现时间短且掩蔽刺激需要在 时空上与之相接近, 从而难以提供持续较长时间的 不可见刺激[7,32]. 作为双眼竞争范式的一种变式, 连 续闪烁抑制范式(continuous flash suppression, CFS)能 够控制视觉刺激处于不可见的状态长达数分钟的时 间, 从而弥补了上述视觉掩蔽范式的不足. 连续闪烁 抑制范式是通过在非优势眼呈现低对比度的目标刺 激, 在优势眼呈现快速变化和高对比度的掩蔽刺激, 来达到抑制目标刺激的目的[33~36]. Lupyan和Ward[37] 曾采用CFS范式考察听觉词汇是否能促进无意识图 片的加工, 结果发现如果声音与图片内容一致, 被试 反应的击中率则会显著提高, 且虚报率在各条件间 没有显著差异. 有研究者利用CFS范式与线索提示范 式相结合的方法考察了意识在视听言语整合中的作 用[38]. 实验中呈现2个被动态变化噪音所抑制的唇部 运动序列, 同时呈现与其中一个序列相一致的言语 声音刺激, 随后一个视觉目标物呈现在之前其中一 个唇部运动序列所在的位置, 视觉目标物出现在视 听一致的位置的概率为80%. 结果发现当视觉目标 物出现在视听一致的位置时被试对它的识别要显著 快于当其出现在视听不一致的位置时, 表明被试能 够在意识不到唇部运动序列的情况下将其与意识上 的声音刺激相整合, 并进一步利用学到的目标物呈 现位置与跨通道线索一致性之间的关系来指引他们 的注意. 研究者进一步研究了意识在McGurk跨通道 整合效应中的作用. McGurk效应指的是一种视觉改 变语音感知的跨通道现象, 如在发出“ba”这个声音 的同时伴随“ma”的唇部运动, 被试听到的声音变成 了“na”. 当在实验中通过CFS范式使视觉唇部运动处 于不可见的状态时, 这种在意识上观察到的McGurk 效应则消失. 综合上述结果, 多感觉信息整合是否需 要意识取决于所整合的信息的类型. 另一方面, 研究者们也对CFS范式进行不断改 进, 例如Jiang等人[39]提出一个CFS的变式: 突破连 续闪烁抑制(breaking continuous flash suppression, b-CFS)范式, 具体操作如下, 给被试的其中一只眼呈 现一系列对比度由弱变强的目标刺激, 另一只眼呈 现动态噪音点, 并要求被试看到目标刺激就按键反 应, 由此得到的反应时即抑制时间(suppression time) 能够反映刺激在无意识下加工的深度 . Alsius和 Downloaded to IP: 159.226.113.221 On: 2018-02-21 14:15:29 http://engine.scichina.com/doi/10.1360/N972015-00666
Munhall采用b-CFS范式对言语的无意识视听整合发生在深度睡眠阶段.此外,该学习效果能够在清醒 进行了研究,他们将听觉句子和与该听觉刺激相一状态下得以保持,在第二个测验阶段中,被试在清醒 致或不一致的说话嘴型的录影片段同时呈现;录影状态下接受声音输入,同样发现呈现声音A呼吸量增 片段的对比度由弱变强,动态噪音点的对比度由强加以及呈现声音B呼吸量减少的效应.上述结果表 变弱;整段视听刺激时长6s,被试需要在看到录影明,即使听觉和嗅觉信息都处于无意识的状态,两者 片段时就立即按键.被试的反应时在视听一致条件仍然得以整合.然而,正如该研究的作者所承认的, 下显著短于视听不一致的条件,即在视听一致时视尽管他们随后要求被试报告对刺激的意识程度,但 觉刺激能够更快地突破抑制.另外,为了排除观察到实际上在睡眠状态下对刺激觉知程度的控制还是十 的一致性效应是来自于意识上的反应偏向,他们设分困难,个体可能在睡眠时仍然对刺激存在一定程 计向两只眼睛呈现同样的混合在一起的视觉材料和度的觉察,但醒来后忘记了这一事件,因而不能 动态噪音,在该控制条件下没有发现一致性效应 再认 Faivre和Koch3首次尝试在被试清醒的情况下 22完全无意识的研究 通过严格控制不同感觉通道信息的觉知程度的方法 上述视听整合的研究,包括其他感觉通道信息以考察完全无意识的视听整合过程.他们采用了反 整合的研究4,都从某种程度上考察了无意识条应启动 response priming)的范式.首先,在启动阶段 件下多感觉信息整合的可能性.但是被试在这些研他们向被试呈现一对阈限下的一致(如视觉数字“6” 究中总是能够意识到其中某个通道的刺激,所以很听觉数字“6”)或不一致(如视觉数字“8”,听觉数字 有可能是通过对这个通道的刺激的有意识知觉才能“6”)的视听数字(启动刺激).然后在探测阶段,呈现 够实现它与另一个通道的处于无意识水平的刺激的对阈限上的一致(如视觉字母“b”,听觉字母“b”)或 整合.整体通路假设 global access hypothesis)4可以不一致(如视觉字母“m”,听觉字母“b”)的视听字母 解释该现象:意识上呈现的刺激信息传递到各个模(目标刺激).被试需要判断目标刺激中的视听字母是 块,包括无意识视觉刺激所激活的模块,从而使得该否一致.结果发现启动刺激与目标刺激关系一致条 有意识的刺激能够与无意识的刺激相比较.因此,先件下(视听数字一致且视听字母一致,或视听数字不 前的这些研究并没有提供关于多感觉信息能够在完致且视听字母不一致)比不一致条件下(视听数字 全无意识条件下整合的证据,只有当不同感觉通道一致且视听字母不一致,或视听数字不一致且视听 信息都处于无意识水平时才能真正地探究无意识多字母一致)反应时更短.该结果表明判断阈限上的听 感觉整合问题 觉和视觉目标字母之间的关系会受到阈限下的听觉 最近,一项研究发现被试在深度睡眠的情况下和视觉启动项数字之间的关系的影响,研究者将这 能够学习到气味与音调之间的联结关系,为完全无个一致性启动效应作为无意识多感觉信息整合的证 意识的多感觉信息整合提供了一定的证据.Ari等据,即阈限下的视觉和听觉信息能够发生无意识整 人利用个体的呼吸特性(即闻好闻的气味时呼吸量合.这个巧妙的实验设计没有像以往采用传统范式 会升高,反之,闻难闻气味时呼吸量降低)来衡量被的硏究那样探测跨通道加工(如当被试听到数字“8 试在睡眠状态下声音气味联结强化学习的效果.学时是否会比听到其他数字时能更快地加工视觉数字 习阶段,他们采用局部强化跟踪条件化( partial-“8”),而是通过让被试判断视觉和听觉刺激之间的关 reinforcement trace conditioning程序,向睡着的被试系来直接测量被试整合视听信息的能力,因为视觉 先后呈现声音A和好闻气味(或声音B和难闻气味),和听觉刺激之间的这种关系比较不可能通过对单个 并确保被试在强化过程中始终处于睡眠状态.测验通道的各个刺激分别单独加工得到,而是需要直接 阶段,只向被试呈现学习阶段出现过的声音,并实时或间接地通过双模态的神经元接受来自各个感觉通 监测被试呼吸量变化.结果显示当呈现声音A时,被道的输入,从而从功能上将视觉和听觉通道连接起 试呼吸量显著增加;反之如果冋被试呈现之前经难来.研究者也同时考察了仅某一感觉通道信息(视觉 闻气味条件化的声音B,被试的呼吸量将降低.他们或听觉)处于无意识条件下的多感觉信息整合,同样 还分析了不同睡眠阶段的学习效果,发现学习主要发现了一致性启动效应.值得注意的是在这些正式 DownloadedtoIp:159.226.113221On:2018-02-2114:15:29http:/engine.st o/10.1360N972015-00666
5 Munhall[40]采用b-CFS范式对言语的无意识视听整合 进行了研究, 他们将听觉句子和与该听觉刺激相一 致或不一致的说话嘴型的录影片段同时呈现; 录影 片段的对比度由弱变强, 动态噪音点的对比度由强 变弱; 整段视听刺激时长6 s, 被试需要在看到录影 片段时就立即按键. 被试的反应时在视听一致条件 下显著短于视听不一致的条件, 即在视听一致时视 觉刺激能够更快地突破抑制. 另外, 为了排除观察到 的一致性效应是来自于意识上的反应偏向, 他们设 计向两只眼睛呈现同样的混合在一起的视觉材料和 动态噪音, 在该控制条件下没有发现一致性效应. 2.2 完全无意识的研究 上述视听整合的研究, 包括其他感觉通道信息 整合的研究[41,42], 都从某种程度上考察了无意识条 件下多感觉信息整合的可能性. 但是被试在这些研 究中总是能够意识到其中某个通道的刺激, 所以很 有可能是通过对这个通道的刺激的有意识知觉才能 够实现它与另一个通道的处于无意识水平的刺激的 整合. 整体通路假设(global access hypothesis)[43]可以 解释该现象: 意识上呈现的刺激信息传递到各个模 块, 包括无意识视觉刺激所激活的模块, 从而使得该 有意识的刺激能够与无意识的刺激相比较. 因此, 先 前的这些研究并没有提供关于多感觉信息能够在完 全无意识条件下整合的证据, 只有当不同感觉通道 信息都处于无意识水平时才能真正地探究无意识多 感觉整合问题. 最近, 一项研究发现被试在深度睡眠的情况下 能够学习到气味与音调之间的联结关系, 为完全无 意识的多感觉信息整合提供了一定的证据. Arzi等 人[44]利用个体的呼吸特性(即闻好闻的气味时呼吸量 会升高, 反之, 闻难闻气味时呼吸量降低)来衡量被 试在睡眠状态下声音-气味联结强化学习的效果. 学 习阶段 , 他们采用局部强化跟踪条件化 (partialreinforcement trace conditioning)程序, 向睡着的被试 先后呈现声音A和好闻气味(或声音B和难闻气味), 并确保被试在强化过程中始终处于睡眠状态. 测验 阶段, 只向被试呈现学习阶段出现过的声音, 并实时 监测被试呼吸量变化. 结果显示当呈现声音A时, 被 试呼吸量显著增加; 反之如果向被试呈现之前经难 闻气味条件化的声音B, 被试的呼吸量将降低. 他们 还分析了不同睡眠阶段的学习效果, 发现学习主要 发生在深度睡眠阶段. 此外, 该学习效果能够在清醒 状态下得以保持, 在第二个测验阶段中, 被试在清醒 状态下接受声音输入, 同样发现呈现声音A呼吸量增 加以及呈现声音B呼吸量减少的效应. 上述结果表 明, 即使听觉和嗅觉信息都处于无意识的状态, 两者 仍然得以整合. 然而, 正如该研究的作者所承认的, 尽管他们随后要求被试报告对刺激的意识程度, 但 实际上在睡眠状态下对刺激觉知程度的控制还是十 分困难, 个体可能在睡眠时仍然对刺激存在一定程 度的觉察, 但醒来后忘记了这一事件, 因而不能 再认. Faivre和Koch[45]首次尝试在被试清醒的情况下 通过严格控制不同感觉通道信息的觉知程度的方法 以考察完全无意识的视听整合过程. 他们采用了反 应启动(response priming)的范式. 首先, 在启动阶段, 他们向被试呈现一对阈限下的一致(如视觉数字“6”, 听觉数字“6”)或不一致(如视觉数字“8”, 听觉数字 “6”)的视听数字(启动刺激). 然后在探测阶段, 呈现 一对阈限上的一致(如视觉字母“b”, 听觉字母“b”)或 不一致(如视觉字母“m”, 听觉字母“b”)的视听字母 (目标刺激). 被试需要判断目标刺激中的视听字母是 否一致. 结果发现启动刺激与目标刺激关系一致条 件下(视听数字一致且视听字母一致, 或视听数字不 一致且视听字母不一致)比不一致条件下(视听数字 一致且视听字母不一致, 或视听数字不一致且视听 字母一致)反应时更短. 该结果表明判断阈限上的听 觉和视觉目标字母之间的关系会受到阈限下的听觉 和视觉启动项数字之间的关系的影响, 研究者将这 个一致性启动效应作为无意识多感觉信息整合的证 据, 即阈限下的视觉和听觉信息能够发生无意识整 合. 这个巧妙的实验设计没有像以往采用传统范式 的研究那样探测跨通道加工(如当被试听到数字“8” 时是否会比听到其他数字时能更快地加工视觉数字 “8”), 而是通过让被试判断视觉和听觉刺激之间的关 系来直接测量被试整合视听信息的能力, 因为视觉 和听觉刺激之间的这种关系比较不可能通过对单个 通道的各个刺激分别单独加工得到, 而是需要直接 或间接地通过双模态的神经元接受来自各个感觉通 道的输入, 从而从功能上将视觉和听觉通道连接起 来. 研究者也同时考察了仅某一感觉通道信息(视觉 或听觉)处于无意识条件下的多感觉信息整合, 同样 发现了一致性启动效应. 值得注意的是在这些正式 Downloaded to IP: 159.226.113.221 On: 2018-02-21 14:15:29 http://engine.scichina.com/doi/10.1360/N972015-00666
研荸通扳2016年1月第61卷第1期 实验开始之前,被试都接受了意识上的训练,该训练可能是由于听觉情境增强了与其一致的视觉刺激的 任务除了启动刺激中的视觉数字和听觉数字都是有表征,从而更有利于该视觉刺激在双眼竞争中占据 意识地呈现外,其余和正式实验的任务一致.研究者优势. Lupyan和Wad也试图探讨他们所发现的无 进一步考察了有意识训练在无意识多感觉信息整合意识视听整合过程是在感觉水平还是语义水平发生 中的作用.结果发现如果事先不进行有意识训练则他们采用“圆形”和“方形”这两个听觉词汇作为听觉 观察不到无意识多感觉信息整合效应.另外,通过对刺激,由圆到方这个维度上连续变化的11个几何图 比意识上的训练试次和无意识的正式实验试次可以形作为视觉刺激,并发现听觉词对不可见的图形的 发现无意识状态下多感觉信息整合的效应量较之意促进效应与图形在“从圆到方”这个维度上所处的位 识条件下的效应量要小得多,并且效应量的减弱并置有关.研究者因此认为实验中所观察到的视听整 不能由刺激强度的减弱来解释,因为在单一掩蔽和合发生在感觉水平而非语义水平 双重掩蔽条件间并没有发现启动-目标一致性效应的 上述来自单一通道无意识的研究均表明无意识 显著差异 多感觉信息整合发生在感觉水平.迄今为止,尚未有 3无意识多感觉信息整合的加工水平 研究对完全无意识条件下的多感觉信息整合的加工 水平进行探索.对于完全无意识多感觉信息整合究 近年来,无意识多感觉信息整合领域存在着一竟是基于感觉水平还是语义水平发生这一问题的解 个有意思的问题,即这些不同通道的信息的整合究答可以利用基于感觉水平整合的几个基本特征,包 竟发生在感觉水平还是语义水平上.研究者们利用括反比效应、刺激的空间耦合和时间同步性47-9.(1) 不同实验范式和感觉通道属性对这一问题进行了反比效应指的是当单感觉通道的信号越微弱的时候 探究 多感觉整合的效应越显著,即整合效率与刺激强度 zhou等人认为他们所发现的无意识视嗅整合成反比关系03.所以当启动项以感觉水平的方式 过程并非发生在语义水平,而是基于客体整合的时候,启动项信号越微弱整合效应越好,即 ( object- based)水平发生,因为当只向被试呈现清水但致性启动效应量越大.相反,如果所取得的结果是由 诱导被试相信呈现的是某种气味时,并未观察到一语义一致性启动效应所驱动的,那么启动项信号越 致性效应.在后续研究中,Zhou等人利用视觉和嗅强效应量越大;(2)在空间和时间上相近的多通道刺 觉系统在解剖和功能上的偏侧化特性(初级视觉信息激更有可能在感觉水平上被整合;然而,基于语义水 加工为对侧传导,初级嗅觉信息加工为同侧传导)进平的整合则与各个通道刺激出现的空间位置以及时 步探究了视嗅整合发生在大脑加工中的哪个阶段.间关系无关.除了上述提及的可以通过利用基于感 实验将玫瑰和香蕉图片分别呈现于被试两只眼的同觉整合的基本特征进行行为实验外,脑成像研究或 视野(左或右),同时将玫瑰(或香蕉)气味呈现在左许可以提供神经上的指标来区分感觉整合和语义整 或右鼻孔.结果发现,只有当图片和其相应的气味对合.感觉水平整合假说和语义水平整合假说暗示了 侧呈现时(投射在同一侧大脑半球),才能观察到图片不同的大脑激活方式,语义水平整合涉及不同感觉 和气味的一致性效应.该研究表明双眼竞争中的视通道信息各自的语义抽取过程以及不同语义信息的 嗅整合现象在大脑加工的初级阶段就已发生 比较对照,这一过程将在相应具有高级认知功能的 在无意识视听整合方面,当Chen等人采用视脑区反映出来2 觉呈现的词而非声音刺激作为语义线索时,则没有 在双眼竞争中发现类似视听一致性的调制效应.可4无意识多感觉信息整合的时间界限 见,个体并不是通过提取声音刺激中的抽象语义概 多感觉信息整合存在时间同步性的效应,指的 念来完成视听整合的.该研究进一步通过改变被试是当不同通道的信息(如视觉和听觉信息)呈现的时 对双眼竞争刺激的注意保持策略以及刺激对比度的间趋于同步时多感觉信息整合的效应越好,而当不 方法,排除了自上而下选择性注意和材料物理属性同通道的信息呈现时间间隔超过一定的范围时则不 所造成的反应偏向对视听整合的影响.综合上述结能发生整合13150.绝大部分的无意识多感觉信息整 果,Chen等人凹推测双眼竞争中的视听一致性效应合研究均采用了不同通道的信息同时呈现的方 DownloadedtoIp:159.226.113221On:2018-02-2114:15:29http:/engine.st o/10.1360N972015-00666
2016 年 1 月 第 61 卷 第 1 期 6 实验开始之前, 被试都接受了意识上的训练, 该训练 任务除了启动刺激中的视觉数字和听觉数字都是有 意识地呈现外, 其余和正式实验的任务一致. 研究者 进一步考察了有意识训练在无意识多感觉信息整合 中的作用. 结果发现如果事先不进行有意识训练则 观察不到无意识多感觉信息整合效应. 另外, 通过对 比意识上的训练试次和无意识的正式实验试次可以 发现无意识状态下多感觉信息整合的效应量较之意 识条件下的效应量要小得多, 并且效应量的减弱并 不能由刺激强度的减弱来解释, 因为在单一掩蔽和 双重掩蔽条件间并没有发现启动-目标一致性效应的 显著差异. 3 无意识多感觉信息整合的加工水平 近年来, 无意识多感觉信息整合领域存在着一 个有意思的问题, 即这些不同通道的信息的整合究 竟发生在感觉水平还是语义水平上. 研究者们利用 不同实验范式和感觉通道属性对这一问题进行了 探究. Zhou等人[30]认为他们所发现的无意识视嗅整合 过程并非发生在语义水平 , 而是基于客体 (object-based)水平发生, 因为当只向被试呈现清水但 诱导被试相信呈现的是某种气味时, 并未观察到一 致性效应. 在后续研究中, Zhou等人[46]利用视觉和嗅 觉系统在解剖和功能上的偏侧化特性(初级视觉信息 加工为对侧传导, 初级嗅觉信息加工为同侧传导)进 一步探究了视嗅整合发生在大脑加工中的哪个阶段. 实验将玫瑰和香蕉图片分别呈现于被试两只眼的同 一视野(左或右), 同时将玫瑰(或香蕉)气味呈现在左 或右鼻孔. 结果发现, 只有当图片和其相应的气味对 侧呈现时(投射在同一侧大脑半球), 才能观察到图片 和气味的一致性效应. 该研究表明双眼竞争中的视 嗅整合现象在大脑加工的初级阶段就已发生. 在无意识视听整合方面, 当Chen等人[31]采用视 觉呈现的词而非声音刺激作为语义线索时, 则没有 在双眼竞争中发现类似视听一致性的调制效应. 可 见, 个体并不是通过提取声音刺激中的抽象语义概 念来完成视听整合的. 该研究进一步通过改变被试 对双眼竞争刺激的注意保持策略以及刺激对比度的 方法, 排除了自上而下选择性注意和材料物理属性 所造成的反应偏向对视听整合的影响. 综合上述结 果, Chen等人[31]推测双眼竞争中的视听一致性效应 可能是由于听觉情境增强了与其一致的视觉刺激的 表征, 从而更有利于该视觉刺激在双眼竞争中占据 优势. Lupyan和Ward[37]也试图探讨他们所发现的无 意识视听整合过程是在感觉水平还是语义水平发生. 他们采用“圆形”和“方形”这两个听觉词汇作为听觉 刺激, 由圆到方这个维度上连续变化的11个几何图 形作为视觉刺激, 并发现听觉词对不可见的图形的 促进效应与图形在“从圆到方”这个维度上所处的位 置有关. 研究者因此认为实验中所观察到的视听整 合发生在感觉水平而非语义水平. 上述来自单一通道无意识的研究均表明无意识 多感觉信息整合发生在感觉水平. 迄今为止, 尚未有 研究对完全无意识条件下的多感觉信息整合的加工 水平进行探索. 对于完全无意识多感觉信息整合究 竟是基于感觉水平还是语义水平发生这一问题的解 答可以利用基于感觉水平整合的几个基本特征, 包 括反比效应、刺激的空间耦合和时间同步性[47~49]. (1) 反比效应指的是当单感觉通道的信号越微弱的时候 多感觉整合的效应越显著, 即整合效率与刺激强度 成反比关系[50,51]. 所以当启动项以感觉水平的方式 整合的时候, 启动项信号越微弱整合效应越好, 即一 致性启动效应量越大. 相反, 如果所取得的结果是由 语义一致性启动效应所驱动的, 那么启动项信号越 强效应量越大; (2) 在空间和时间上相近的多通道刺 激更有可能在感觉水平上被整合; 然而, 基于语义水 平的整合则与各个通道刺激出现的空间位置以及时 间关系无关. 除了上述提及的可以通过利用基于感 觉整合的基本特征进行行为实验外, 脑成像研究或 许可以提供神经上的指标来区分感觉整合和语义整 合. 感觉水平整合假说和语义水平整合假说暗示了 不同的大脑激活方式, 语义水平整合涉及不同感觉 通道信息各自的语义抽取过程以及不同语义信息的 比较对照, 这一过程将在相应具有高级认知功能的 脑区反映出来[52]. 4 无意识多感觉信息整合的时间界限 多感觉信息整合存在时间同步性的效应, 指的 是当不同通道的信息(如视觉和听觉信息)呈现的时 间趋于同步时多感觉信息整合的效应越好, 而当不 同通道的信息呈现时间间隔超过一定的范围时则不 能发生整合[53~56]. 绝大部分的无意识多感觉信息整 合研究均采用了不同通道的信息同时呈现的方 Downloaded to IP: 159.226.113.221 On: 2018-02-21 14:15:29 http://engine.scichina.com/doi/10.1360/N972015-00666
式12.30313840454.有少数研究者对无意识多感觉信步指出这可能是由于视觉刺激与其他通道刺激听觉 息整合的时间窗口问题进行了探究.Chen等人通过或触觉)之间的一致性导致的 操纵有意义的视觉刺激(如狗)和听觉刺激(如狗叫声) 前文所述的Chen和 Spence1通过考察无意识多 之间的时间间隔(SOA=0,33,3533ms),发现无意识感觉整合的时间界限问题对前人提出的3个关于跨通 跨通道促进效应并不仅在视觉与听觉刺激冋时呈现道的促进效应的机制假说,即准备增强假说 的时候发生,在听觉刺激延迟333ms呈现的情况下,( preparedness-enhancement hypothesis)、信号增强假 仍然能够观察到听觉的促进效应,但当听觉刺激延说( signal- enhancement hypothesis)以及客体增强假说 迟53ms呈现的情况下,促进效应消失.因此,研究( object-enhancement hypothesis)进行了检验.他们发 者认为很有可能存在一个短时缓冲器,能够短暂地现的字母识别任务中的听觉促进效应只发生在有限 保持各个感觉通道刺激的表征以便于形成一个完整的时间窗口内(27和40ms),而在其他时间窗口(0,13 的多感觉客体表征 80和133ms)则不存在促进效应,该结果与准备增强 Chen和 Spence通过操纵视觉掩蔽刺激与目标假说的预测不一致.另外,在IS为0ms的情况下没 刺激之间的时间间隔( interstimulus interval,IS)来考有发现听觉增强效应,这与信号增强假说不一致.结 察无意识条件下视听整合的时间机制.实验中掩蔽合字母识别任务和字母检测任务的结果可以发现 刺激与目标刺激为不同的大写字母,呈现时长均为在字母识别任务中观察到的听觉促进效应所在的时 40ms,两者的时间间隔为0,13,27,40,80或133ms.间窗口(27和40ms)正好处于被试能够可靠地区分掩 其中有1八2试次在呈现视觉目标刺激的同时伴随听觉蔽刺激和目标刺激为2个字母的时间窗口(21-22ms) 刺激,听觉刺激为纯音信号,呈现时长为27ms.实之外,这些结果表明在掩蔽范式下的听觉促进效 验包括2个部分,被试需要在不同的部分分别完成字应与被试分离随后呈现的2个视觉刺激的能力有关 母识别任务( (letter identification task)和字母检测任务也就是说,声音的呈现很有可能增强了对同时呈 ( letter detection task).在字母识别任务中,被试需要现的视觉刺激的表征,从而降低该视觉刺激的表征 报告所看到的第一个字母(即被掩蔽的目标刺激),该被掩蔽刺激所破坏的可能性.这与客体增强假说 任务用于考察听觉刺激促进视觉信息加工的时间进相符 程;在字母检测任务中,被试需要判断在1个试次中 关于完全无意识多感觉整合, Faivre和Koch5假 看到的是1个还是2个字母,该任务用于考察被试将设存在2个可能的互不排斥的机制能够解释他们所发 掩蔽刺激与目标刺激区分开来的最短时距.结果发现的无意识多感觉信息整合中意识的促进效应.其 现,字母识别任务中,声音促进效应仅出现在ISI为中之一是视听配对在有意识条件下的有意识加工能 27和40ms的条件,而字母检测任务中,声音的促进够分别促进听觉和视觉数字各自的加工而非两者的 作用则发生在更短的ISI时间窗口(13ms),且在ISI大整合.在有意识的训练之后,启动刺激中的听觉和视 于21-22ms的情况下被试才能将目标刺激和掩蔽刺觉数字的无意识加工得到增强,随后便能够促进他 激区分成2个字母 们的无意识整合.在没有意识训练的情况下,视觉和 听觉数字的无意识加工很微弱,从而导致无意识整 5无意识多感觉信息整合的机制解释 合的失败.与这个解释相符合的现象是多感觉体验 有关无意识多感觉信息整合的研究还更多地停能够对随后的单感觉信息加工产生持久的促进效 留在现象的阶段,对机制的探讨并不充分.先前研究应阿.另一个可能的解释是有意识训练能够促进整 者普遍认为跨通道信息整合以知觉组织为前提38,合过程本身,而不只是整合成分中的各个单感觉通 但在Ngo和 Spence2的视觉掩蔽实验中,即使视觉刺道加工.也就是说,刺激和任务情景的有意识暴露能 激不可见,不同感觉通道之间的相互作用仍然存在,够使视听数字的整合机制成为可能.只有当视听信 因此跨通道整合不能完全由知觉组织来解释,他们息的整合机制事先在有意识的情况下被激活,它们 认为有可能是听觉或触觉刺激作为时间标记有助于才能在随后无意识的情况下被自动激活.支持这个 视觉刺激的捕捉,也有可能是高频的刺激提髙了视解释的现象既有被试形成新的策略以及适应新的刺 觉刺激的显著性进而促进其加工;也有研究者进一激和任务需要意识的作用,还有多感觉信息整合非 DownloadedtoIp:159.226.113221On:2018-02-2114:15:29http:/engine.st o/10.1360N972015-00666
7 式[25,30,31,38,40,45,46] . 有少数研究者对无意识多感觉信 息整合的时间窗口问题进行了探究. Chen等人通过 操纵有意义的视觉刺激(如狗)和听觉刺激(如狗叫声) 之间的时间间隔(SOA=0, 333, 533 ms), 发现无意识 跨通道促进效应并不仅在视觉与听觉刺激同时呈现 的时候发生, 在听觉刺激延迟333 ms呈现的情况下, 仍然能够观察到听觉的促进效应, 但当听觉刺激延 迟533 ms呈现的情况下, 促进效应消失. 因此, 研究 者认为很有可能存在一个短时缓冲器, 能够短暂地 保持各个感觉通道刺激的表征以便于形成一个完整 的多感觉客体表征. Chen和Spence[26]通过操纵视觉掩蔽刺激与目标 刺激之间的时间间隔(interstimulus interval, ISI)来考 察无意识条件下视听整合的时间机制. 实验中掩蔽 刺激与目标刺激为不同的大写字母, 呈现时长均为 40 ms, 两者的时间间隔为0, 13, 27, 40, 80或133 ms. 其中有1/2试次在呈现视觉目标刺激的同时伴随听觉 刺激, 听觉刺激为纯音信号, 呈现时长为27 ms. 实 验包括2个部分, 被试需要在不同的部分分别完成字 母识别任务(letter identification task)和字母检测任务 (letter detection task). 在字母识别任务中, 被试需要 报告所看到的第一个字母(即被掩蔽的目标刺激), 该 任务用于考察听觉刺激促进视觉信息加工的时间进 程; 在字母检测任务中, 被试需要判断在1个试次中 看到的是1个还是2个字母, 该任务用于考察被试将 掩蔽刺激与目标刺激区分开来的最短时距. 结果发 现, 字母识别任务中, 声音促进效应仅出现在ISI为 27和40 ms的条件, 而字母检测任务中, 声音的促进 作用则发生在更短的ISI时间窗口(13 ms), 且在ISI大 于21~22 ms的情况下被试才能将目标刺激和掩蔽刺 激区分成2个字母. 5 无意识多感觉信息整合的机制解释 有关无意识多感觉信息整合的研究还更多地停 留在现象的阶段, 对机制的探讨并不充分. 先前研究 者普遍认为跨通道信息整合以知觉组织为前提[57,58], 但在Ngo和Spence[25]的视觉掩蔽实验中, 即使视觉刺 激不可见, 不同感觉通道之间的相互作用仍然存在, 因此跨通道整合不能完全由知觉组织来解释, 他们 认为有可能是听觉或触觉刺激作为时间标记有助于 视觉刺激的捕捉, 也有可能是高频的刺激提高了视 觉刺激的显著性进而促进其加工; 也有研究者进一 步指出这可能是由于视觉刺激与其他通道刺激(听觉 或触觉)之间的一致性导致的[45]. 前文所述的Chen和Spence[26]通过考察无意识多 感觉整合的时间界限问题对前人提出的3个关于跨通 道的促进效应的机制假说 , 即准备增强假说 (preparedness-enhancement hypothesis)、信号增强假 说(signal-enhancement hypothesis)以及客体增强假说 (object-enhancement hypothesis)进行了检验. 他们发 现的字母识别任务中的听觉促进效应只发生在有限 的时间窗口内(27和40 ms), 而在其他时间窗口(0, 13, 80和133 ms)则不存在促进效应, 该结果与准备增强 假说的预测不一致. 另外, 在ISI为0 ms的情况下没 有发现听觉增强效应, 这与信号增强假说不一致. 结 合字母识别任务和字母检测任务的结果可以发现 在字母识别任务中观察到的听觉促进效应所在的时 间窗口(27和40 ms)正好处于被试能够可靠地区分掩 蔽刺激和目标刺激为2个字母的时间窗口(21~22 ms) 之外, 这些结果表明在掩蔽范式下的听觉促进效 应与被试分离随后呈现的2个视觉刺激的能力有关. 也就是说, 声音的呈现很有可能增强了对同时呈 现的视觉刺激的表征, 从而降低该视觉刺激的表征 被掩蔽刺激所破坏的可能性. 这与客体增强假说 相符. 关于完全无意识多感觉整合, Faivre和Koch[45]假 设存在2个可能的互不排斥的机制能够解释他们所发 现的无意识多感觉信息整合中意识的促进效应. 其 中之一是视听配对在有意识条件下的有意识加工能 够分别促进听觉和视觉数字各自的加工而非两者的 整合. 在有意识的训练之后, 启动刺激中的听觉和视 觉数字的无意识加工得到增强, 随后便能够促进他 们的无意识整合. 在没有意识训练的情况下, 视觉和 听觉数字的无意识加工很微弱, 从而导致无意识整 合的失败. 与这个解释相符合的现象是多感觉体验 能够对随后的单感觉信息加工产生持久的促进效 应[60]. 另一个可能的解释是有意识训练能够促进整 合过程本身, 而不只是整合成分中的各个单感觉通 道加工. 也就是说, 刺激和任务情景的有意识暴露能 够使视听数字的整合机制成为可能. 只有当视听信 息的整合机制事先在有意识的情况下被激活, 它们 才能在随后无意识的情况下被自动激活. 支持这个 解释的现象既有被试形成新的策略以及适应新的刺 激和任务需要意识的作用, 还有多感觉信息整合非 Downloaded to IP: 159.226.113.221 On: 2018-02-21 14:15:29 http://engine.scichina.com/doi/10.1360/N972015-00666
姘答面扳2016年1月第61卷第1期 常容易受到情境因素的影响6162 提供新的启示,通常意识在整合中所起的作用以全 或无的方式描述, Faivre和Koch45比较了有意识和无 6总结与展望 意识多感觉整合的效应量,提出有意识训练能够促 4D甚至7D电影已经渐渐开始走进观众视野,因进无意识整合,揭示意识和整合的关系比之前假设 其愈加真实的代入感而为人称赞.实际上,人们每天的要更复杂一些 都接收着来自环境周遭的各种不同物理和化学信号 Faivre和Koch4的研究对整合和意识的关系问 输入,而我们大脑却可以将如此成千累万不同形式题具有振奋人心的贡献,他们通过同时掩蔽视觉和 的信息自动整合成为连续统一体.这种多感觉知觉听觉刺激的方法,为无意识多感觉信息整合研究提 体验的统一性在意识理论框架中提出了一个很重要供了一个崭新的方向.但是该研究方向还处于起步 的问题:多感觉信息整合能否在意识出现之前发生.阶段,其背后的精确机制目前还不清楚.未来可以从 有赖于以往人们对视觉系统研究的丰富成果和宝贵以下一些方面来继续思索和探究完全无意识多感觉 经验,尤其是在视觉无意识范式上的革新(如视觉掩信息整合 蔽范式、双眼竞争范式以及连续闪烁抑制范式等), (1)有意识训练对完全无意识多感觉信息整合 过去10年间,越来越多研究者以视觉无意识为突破的促进作用究竟是基于各个感觉通道的加工过程还 口,将这些范式扩展应用到了无意识多感觉整合的是基于整合过程本身,现有的研究结果还不能对这 研究中 问题做出解答,从而需要进一步的探索.例如,可 早期有关无意识多感觉信息整合的研究表明处以设计这样的实验,在有意识训练阶段采用奇数(如 于无意识水平(如视觉掩蔽、双眼竞争、连续闪烁抑1,3等,而在正式实验阶段采用偶数(如2,4等,如 制等)的视觉刺激的加工能够受到意识上的一致和不果在这样的情况下还能发现无意识多感觉信息整合 致的听觉、嗅觉、触觉等刺激所影响2.由于这些现象,则能支持促进整合过程的解释,而促进各个感 研究只掩蔽了视觉通道的信息,而另一感觉通道的觉通道加工过程的解释变得不太可能 信息则仍然处于意识上,这样并不能完全说明意识(2)现有的研究只采用了简单的视听数字和字 与多感觉信息整合的关系.最近有研究者提出需要母作为整合刺激,对于复杂刺激,如动物的图像和声 在两通道或多通道信息皆处于无意识状态的条件下音,是否可以在完全无意识的情况下得到整合尚不 来考察无意识多感觉信息整合的问题.同时,他们也清楚,倘若能发生整合,是否和简单刺激一样需要经 进行了这方面的尝试,通过利用反应启动范式观察过事先的有意识训练呢?对于在日常生活中人们经 到即使视觉和听觉信息都处于阈限水平下,两者也常接触到的更具生态意义的刺激如走路的光点小人 能得到一定程度的整合.这更进一步地验证了多( point-light walker)和脚步声,是否可以在没有经过 感觉信息整合能够在各通道信息处于无意识的状态有意识训练的条件下就能得到完全无意识整合呢? 下发生 今后的研究需要通过操控多通道刺激的复杂性、新异 这些无意识多感觉信息整合的研究结果挑战了性以及生态价值对上述问题进行探究,只有这样研 意识对整合来说是必需的观点,但这并不能完全支究者才能够提供关于意识在多感觉整合过程中的作 持意识在整合中没有作用这样的论断,它们仅暗示用的综合解释 有些整合过程能够在无意识的情况下发生.事实上 (3)这些在视觉和听觉两个通道得出的研究结 无意识多感觉信息整合的应用范围非常有限.有研果是否同样符合它们与其他感觉通道信息的整合呢 究者发现处于不可见状态的视觉唇部运动序列能够目前由于实验技术的限制,对于其他感觉通道(如触 与听觉刺激相整合,但是不会产生在意识状态时观觉、嗅觉等)的无意识加工方面的研究并不充分.有 察到的 McGurk效应,表明整合成新的知觉体验需要研究者提出了双鼻竞争的范式,能够使某一鼻孔 意识另外,完全无意识多感觉整合的研究发现有意的嗅觉信息短暂地处于被抑制的状态.未来研究应 识和无意识条件下的多感觉信息整合的效应量区别该着手增加嗅觉模态来探讨完全无意识的多感觉信 很大,并且无意识多感觉信息整合需要事先经过有息整合(视觉、听觉、嗅觉) 意识训练.该发现对于意识在多感觉整合中的作用 (4)多感觉信息在完全无意识的情况下整合的 DownloadedtoIp:159.226.113221On:2018-02-2114:15:29http:/engine.st o/10.1360N972015-00666
2016 年 1 月 第 61 卷 第 1 期 8 常容易受到情境因素的影响[61,62]. 6 总结与展望 4D甚至7D电影已经渐渐开始走进观众视野, 因 其愈加真实的代入感而为人称赞. 实际上, 人们每天 都接收着来自环境周遭的各种不同物理和化学信号 输入, 而我们大脑却可以将如此成千累万不同形式 的信息自动整合成为连续统一体. 这种多感觉知觉 体验的统一性在意识理论框架中提出了一个很重要 的问题: 多感觉信息整合能否在意识出现之前发生. 有赖于以往人们对视觉系统研究的丰富成果和宝贵 经验, 尤其是在视觉无意识范式上的革新(如视觉掩 蔽范式、双眼竞争范式以及连续闪烁抑制范式等), 过去10年间, 越来越多研究者以视觉无意识为突破 口, 将这些范式扩展应用到了无意识多感觉整合的 研究中. 早期有关无意识多感觉信息整合的研究表明处 于无意识水平(如视觉掩蔽、双眼竞争、连续闪烁抑 制等)的视觉刺激的加工能够受到意识上的一致和不 一致的听觉、嗅觉、触觉等刺激所影响[22]. 由于这些 研究只掩蔽了视觉通道的信息, 而另一感觉通道的 信息则仍然处于意识上, 这样并不能完全说明意识 与多感觉信息整合的关系. 最近有研究者提出需要 在两通道或多通道信息皆处于无意识状态的条件下 来考察无意识多感觉信息整合的问题. 同时, 他们也 进行了这方面的尝试, 通过利用反应启动范式观察 到即使视觉和听觉信息都处于阈限水平下, 两者也 能得到一定程度的整合[45]. 这更进一步地验证了多 感觉信息整合能够在各通道信息处于无意识的状态 下发生. 这些无意识多感觉信息整合的研究结果挑战了 意识对整合来说是必需的观点, 但这并不能完全支 持意识在整合中没有作用这样的论断, 它们仅暗示 有些整合过程能够在无意识的情况下发生. 事实上, 无意识多感觉信息整合的应用范围非常有限. 有研 究者发现处于不可见状态的视觉唇部运动序列能够 与听觉刺激相整合, 但是不会产生在意识状态时观 察到的McGurk效应, 表明整合成新的知觉体验需要 意识. 另外, 完全无意识多感觉整合的研究发现有意 识和无意识条件下的多感觉信息整合的效应量区别 很大, 并且无意识多感觉信息整合需要事先经过有 意识训练. 该发现对于意识在多感觉整合中的作用 提供新的启示, 通常意识在整合中所起的作用以全 或无的方式描述, Faivre和Koch[45]比较了有意识和无 意识多感觉整合的效应量, 提出有意识训练能够促 进无意识整合, 揭示意识和整合的关系比之前假设 的要更复杂一些. Faivre和Koch[45]的研究对整合和意识的关系问 题具有振奋人心的贡献, 他们通过同时掩蔽视觉和 听觉刺激的方法, 为无意识多感觉信息整合研究提 供了一个崭新的方向. 但是该研究方向还处于起步 阶段, 其背后的精确机制目前还不清楚. 未来可以从 以下一些方面来继续思索和探究完全无意识多感觉 信息整合: (1) 有意识训练对完全无意识多感觉信息整合 的促进作用究竟是基于各个感觉通道的加工过程还 是基于整合过程本身, 现有的研究结果还不能对这 一问题做出解答, 从而需要进一步的探索. 例如, 可 以设计这样的实验, 在有意识训练阶段采用奇数(如 1, 3等), 而在正式实验阶段采用偶数(如2, 4等), 如 果在这样的情况下还能发现无意识多感觉信息整合 现象, 则能支持促进整合过程的解释, 而促进各个感 觉通道加工过程的解释变得不太可能. (2) 现有的研究只采用了简单的视听数字和字 母作为整合刺激, 对于复杂刺激, 如动物的图像和声 音, 是否可以在完全无意识的情况下得到整合尚不 清楚, 倘若能发生整合, 是否和简单刺激一样需要经 过事先的有意识训练呢? 对于在日常生活中人们经 常接触到的更具生态意义的刺激如走路的光点小人 (point-light walker)和脚步声, 是否可以在没有经过 有意识训练的条件下就能得到完全无意识整合呢? 今后的研究需要通过操控多通道刺激的复杂性、新异 性以及生态价值对上述问题进行探究, 只有这样研 究者才能够提供关于意识在多感觉整合过程中的作 用的综合解释. (3) 这些在视觉和听觉两个通道得出的研究结 果是否同样符合它们与其他感觉通道信息的整合呢? 目前由于实验技术的限制, 对于其他感觉通道(如触 觉、嗅觉等)的无意识加工方面的研究并不充分. 有 研究者提出了双鼻竞争的范式[64], 能够使某一鼻孔 的嗅觉信息短暂地处于被抑制的状态. 未来研究应 该着手增加嗅觉模态来探讨完全无意识的多感觉信 息整合(视觉、听觉、嗅觉). (4) 多感觉信息在完全无意识的情况下整合的 Downloaded to IP: 159.226.113.221 On: 2018-02-21 14:15:29 http://engine.scichina.com/doi/10.1360/N972015-00666
神经机制又是怎样的呢?根据以往研究者的理论,式与脑功能成像技术相结合的方法进一步探究完全 存在2个可能的机制能够支持这种无意识多感觉整无意识多感觉信息整合的神经机制,从而有助于人 合.完全无意识多感觉整合可以通过不与整体工作们对意识与整合的关系有更为深入的了解 空间相连接的封闭神经元来完成,这种神经元存在 (5)基于现有研究发现,学者们基本肯定多感觉 于较低水平的大脑结构中,包括皮层下区域如上信息整合能够在各通道信息处于无意识的状态下发 丘4656.完全无意识多感觉整合也可以通过在刺激生,并且也有些研究试图进一步回答该过程中的时 呈现后很快发生的感觉皮层区域间的前馈连接间界限、加工水平以及机制解释等问题.对于这些问 (feed- -forward connections)来完成,这种快速的、早期题的解答可能与实验采用的不同刺激属性、任务设置 的整合自然能够在无意识的情况下发生阿.以往有以及通道属性等有关.未来的研究应通过操纵这些 关多感觉整合的行为研究和神经成像研究是2个相对因素对完全无意识条件的多感觉信息整合的时间界 独立的研究领域,未来的研究应采用心理物理学范限、加工水平以及机制解释等问题进行系统探索. 参考文献 I Gilbert A N, Martin R, Kemp S E Cross-modal correspondence between vision and olfaction: The color of smells. Am J Psychol, 1996. 109:335-351 2 Zmigrod S, Hommel B Temporal dynamics of unimodal and multimodal feature binding Atten Percept Psychophys, 2010, 72: 142-152 3 Vatakis A, Spence C. Crossmodal binding: Evaluating luating the"unity assumption"using audiovisual speech stimuli. Percept Psycho- phys,2007,69:744-756 4 Balduzzi D, Tononi G. Integrated information in discrete dynamical systems: motivation and theoretical framework. PLoS Comput Biol 2008,4:e1000091 5 Tononi G. Integrated information theory of consciousness: An updated account. Arch Ital Biol, 2012, 150: 56-90 6 Edelman G M, Tononi G. A Universe of Consciousness: How Matter becomes Imagination. New York: Basic Books, 2000 7 KimCY, Blake R Psychophysical magic: Rendering the visible"invisible " Trends Cogn Sci, 2005, 9: 381-388 8 Fahrenfort JJ, Lamme V A F A true science of consciousness explains phenomenology: Comment on Cohen and Dennett. Trends Cogn Sci,2012,16:138-139 9 Koch C. Consciousness: Confessions of a Romantic Reductionist. Cambridge: MIT Press. 2012 10 Treisman A Consciousness and Perceptual Binding. The Unity of Consciousness. Oxford: Oxford University Press, 2003. 95-113 11 James w. The Principles of Psychology. London: Macmillan, 2012 12 Kant 1. The Critique of Pure Reason. Cambridge: Cambridge University Press, 1998 3 Descartes R, Adam C, Tannery P Oeuvres de Descartes: Meditationes de Prima Philosophia. Paris: Librairie Philosophique, 1973 14 Dehaene S Consciousness and the Brain: Deciphering How the Brain Codes Our Thoughts. Old Saybrook: Tantor Media, 2014 15 Dehaene S, Changeux J P. Experimental and theoretical approaches to conscious processing. Neuron, 2011, 70: 200-227 16 Massimini M, Ferrarelli F, Huber R, et al. Breakdown of cortical effective connectivity during sleep. Science, 2005, 309: 2228-2232 17 Massimini M, Ferrarelli F, Murphy M, et al. Cortical reactivity and effective connectivity during REM sleep in humans. Cogn Neurosci 2010,1:176-183 18 Ferrarelli F, Massimini M, Sarasso S, et al. Breakdown in cortical effective connectivity during midazolam-induced loss of consciousness. Proc Natl Acad Sci USA 2010. 107: 2681-2686 19 Casali A G, Gosseries O, Rosanova M, et al. A theoretically based index of consciousness independent of sensory processing and behav r Sci Transl Med. 2013. 5: 198ra 105 20 Tononi G. Consciousness: Philosophy. In: Squire L R, ed. Encyclopedia of Neuroscience, Consciousness and Emotion. 4th Ed. Oxford: Academic Press. 2009. 12. 117-123 21 Oizumi M, Albantakis L, Tononi G. From the phenomenology to the mechanisms of consciousness: Integrated Information Theory 3.0 PLoS Comput Biol. 2014, 10: e 1003588 22 Deroy O, Chen Y C, Spence C Multisensory constraints on awareness. Philos Trans R Soc Lond B Biol Sci, 2014, 369: 20130207 23 Marcel A J Conscious and unconscious perception: Experiments on visual masking and word recognition. Cognit Psychol, 1983, 15 197-237 24 Breitmeyer B G. Visual masking: Past accomplishments, present status, future developments. Adv Cogn Psychol, 2008, 3: 9-20 DownloadedtoIp:159.226.113221On:2018-02-2114:15:29http:/engine.st o/10.1360N972015-00666
9 神经机制又是怎样的呢? 根据以往研究者的理论, 存在2个可能的机制能够支持这种无意识多感觉整 合. 完全无意识多感觉整合可以通过不与整体工作 空间相连接的封闭神经元来完成, 这种神经元存在 于较低水平的大脑结构中, 包括皮层下区域如上 丘[14,65,66]. 完全无意识多感觉整合也可以通过在刺激 呈现后很快发生的感觉皮层区域间的前馈连接 (feed-forward connections)来完成, 这种快速的、早期 的整合自然能够在无意识的情况下发生[67]. 以往有 关多感觉整合的行为研究和神经成像研究是2个相对 独立的研究领域, 未来的研究应采用心理物理学范 式与脑功能成像技术相结合的方法进一步探究完全 无意识多感觉信息整合的神经机制, 从而有助于人 们对意识与整合的关系有更为深入的了解. (5) 基于现有研究发现, 学者们基本肯定多感觉 信息整合能够在各通道信息处于无意识的状态下发 生, 并且也有些研究试图进一步回答该过程中的时 间界限、加工水平以及机制解释等问题. 对于这些问 题的解答可能与实验采用的不同刺激属性、任务设置 以及通道属性等有关. 未来的研究应通过操纵这些 因素对完全无意识条件的多感觉信息整合的时间界 限、加工水平以及机制解释等问题进行系统探索. 参考文献 1 Gilbert A N, Martin R, Kemp S E. Cross-modal correspondence between vision and olfaction: The color of smells. Am J Psychol, 1996, 109: 335–351 2 Zmigrod S, Hommel B. Temporal dynamics of unimodal and multimodal feature binding. Atten Percept Psychophys, 2010, 72: 142–152 3 Vatakis A, Spence C. Crossmodal binding: Evaluating luating the “unity assumption” using audiovisual speech stimuli. Percept Psychophys, 2007, 69: 744–756 4 Balduzzi D, Tononi G. Integrated information in discrete dynamical systems: motivation and theoretical framework. PLoS Comput Biol, 2008, 4: e1000091 5 Tononi G. Integrated information theory of consciousness: An updated account. Arch Ital Biol, 2012, 150: 56–90 6 Edelman G M, Tononi G. A Universe of Consciousness: How Matter becomes Imagination. New York: Basic Books, 2000 7 Kim C Y, Blake R. Psychophysical magic: Rendering the visible “invisible.” Trends Cogn Sci, 2005, 9: 381–388 8 Fahrenfort J J, Lamme V A F. A true science of consciousness explains phenomenology: Comment on Cohen and Dennett. Trends Cogn Sci, 2012, 16: 138–139 9 Koch C. Consciousness: Confessions of a Romantic Reductionist. Cambridge: MIT Press, 2012 10 Treisman A. Consciousness and Perceptual Binding. The Unity of Consciousness. Oxford: Oxford University Press, 2003. 95–113 11 James W. The Principles of Psychology. London: Macmillan, 2012 12 Kant I. The Critique of Pure Reason. Cambridge: Cambridge University Press, 1998 13 Descartes R, Adam C, Tannery P. Oeuvres de Descartes: Meditationes de Prima Philosophia. Paris: Librairie Philosophique, 1973 14 Dehaene S. Consciousness and the Brain: Deciphering How the Brain Codes Our Thoughts. Old Saybrook: Tantor Media, 2014 15 Dehaene S, Changeux J P. Experimental and theoretical approaches to conscious processing. Neuron, 2011, 70: 200–227 16 Massimini M, Ferrarelli F, Huber R, et al. Breakdown of cortical effective connectivity during sleep. Science, 2005, 309: 2228–2232 17 Massimini M, Ferrarelli F, Murphy M, et al. Cortical reactivity and effective connectivity during REM sleep in humans. Cogn Neurosci, 2010, 1: 176–183 18 Ferrarelli F, Massimini M, Sarasso S, et al. Breakdown in cortical effective connectivity during midazolam-induced loss of consciousness. Proc Natl Acad Sci USA, 2010, 107: 2681–2686 19 Casali A G, Gosseries O, Rosanova M, et al. A theoretically based index of consciousness independent of sensory processing and behavior. Sci Transl Med, 2013, 5: 198ra105 20 Tononi G. Consciousness: Philosophy. In: Squire L R, ed. Encyclopedia of Neuroscience, Consciousness and Emotion. 4th Ed. Oxford: Academic Press, 2009, 12. 117–123 21 Oizumi M, Albantakis L, Tononi G. From the phenomenology to the mechanisms of consciousness: Integrated Information Theory 3.0. PLoS Comput Biol, 2014, 10: e1003588 22 Deroy O, Chen Y C, Spence C. Multisensory constraints on awareness. Philos Trans R Soc Lond B Biol Sci, 2014, 369: 20130207 23 Marcel A J. Conscious and unconscious perception: Experiments on visual masking and word recognition. Cognit Psychol, 1983, 15: 197–237 24 Breitmeyer B G. Visual masking: Past accomplishments, present status, future developments. Adv Cogn Psychol, 2008, 3: 9–20 Downloaded to IP: 159.226.113.221 On: 2018-02-21 14:15:29 http://engine.scichina.com/doi/10.1360/N972015-00666
姘答面扳2016年1月第61卷第1期 25 Ngo M K, Spence C Crossmodal facilitation of masked visual target identification. Atten Percept Psychophys, 2010, 72: 1938-1947 26 Chen Y C, Spence C. The crossmodal facilitation of visual object representations by sound: Evidence from the backward masking para- digm. J Exp Psychol Hum Percept Perform, 2011, 37: 1784-1802 27 Chen Y C, Spence C. When hearing the bark helps to identify the dog: Semantically-congruent sounds modulate the identification masked pictures. Cognition, 2010, 114: 389-404 28 Blake R, Logothetis N K. Visual competition. Nat Rev Neurosci. 2002, 3: 13-21 29 Tong F, Nakayama K, Vaughan J T, et al. Binocular rivalry and visual awareness in human extrastriate cortex Neuron, 1998, 21: 753-759 30 Zhou w, Jiang Y, He S, et al. Olfaction modulates visual perception in binocular rivalry. Curr Biol, 2010, 20: 1356-1358 31 Chen Y C, Yeh S L, Spence C Crossmodal constraints on human perceptual awareness: Auditory semantic modulation of binocular ri- 32valry. front Psychol,2011.2:212 reitmeyer B G. Ro T, Ogmen conscious and unconscious visual processing. Conscious Cogn, 2004, 13: 829-843 33 Tsuchiya N, Koch C. Continuous flash suppression reduces negative afterimages. Nat Neurosci. 2005, 8: 1096-1101 34 Fang F, He S. Cortical responses to invisible objects in the human dorsal and ventral pathways. Nat Neurosci, 2005, 8: 1380-1385 35 Jiang Y, He S. Cortical responses to invisible faces: Dissociating subsystems for facial-information processing. Curr Biol, 2006, 16 2023-2029 6 Jiang Y, Costello P, Fang F, et al. A gender- and sexual orientation-dependent spatial attentional effect of invisible images. Proc Nat Acad Sci Usa.2006,103:17048-17052 37 Lupyan G, Ward E J. Language can boost otherwise unseen objects into visual awareness. Proc Natl Acad Sci USA, 2013, 110 14196-14201 38 Palmer T D. Ramsey A K. The function of consciousness in multisensory integration. Cognition, 2012, 125: 353-364 39 Jiang Y, Costello P, He S. Processing of invisible stimuli: Advantage of upright faces and recognizable words in overcoming interocular suppression. Psychol Sci, 2007, 18: 349-355 40 Alsius A, Munhall K G. Detection of audiovisual speech correspondences without visual awareness. Psychol Sci, 2013, 24: 423-43 41 Lunghi C, Binda P. Morrone M C. Touch disambiguates rivalrous perception at early stages of visual analysis. Curr Biol. 2010. 20: R143-R144 42 Salomon R, Lim M, Herbelin B, et al. Posing for awareness: Proprioception modulates access to visual consciousness in a continuous flash suppression task. J Vis, 2013, 13: 1. 3 Baars B J. The conscious access hypothesis: Origins and recent evidence. Trends Cogn Sci, 2002. 6: 47-52 44 Arzi A, Shedlesky L, Ben-Shaul M, et al. Humans can learn new information during sleep. Nat Neurosci, 2012, 15: 1460-1465 45 Faivre N, Koch C. Temporal structure coding with and without awareness. Cognition. 2014. 131: 404-414 46 Zhou w, Zhang X, Chen J, et al. Nostril-specific olfactory modulation of visual perception in binocular rivalry. J Neurosci, 2012, 32: 17225-17229 7 Meredith M A, Nemitz J w, Stein B E. Determinants of multisensory integration in superior colliculus neurons. L. Temporal factors. J Neurosci,1987,7:3215-3229 8 Stein B, Meredith A. The Merging of the Senses. Cambridge: MIT Press, 1993 49 Wallace M T, Stein B E. Early experience determines how the senses will interact. J Neurophysiol, 2007, 97: 921-926 50 Meredith M A, Stein B E Interactions among converging sensory inputs in the superior colliculus. Science, 1983, 221: 389-391 51 Stevenson R A, James T w. Audiovisual integration in human superior temporal sulcus: Inverse effectiveness and the neural processing of 52 Noel J P, Wallace M. Blake R. Cognitive neuroscience: Integration of sight and sound outside of awareness? Curr Biol, 2015, 25: R157-R159 53 van AtteveldtN M, Formisano E. Blomert L, et al. The effect of temporal asynchrony on the multisensory integration of letters and speech sounds. Cereb Cortex, 2007, 17: 962-974 multisensory interactions during audiovisual speech perceptio netoencephalographic study Neurosci Lett, 2004, 363: 112-115 55 Nozaradan S. Peretz l, Mouraux A Steady-state evoked potentials as an index of multisensory temporal binding. Neurolmage, 2012, 60 21 56 Sarko D K, Nidiffer A R, Powers Ill A R, et al. Spatial and Temporal Features of Multisensory Processes: Bridging Animal and Human tudies. The Neural Bases of Multisensory Processes. Boca Raton(FL): CRC Press, 201 57 O'Leary A, Rhodes G Cross-modal effects on visual and auditory object perception. Percept Psychophys, 1984, 35: 565-569 DownloadedtoIp:159.226.113221On:2018-02-2114:15:29http:/engine.st o/10.1360N972015-00666
2016 年 1 月 第 61 卷 第 1 期 10 25 Ngo M K, Spence C. Crossmodal facilitation of masked visual target identification. Atten Percept Psychophys, 2010, 72: 1938–1947 26 Chen Y C, Spence C. The crossmodal facilitation of visual object representations by sound: Evidence from the backward masking paradigm. J Exp Psychol Hum Percept Perform, 2011, 37: 1784–1802 27 Chen Y C, Spence C. When hearing the bark helps to identify the dog: Semantically-congruent sounds modulate the identification of masked pictures. Cognition, 2010, 114: 389–404 28 Blake R, Logothetis N K. Visual competition. Nat Rev Neurosci, 2002, 3: 13–21 29 Tong F, Nakayama K, Vaughan J T, et al. Binocular rivalry and visual awareness in human extrastriate cortex. Neuron, 1998, 21: 753–759 30 Zhou W, Jiang Y, He S, et al. Olfaction modulates visual perception in binocular rivalry. Curr Biol, 2010, 20: 1356–1358 31 Chen Y C, Yeh S L, Spence C. Crossmodal constraints on human perceptual awareness: Auditory semantic modulation of binocular rivalry. Front Psychol, 2011, 2: 212 32 Breitmeyer B G, Ro T, Ogmen H. A comparison of masking by visual and transcranial magnetic stimulation: Implications for the study of conscious and unconscious visual processing. Conscious Cogn, 2004, 13: 829–843 33 Tsuchiya N, Koch C. Continuous flash suppression reduces negative afterimages. Nat Neurosci, 2005, 8: 1096–1101 34 Fang F, He S. Cortical responses to invisible objects in the human dorsal and ventral pathways. Nat Neurosci, 2005, 8: 1380–1385 35 Jiang Y, He S. Cortical responses to invisible faces: Dissociating subsystems for facial-information processing. Curr Biol, 2006, 16: 2023–2029 36 Jiang Y, Costello P, Fang F, et al. A gender- and sexual orientation-dependent spatial attentional effect of invisible images. Proc Natl Acad Sci USA, 2006, 103: 17048–17052 37 Lupyan G, Ward E J. Language can boost otherwise unseen objects into visual awareness. Proc Natl Acad Sci USA, 2013, 110: 14196–14201 38 Palmer T D, Ramsey A K. The function of consciousness in multisensory integration. Cognition, 2012, 125: 353–364 39 Jiang Y, Costello P, He S. Processing of invisible stimuli: Advantage of upright faces and recognizable words in overcoming interocular suppression. Psychol Sci, 2007, 18: 349–355 40 Alsius A, Munhall K G. Detection of audiovisual speech correspondences without visual awareness. Psychol Sci, 2013, 24: 423–431 41 Lunghi C, Binda P, Morrone M C. Touch disambiguates rivalrous perception at early stages of visual analysis. Curr Biol, 2010, 20: R143–R144 42 Salomon R, Lim M, Herbelin B, et al. Posing for awareness: Proprioception modulates access to visual consciousness in a continuous flash suppression task. J Vis, 2013, 13: 1–8 43 Baars B J. The conscious access hypothesis: Origins and recent evidence. Trends Cogn Sci, 2002, 6: 47–52 44 Arzi A, Shedlesky L, Ben-Shaul M, et al. Humans can learn new information during sleep. Nat Neurosci, 2012, 15: 1460–1465 45 Faivre N, Koch C. Temporal structure coding with and without awareness. Cognition, 2014, 131: 404–414 46 Zhou W, Zhang X, Chen J, et al. Nostril-specific olfactory modulation of visual perception in binocular rivalry. J Neurosci, 2012, 32: 17225–17229 47 Meredith M A, Nemitz J W, Stein B E. Determinants of multisensory integration in superior colliculus neurons. I. Temporal factors. J Neurosci, 1987, 7: 3215–3229 48 Stein B, Meredith A. The Merging of the Senses. Cambridge: MIT Press, 1993 49 Wallace M T, Stein B E. Early experience determines how the senses will interact. J Neurophysiol, 2007, 97: 921–926 50 Meredith M A, Stein B E. Interactions among converging sensory inputs in the superior colliculus. Science, 1983, 221: 389–391 51 Stevenson R A, James T W. Audiovisual integration in human superior temporal sulcus: Inverse effectiveness and the neural processing of speech and object recognition. NeuroImage, 2009, 44: 1210–1223 52 Noel J P, Wallace M, Blake R. Cognitive neuroscience: Integration of sight and sound outside of awareness? Curr Biol, 2015, 25: R157–R159 53 van Atteveldt N M, Formisano E, Blomert L, et al. The effect of temporal asynchrony on the multisensory integration of letters and speech sounds. Cereb Cortex, 2007, 17: 962–974 54 Möttönen R, Schürmann M, Sams M. Time course of multisensory interactions during audiovisual speech perception in humans: A magnetoencephalographic study. Neurosci Lett, 2004, 363: 112–115 55 Nozaradan S, Peretz I, Mouraux A. Steady-state evoked potentials as an index of multisensory temporal binding. NeuroImage, 2012, 60: 21–28 56 Sarko D K, Nidiffer A R, Powers III A R, et al. Spatial and Temporal Features of Multisensory Processes: Bridging Animal and Human Studies. The Neural Bases of Multisensory Processes. Boca Raton (FL): CRC Press, 2012 57 O’Leary A, Rhodes G. Cross-modal effects on visual and auditory object perception. Percept Psychophys, 1984, 35: 565–569 Downloaded to IP: 159.226.113.221 On: 2018-02-21 14:15:29 http://engine.scichina.com/doi/10.1360/N972015-00666
58 Vroomen J, de Gelder B Sound enhances visual perception: Cross-modal effects of auditory organization on vision. J Exp Psychol Hum Percept Perform, 2000, 26: 1583-1590 59 Ngo M K, Spence C Crossmodal facilitation of masked visual target identification. Atten Percept Psychophys, 2010, 72: 1938-1947 60 Thelen A, Murray MM. The efficacy of single-trial multisensory memories. Multisens Res, 2013, 26: 483-502 61 Dehaene S, Naccache L. Towards a cognitive neuroscience of consciousness: Basic evidence and a workspace framework. Cognition 2001,79:1-37 62 van Atteveldt N, Murray MM, Thut G, et al. Multisensory integration: Flexible use of general operations. Neuron, 2014, 81: 1240-1253 63 Faivre N, Mudrik L, Schwartz N, et al. Multisensory integration in complete unawareness: Evidence from audiovisual congruency prim- ing. Psychol Sci, 2014, 25: 2006-2016 Zhou w, Chen D. Binaral rivalry between the nostrils and in the cortex. Curr Biol. 2009, 19: 1561-1565 Stein B E, Stanford T R. Multisensory integration: Current issues from the perspective of the single neuron. Nat Rev Neurosci. 2008. 9 255-266 66 Meredith M A, Stein B E. Visual, auditory, and somatosensory convergence on cells in superior colliculus results in multisensory integra- tion. J Neurophysiol, 1986, 56: 640-662 67 Schroeder C E, Foxe J Multisensory contributions to low-level, ""unisensory"processing. Curr Opin Neurobiol, 2005. 15: 45 54-458 Recent progress in the study of consciousness and multisensory ntegration LIU Ruil. WaNG Li JIANg Yil State Key Laboratory of Brain and Cognitive Science, CAS Center for Excellence in Brain Science and Intelligence Technology, Institute of Psychology, Chinese Academy of Sciences, Beijing 100101, China; University of Chinese Academy of Sciences, Beijing 100049, China Consciousness has long been proposed to be necessary for multisensory integration. In recent years, however, some researchers have found that multisensory integration can occur even when the information from the visual modality are rendered unconscious (e.g under visual masking, binocular rivalry or continuous flash suppression). Furthermore, a more recent study demonstrates that two subliminal stimuli of different modalities (i.e, vision and audition) can nevertheless be integrated in complete unawareness, providing more compelling evidence for unconscious multisensory integration. Although these studies challenge previous claims that multisensory integration requires consciousness, the notion that consciousness has no functional role in multisensory integration may not be supported. Here we review recent work on unconscious multisensory integration (including its processing level, tempor window and underlying mechanism) and point to future research directions, offering a new understanding of the relationship between consciousness and multisensory integration. multisensory integration, consciousness, unconsciousness, cross-modal information processing, vision doi:10.1360N972015-00606 王莉 博士中囯科学院心理研究所副研究员,硕士生导师,入选2014年中国科 学院青年创新促进会.从事生物运动信息知觉、无意识信息知觉以及跨通道 信息整合与交互作用等方面的研究,相关研究成果发表在 Proc Natl acad sci USA, Neurosci, Neuroimage, Psychol sci等学术期刊 DownloadedtoIp:159.226.113221On:2018-02-2114:15:29http:/engine.st o/10.1360N972015-00666
11 58 Vroomen J, de Gelder B. Sound enhances visual perception: Cross-modal effects of auditory organization on vision. J Exp Psychol Hum Percept Perform, 2000, 26: 1583–1590 59 Ngo M K, Spence C. Crossmodal facilitation of masked visual target identification. Atten Percept Psychophys, 2010, 72: 1938–1947 60 Thelen A, Murray M M. The efficacy of single-trial multisensory memories. Multisens Res, 2013, 26: 483–502 61 Dehaene S, Naccache L. Towards a cognitive neuroscience of consciousness: Basic evidence and a workspace framework. Cognition, 2001, 79: 1–37 62 van Atteveldt N, Murray M M, Thut G, et al. Multisensory integration: Flexible use of general operations. Neuron, 2014, 81: 1240–1253 63 Faivre N, Mudrik L, Schwartz N, et al. Multisensory integration in complete unawareness: Evidence from audiovisual congruency priming. Psychol Sci, 2014, 25: 2006–2016 64 Zhou W, Chen D. Binaral rivalry between the nostrils and in the cortex. Curr Biol, 2009, 19: 1561–1565 65 Stein B E, Stanford T R. Multisensory integration: Current issues from the perspective of the single neuron. Nat Rev Neurosci, 2008, 9: 255–266 66 Meredith M A, Stein B E. Visual, auditory, and somatosensory convergence on cells in superior colliculus results in multisensory integration. J Neurophysiol, 1986, 56: 640–662 67 Schroeder C E, Foxe J. Multisensory contributions to low-level, “unisensory” processing. Curr Opin Neurobiol, 2005, 15: 454–458 Recent progress in the study of consciousness and multisensory integration LIU Rui1,2, WANG Li1 & JIANG Yi1 1 State Key Laboratory of Brain and Cognitive Science, CAS Center for Excellence in Brain Science and Intelligence Technology, Institute of Psychology, Chinese Academy of Sciences, Beijing 100101, China; 2 University of Chinese Academy of Sciences, Beijing 100049, China Consciousness has long been proposed to be necessary for multisensory integration. In recent years, however, some researchers have found that multisensory integration can occur even when the information from the visual modality are rendered unconscious (e.g., under visual masking, binocular rivalry or continuous flash suppression). Furthermore, a more recent study demonstrates that two subliminal stimuli of different modalities (i.e., vision and audition) can nevertheless be integrated in complete unawareness, providing more compelling evidence for unconscious multisensory integration. Although these studies challenge previous claims that multisensory integration requires consciousness, the notion that consciousness has no functional role in multisensory integration may not be supported. Here we review recent work on unconscious multisensory integration (including its processing level, temporal window and underlying mechanism) and point to future research directions, offering a new understanding of the relationship between consciousness and multisensory integration. multisensory integration, consciousness, unconsciousness, cross-modal information processing, vision doi: 10.1360/N972015-00666 王莉 博士 中国科学院心理研究所副研究员, 硕士生导师, 入选 2014 年中国科 学院青年创新促进会. 从事生物运动信息知觉、无意识信息知觉以及跨通道 信息整合与交互作用等方面的研究, 相关研究成果发表在 Proc Natl Acad Sci USA, Neurosci, NeuroImage, Psychol Sci 等学术期刊. Downloaded to IP: 159.226.113.221 On: 2018-02-21 14:15:29 http://engine.scichina.com/doi/10.1360/N972015-00666