李家宁等:神经形态视觉传感器的研究进展及应用综述 此外,依据 Nyquist采样定理传统相机需要传间先后顺序异步传出,而不是类似传统相机那样以 输超过20Gb/s的数据才能匹配人类视觉的动态范固定频率的图像传出,解码电路依据地址及时间解 围与空间分辨率,而生物视觉以二进制脉冲信息表析事件属性.AER方式用于神经形态视觉传感器的 示与编码,视觉神经仅需传输20Mb/s数据至视觉主要特点在于: 皮层,数据量少将近1000倍.因此,视网膜通过 (1)硅视网膜像素输出事件模拟视网膜的神 神经节细胞将光强信息转换为时空脉冲阵列信号,经元发放脉冲信号的功能; 是一种高效的视觉信息表示与编码的方法狗,为 2)硅视网膜像素之间光强感知、脉冲产生 神经形态视觉传感器提供了理论支撑与功能层次及传输均异步; 的启发 (3)硅视网膜输出异步事件稀疏时,事件表 生物视觉系统的信息获取、加工和处理主要发示及传输更高效 生在视网膜、外膝体与视皮层等处門,如图2所 差分型视觉采样是神经形态视觉传感器感知 示,视网膜是接收视觉信息的第一站;外膝体是将模型的主流,如DVs、AIIS2、DAVs21-2 视网膜视觉信号传输到初级视皮层的信息中转站;CeeX2,其对灵长类视网膜外周中光感受器、双 视皮层是视觉中央处理器,在学习记忆、思维语言极细胞、神经节细胞三层结构的抽象,从器件功能 以及知觉意识等高级视觉功能方面发挥至关重要层次上逼近或超越视网膜外周的高时间分辨率感 的重要.视皮层信息处理的整个过程由两条并行知的能力,如图5(a).为了提高光强感知动态范 通路完成:Vl、V2和4等组成腹侧通路主要处理围,DⅤS系列视觉传感器多采用对数差分模型,即 物体形状、颜色等信息识别,也称what通路;光电流与电压采用对数映射关系,如图5(b).随着 V1、V2和MT等组成的背侧通路主要处理空间位光强的相对变化引起电压变化超过设定阈值θ,像 置、运动等信息,也称 where通路.因此,借鉴素产生一个脉冲信号,如图5(c)所示,其原理如 神经计算模型探索人类视觉系统信息处理与分析下: 机制,为计算机视觉与人工智能技术提供借鉴思路 AL=InL(u, tInL(u, t-4t=p0 (1) 与指导方向,进一步启发类脑视觉理论模型与计算 差分型视觉传感器采用AER方式,每个脉冲 方法,从而更好的挖掘视觉特征信息,以逼近生物信号采用事件形式表示,包括像素位置u=(x,y)、 视觉的高效自适应地处理动静信息、极强的小样本发放时间t和事件极性p,即一个四元组表示 泛化能力与全面视觉分析能力 (x,y,L,p).前三项唯一确定时空域的位置,最后 22差分型视觉采样及AER传输协议 项极性p={-1,l}分别表示光强的减弱OFF和光强 神经元之间的复杂连接,脉冲信号在神经元之增强ON.差分型神经形态视觉传感器与传统相机 间的传递是异步的,那么神经形态工程系统如何模相比,其优势在于: 拟这一特性呢?正是 Mahowald团队提出新型的 (1)输出异步稀疏脉冲也不存在“帧”的概 通信协议AER方式,如图4所示,用于脉冲信号念,不再受限于快门时间和帧率,感知光强的变化, 多路异步传输,也解决了大规模集成电路的三维稠可消除静态不变的视觉冗余 密连线难题,即“连线问题”( Wiring problem) (2)采样具有高时间分辨率,适用于高速运 动视觉任务分析 像素脉冲事件 脉冲事件 (3)光电流与电压的对数映射关系,增强了 高低光照的感知能力进而提升动态范围。 (1,2) 2.3积分型视觉采样 (2,2)(1.1)(21)(1,2 (2,1) 积分型视觉采样在功能上对灵长类视网膜中 央凹区域的光感受器、双极细胞、神经节细胞三层 结构的抽象,如章鱼视网膜、vdar24.积分型 图4AER方式示意图 视觉传感器模拟了神经元积分发放模型,将像素光 强编码为频率或脉冲间隔182·34,具有对视觉场 AER方式将传感器上每个像素视为独立,脉冲景的精细纹理高速重构的能力网,如图6所示.光 信号以事件( Event)的形式传输,并按事件产生时感受器将光信号转化为电信号,积分器在光照条件李家宁等：神经形态视觉传感器的研究进展及应用综述 5 此外，依据 Nyquist 采样定理传统相机需要传 输超过 20Gb/s 的数据才能匹配人类视觉的动态范 围与空间分辨率，而生物视觉以二进制脉冲信息表 示与编码，视觉神经仅需传输 20Mb/s 数据至视觉 皮层，数据量少将近 1000 倍．因此，视网膜通过 神经节细胞将光强信息转换为时空脉冲阵列信号， 是一种高效的视觉信息表示与编码的方法[11, 36]，为 神经形态视觉传感器提供了理论支撑与功能层次 的启发． 生物视觉系统的信息获取、加工和处理主要发 生在视网膜、外膝体与视皮层等处[9]，如图 2 所 示．视网膜是接收视觉信息的第一站；外膝体是将 视网膜视觉信号传输到初级视皮层的信息中转站； 视皮层是视觉中央处理器，在学习记忆、思维语言 以及知觉意识等高级视觉功能方面发挥至关重要 的重要[37]．视皮层信息处理的整个过程由两条并行 通路完成：V1、V2 和 V4 等组成腹侧通路主要处理 物体形状、颜色等信息识别[38]，也称 what 通路； V1、V2 和 MT 等组成的背侧通路主要处理空间位 置、运动等信息[39]，也称 where 通路．因此，借鉴 神经计算模型探索人类视觉系统信息处理与分析 机制，为计算机视觉与人工智能技术提供借鉴思路 与指导方向，进一步启发类脑视觉理论模型与计算 方法，从而更好的挖掘视觉特征信息，以逼近生物 视觉的高效自适应地处理动静信息、极强的小样本 泛化能力与全面视觉分析能力． 2.2 差分型视觉采样及AER传输协议 神经元之间的复杂连接，脉冲信号在神经元之 间的传递是异步的，那么神经形态工程系统如何模 拟这一特性呢？正是 Mahowald 团队[17]提出新型的 通信协议 AER 方式，如图 4 所示，用于脉冲信号 多路异步传输，也解决了大规模集成电路的三维稠 密连线难题，即“连线问题”（Wiring Problem）． 图 4 AER 方式示意图 AER 方式将传感器上每个像素视为独立，脉冲 信号以事件（Event）的形式传输，并按事件产生时 间先后顺序异步传出，而不是类似传统相机那样以 固定频率的图像传出，解码电路依据地址及时间解 析事件属性．AER 方式用于神经形态视觉传感器的 主要特点[40]在于： （1）硅视网膜像素输出事件模拟视网膜的神 经元发放脉冲信号的功能； （2）硅视网膜像素之间光强感知、脉冲产生 及传输均异步； （3）硅视网膜输出异步事件稀疏时，事件表 示及传输更高效． 差分型视觉采样是神经形态视觉传感器感知 模型的主流，如 DVS[19]、ATIS[20]、DAVIS[21-22]、 CeleX[23]，其对灵长类视网膜外周中光感受器、双 极细胞、神经节细胞三层结构的抽象，从器件功能 层次上逼近或超越视网膜外周的高时间分辨率感 知的能力，如图 5（a）．为了提高光强感知动态范 围，DVS 系列视觉传感器多采用对数差分模型，即 光电流与电压采用对数映射关系,如图 5（b）．随着 光强的相对变化引起电压变化超过设定阈值  ，像 素产生一个脉冲信号，如图 5（c）所示，其原理如 下： 𝛥𝐿≐ln𝐿(𝑢,𝑡)−ln𝐿(𝑢,𝑡−𝛥𝑡)=𝑝𝜃 （1） 差分型视觉传感器采用 AER 方式，每个脉冲 信号采用事件形式表示，包括像素位置 u x y  ( , ) 、 发放时间 t 和事件极性 p ，即一个四元组表示 ( , , , ) x y t p ．前三项唯一确定时空域的位置，最后一 项极性 p  { 1,1} 分别表示光强的减弱 OFF 和光强 增强 ON．差分型神经形态视觉传感器与传统相机 相比，其优势在于： （1）输出异步稀疏脉冲也不存在“帧”的概 念，不再受限于快门时间和帧率，感知光强的变化， 可消除静态不变的视觉冗余； （2）采样具有高时间分辨率，适用于高速运 动视觉任务分析； （3）光电流与电压的对数映射关系，增强了 高低光照的感知能力进而提升动态范围。 2.3 积分型视觉采样 积分型视觉采样在功能上对灵长类视网膜中 央凹区域的光感受器、双极细胞、神经节细胞三层 结构的抽象，如章鱼视网膜[18]、Vidar[24]．积分型 视觉传感器模拟了神经元积分发放模型，将像素光 强编码为频率或脉冲间隔[18, 24, 38-45]，具有对视觉场 景的精细纹理高速重构的能力[44]，如图 6 所示．光 感受器将光信号转化为电信号，积分器在光照条件