李家宁等:神经形态视觉传感器的研究进展及应用综述 Mcculloch和Pits Mead提出神经形态 Mahowald队 Delbruck团队| Delbruck团队 Delbruck团队 提出神经元模型 ( Neuromorphic)概念提出AER方式研制首款DvS提出DAS发彩色DMVs346 1952 2016 1990 Hodgkin Mahowald和Mead研 Culureiello等人 Posh等人陈守顺教授团队黄铁军教授团队 建立动力 制第一款硅视网膜设计章鱼网膜 研制ATS 研制Ceex 开发vda 描述神 图1神经形态视觉传感器的发展历程,蓝色框为里程碑事件 元动作电位的产生与传递过程,该动作电位称为脉器( Dynamic and Active Pixel Vision Sensor 冲( Spike).1986年加州理工学院的博士研究生 DAVIS),即一种双模的技术路线,增加额外独立的 Mahowald所想:“大脑是想象力的发源地,这让我传统图像采样电路弥补DⅤS纹理成像的缺陷,随 很兴奋,我希望可以创造一个想象事物的芯片”,后在2017年又将其扩展为彩色 DAVIS34621.2016 那时与导师 Carver Mead教授开始萌发从生物神经年陈守顺教授团队采用了增加事件的位宽,让事 科学和工程学角度研究立体视觉的问题.1990年件携带像素光强信息输出以恢复场景纹理.2018年 Mead首次在《 Proceedings of ieee》上提出神经形黄铁军教授团队叫采用了章鱼视网膜8的光强积 态( Neuromorphic)的概念,利用大规模集成电分发放采样原理,将脉冲平面传输替换AER方式 路来模拟生物神经系统.199Ⅰ年 Mahowald和以节约传输带宽,验证了积分型采样原理可高速重 Mead在《 Scientific American》的封面刊登了一只构场景纹理细节,即仿视网膜中央凹采样模型 运动的猫,标志了第一款硅视网膜的诞生,其模拟( Fovea- like Sampling Model,FSM),也称 Vidar, 了视网膜上视锥细胞、水平细胞以及双极细胞的生如图1所示.神经形态视觉传感器92模拟生物视 物功能,正式点燃了神经形态视觉传感器这一新兴觉感知系统,其具有高的时域分辨率、数据冗余少 领域.1993年 Mahowald团队为了解决集成电路低功耗和高动态范围的优势,在自动驾驶p2、无 的稠密三维连线的问题,提出了一种新型的集成电人机视觉导航128、工业检测及视频监控等机 路通信协议,即地址事件协议( Address- Event器视觉领域,尤其在涉及高速运动和极端光照场景 Representation,AER),实现了事件的异步读下有着巨大的市场潜力.此外,神经形态视觉釆样、 出.2003年 Culurciello等人1设计了一种AER方处理及应用是神经形态工程的重要分支,为计算 式的积分发放的脉冲模型,将像素光强编码为频率神经科学的脑启发视觉模型提供了验证,也是探 或脉冲间隔,称为章鱼视网膜( Octopus索人类智能的有效途径之一.目前神经形态视觉传 Retina).2005年 Delbruck团队9研制出动态视觉感器的研究与应用尚处于初期阶段,达到或超越人 传感器( Dynamic Vision Sensor,DVS),以时空异类视觉系统在复杂交互环境下的感知能力还需要 步稀疏的事件( Event)表示像素光强变化,其商业大量的探索研究. 化具有里程牌的意义.然而,DVS无法捕捉自然场 本文从神经形态视觉的发展历程、生物视觉神 景的精细纹理图像.2008年Posh等人提出了一经采样模型到神经形态视觉传感器的采样机理及 种基于异步视觉的图像传感器( Asynchronous类型、神经视觉信号处理与特征表达及视觉应用的 Time-based Image Sensor,ATS),引入了基于事件触视角进行系统性回顾与综述,并展望了该领域未来 发的光强测量电路来重构变化处的像素灰度.2013研究的重大挑战与可能发展方向,同时探讨了其对 年 Delbruck团队2开发了动态有源像素视觉传感未来机器视觉和人工智能领域的潜在影响李家宁等：神经形态视觉传感器的研究进展及应用综述 3 图 1 神经形态视觉传感器的发展历程，蓝色框为里程碑事件 元动作电位的产生与传递过程，该动作电位称为脉 冲（Spike）．1986 年加州理工学院的博士研究生 Mahowald 所想：“大脑是想象力的发源地，这让我 很兴奋，我希望可以创造一个想象事物的芯片”， 那时与导师 Carver Mead 教授开始萌发从生物神经 科学和工程学角度研究立体视觉的问题．1990 年 Mead 首次在《Proceedings of IEEE》上提出神经形 态（Neuromorphic）的概念[16]，利用大规模集成电 路来模拟生物神经系统．1991 年 Mahowald 和 Mead[13]在《Scientific American》的封面刊登了一只 运动的猫，标志了第一款硅视网膜的诞生，其模拟 了视网膜上视锥细胞、水平细胞以及双极细胞的生 物功能，正式点燃了神经形态视觉传感器这一新兴 领域．1993 年 Mahowald[17]团队为了解决集成电路 的稠密三维连线的问题，提出了一种新型的集成电 路通信协议，即地址事件协议（Address-Event Representation, AER ）， 实 现 了 事 件 的 异 步 读 出．2003 年 Culurciello 等人[18]设计了一种 AER 方 式的积分发放的脉冲模型,将像素光强编码为频率 或 脉 冲 间 隔 , 称 为 章 鱼 视 网 膜 （ Octopus Retina）．2005 年 Delbruck 团队[19]研制出动态视觉 传感器（Dynamic Vision Sensor, DVS），以时空异 步稀疏的事件（Event）表示像素光强变化，其商业 化具有里程牌的意义．然而，DVS 无法捕捉自然场 景的精细纹理图像．2008 年 Posh 等人[20]提出了一 种基于异步视觉的图像传感器（Asynchronous Time-based Image Sensor, ATIS），引入了基于事件触 发的光强测量电路来重构变化处的像素灰度．2013 年 Delbruck 团队[21]开发了动态有源像素视觉传感 器 （ Dynamic and Active Pixel Vision Sensor, DAVIS），即一种双模的技术路线，增加额外独立的 传统图像采样电路弥补 DVS 纹理成像的缺陷，随 后在 2017 年又将其扩展为彩色 DAVIS346[22]．2016 年陈守顺教授团队[23]采用了增加事件的位宽，让事 件携带像素光强信息输出以恢复场景纹理．2018 年 黄铁军教授团队[24]采用了章鱼视网膜[18]的光强积 分发放采样原理，将脉冲平面传输替换 AER 方式 以节约传输带宽，验证了积分型采样原理可高速重 构场景纹理细节，即仿视网膜中央凹采样模型 （Fovea-like Sampling Model, FSM），也称 Vidar， 如图 1 所示．神经形态视觉传感器[19-23]模拟生物视 觉感知系统，其具有高的时域分辨率、数据冗余少、 低功耗和高动态范围的优势，在自动驾驶[25-26]、无 人机视觉导航[27-28]、工业检测[29]及视频监控[30]等机 器视觉领域，尤其在涉及高速运动和极端光照场景 下有着巨大的市场潜力．此外，神经形态视觉采样、 处理及应用是神经形态工程的重要分支[31] ,为计算 神经科学的脑启发视觉模型提供了验证[32]，也是探 索人类智能的有效途径之一．目前神经形态视觉传 感器的研究与应用尚处于初期阶段，达到或超越人 类视觉系统在复杂交互环境下的感知能力还需要 大量的探索研究． 本文从神经形态视觉的发展历程、生物视觉神 经采样模型到神经形态视觉传感器的采样机理及 类型、神经视觉信号处理与特征表达及视觉应用的 视角进行系统性回顾与综述，并展望了该领域未来 研究的重大挑战与可能发展方向，同时探讨了其对 未来机器视觉和人工智能领域的潜在影响．