李家宁等:神经形态视觉传感器的研究进展及应用综述 如图5所示.光电转换电路采用对数光强感知模型,的劣势,即ON或OFF事件不携带绝对光强信号, 提高了光强感知范围,也更加接近生物视网膜的高且光强变化较弱时无脉冲信号发放,从而无法重构 动态适应的能力.动态检测电路采用差分型采样模精细化纹理图像.为了解决DVS面向视觉纹理可 型,即对光强变化做出响应,无光强变化则不响视化,便衍生出ATIS2、 DAVIS212)和 CeleX231 应.比较器依据光强的增加或减弱输出ON或OFF等神经形态视觉传感器 事件 3.2 ATIS ATS在DVS的基础上巧妙地引入了基于时 动模糊 间间隔的光强测量电路来实现图像重构,其思路是 每次DVS电路产生事件时,触发光强测量电路进 传统相机 行工作;光强测量设定了两个不同的参考电压,通 过对光强进行积分,并记录达到两个电压发放的事 件;由于不同光强的条件下,电压变化相同量所需 的时间不同,通过建立光强与时间的映射可以推断 时空脉冲信号 出光强大小,从而输出光强变化像素处的光强信 息,也称为脉冲宽度调制( Pulse width modulation, DVS PWM).此外,为了解决静态区域没有DVS脉 冲信号发放依然无法获得静态区域的视觉纹理信 息,AS引入了一套全局发放机制,即所有像素可 图 被强制发放一次脉冲,这样在ATIS初始工作时可 7DS时空脉冲信号示意图 获得一整幅图像作为背景,然后运动区域不断产生 织专统相机以固定帧率的采样方式,在高速场景陈冲进而不断的触发光强测量电路获得运动区域 生运动模糊而DVS采用AER异步传输方式的灰度来更新背景 的差分型视觉采样模型,以异步时空脉冲信号表示 Posch团队和 Prophesee公司研制的商用 场景光强变化,对场景的变化十分敏感且高时间分 AIS,其空间分辨率为304×240,时域采样频率 辨率,尤其适用于高速运动的视觉任务分析,如图 为10Hz,动态范围为143dB,在涉及高速视觉任 所示,DVS相比传统相机具有以下优势:高时间务存在着广泛应用.另外, Prophessee公司也受到 分辨率(10Hz)、高动态范围(120dB)、低功耗、 了 Intel公司1500万美金的项目资助,将ATIS应 用于自动驾驶汽车的视觉处理系统.随后 数据冗余少和时延低 Bensman5团队进一步验证了在RGB三个通道的 Delbruck团队和 Ini vation公司开发的第一款商 用的DVS1289,其空间分辨率为128×128,时域分别用ATS采样脉冲信号再融合彩色的技术方案 ATS在面向高速运动时,依然存在事件与灰度 采样频率为10°Hz,动态范围为120dB,在高速运 重构更新不匹配的情况,其原因有以下两点:脉冲 动对象识别、检测与跟踪广泛应用.此外,DⅤS及 其衍生的AS2、DAVS212.和 celeX2)等神经形 发放后触发光强测量电路,其测量结果是脉冲发放 态视觉传感器的研究及产品也备受关注,并逐渐被后一段时间的平均光强,造成运动不匹配;场景稍 微变化未引起脉冲发放,从而像素未及时更新,随 应用于自动驾驶、无人机视觉导航和工业检测等涉 及高速运动视觉任务.例如, Samsung公司开发了看时间推移会造成纹理差异明显 的空间分辨率为640×480的DVSG2,且像素尺33DVAS 寸为94m×9m.BM公司采用了DⅤS128作为 DAVS2l2)是一种最直观且有效的融合技术思 类脑芯片 TrueNorth'的视觉感知系统来进行快速路,将DⅤsS和传统相机二者结合,在DⅤS基础上 手势识别 额外引入有源像素传感器( Active Pixel Senso DS利用差分视觉采样模型可以滤过静止不APS),用于视觉场景纹理成像 变或变化较弱的视觉信息以降低数据冗余,同时具 Delbruck团队和 Ini vation公司在空间分辨率为 有感知高速运动.然而,这种优势带来了视觉重构240×180的DAⅥS240的基础上进一步推出了彩李家宁等：神经形态视觉传感器的研究进展及应用综述 7 如图 5 所示．光电转换电路采用对数光强感知模型， 提高了光强感知范围，也更加接近生物视网膜的高 动态适应的能力．动态检测电路采用差分型采样模 型，即对光强变化做出响应，无光强变化则不响 应．比较器依据光强的增加或减弱输出 ON 或 OFF 事件． 图 7 DVS 时空脉冲信号示意图 传统相机以固定帧率的采样方式，在高速场景 易产生运动模糊．而 DVS 采用 AER 异步传输方式 的差分型视觉采样模型，以异步时空脉冲信号表示 场景光强变化，对场景的变化十分敏感且高时间分 辨率，尤其适用于高速运动的视觉任务分析，如图 7 所示．DVS 相比传统相机具有以下优势:高时间 分辨率（106Hz）、高动态范围（120dB）、低功耗、 数据冗余少和时延低． Delbruck团队和IniVation公司开发的第一款商 用的 DVS128[19]，其空间分辨率为 128  128，时域 采样频率为 106Hz，动态范围为 120dB，在高速运 动对象识别、检测与跟踪广泛应用．此外，DVS 及 其衍生的 ATIS[20]、DAVIS[21-22]和 CeleX[23]等神经形 态视觉传感器的研究及产品也备受关注，并逐渐被 应用于自动驾驶、无人机视觉导航和工业检测等涉 及高速运动视觉任务．例如，Samsung 公司开发了 的空间分辨率为 640  480 的 DVS-G2[46]，且像素尺 寸为 9  m  9  m．IBM 公司采用了 DVS128 作为 类脑芯片 TrueNorth[47]的视觉感知系统来进行快速 手势识别[48]． DVS 利用差分视觉采样模型可以滤过静止不 变或变化较弱的视觉信息以降低数据冗余，同时具 有感知高速运动．然而，这种优势带来了视觉重构 的劣势，即 ON 或 OFF 事件不携带绝对光强信号， 且光强变化较弱时无脉冲信号发放，从而无法重构 精细化纹理图像．为了解决 DVS 面向视觉纹理可 视化，便衍生出 ATIS[20]、DAVIS[21-22]和 CeleX[23] 等神经形态视觉传感器． 3.2 ATIS ATIS[20]在 DVS 的基础上巧妙地引入了基于时 间间隔的光强测量电路来实现图像重构，其思路是 每次 DVS 电路产生事件时，触发光强测量电路进 行工作；光强测量设定了两个不同的参考电压，通 过对光强进行积分，并记录达到两个电压发放的事 件；由于不同光强的条件下，电压变化相同量所需 的时间不同，通过建立光强与时间的映射可以推断 出光强大小，从而输出光强变化像素处的光强信 息，也称为脉冲宽度调制（Pulse Width Modulation, PWM）[49]．此外，为了解决静态区域没有 DVS 脉 冲信号发放依然无法获得静态区域的视觉纹理信 息，ATIS 引入了一套全局发放机制，即所有像素可 被强制发放一次脉冲，这样在 ATIS 初始工作时可 获得一整幅图像作为背景，然后运动区域不断产生 脉冲进而不断的触发光强测量电路获得运动区域 的灰度来更新背景． Posch 团队和 Prophesee 公司研制的商用 ATIS[49]，其空间分辨率为 304  240，时域采样频率 为 106Hz，动态范围为 143dB，在涉及高速视觉任 务存在着广泛应用．另外，Prophessee 公司也受到 了 Intel 公司 1500 万美金的项目资助，将 ATIS 应 用于自动驾驶汽车的视觉处理系统．随后， Benosman [50]团队进一步验证了在 RGB 三个通道的 分别用ATIS采样脉冲信号再融合彩色的技术方案． ATIS 在面向高速运动时，依然存在事件与灰度 重构更新不匹配的情况，其原因有以下两点：脉冲 发放后触发光强测量电路，其测量结果是脉冲发放 后一段时间的平均光强，造成运动不匹配；场景稍 微变化未引起脉冲发放，从而像素未及时更新，随 着时间推移会造成纹理差异明显． 3.3 DVAIS DAVIS[21-22]是一种最直观且有效的融合技术思 路，将 DVS 和传统相机二者结合，在 DVS 基础上 额外引入有源像素传感器（Active Pixel Sensor, APS），用于视觉场景纹理成像． Delbruck团队和IniVation公司在空间分辨率为 240  180 的 DAVIS240[21]的基础上进一步推出了彩