李家宁等:神经形态视觉传感器的研究进展及应用综述 空模式 编码单元内 时空域八叉树 自适应划分 编码单元间 量化 熵编码 参与时问优先 反量化 图9异步时空脉冲信号的编码框架 分析国的有损编码的方案,具体的异步时空脉冲信到端的深度网络和脉冲神经网络 号的编码框架如图9所示 51频率累计图像 异步时空脉冲信号的压缩方案是借鉴传统视 频编码框架与策略的基础上的初步尝试,但是并未 神经形态视觉传感器的输出为了适用于现有 充分分析异步时空脉冲信号的时空特性.端到端的基于“图像帧”的视觉算法,可将异步时空脉冲信 深度学习或受神经计算模型启发的脉冲神经网络 号按照时域固定长度或固定数目进行时域投影或 的自适应编码器能否应用到异步时空脉冲信号的 的频率累计,即频率累计图像 编码中呢?当前面临着异步脉冲信号的网络输 模型法:将频率累计图像按照图像模式的先验 入、失真度量及足够的数据标注等难题.因此,如 知识进行建模与特征提取. Bischof团队将两个 DVS输出的脉冲信号分别在时域投影为二值图像 何设计鲁棒性的自适应编码器进行异步时空脉冲 信号的数据压缩将是一个极具有挑战性且有很高进行360°全景视觉场景重建.陈守顺教授团队 价值的研究课题,可进一步推广到生物脉冲信号的将Ceex输出的脉冲信号进行图像插帧和指导运动 编码与压缩领域 区域用于高速目标跟踪. Scaramuzza团队s将 DVS在时域频率累积为灰度图像,再与APS图像 5异步时空脉冲信号特征表达 进行最大似然匹配跟踪 深度学习方法:将频率累计图像输入到基于 异步时空脉冲信号在时域和空域上呈现为三 “图像帧”的深度学习网络. Scaramuzza团队的 将ON和OFF的脉冲流分别按时域频率累计为灰度 维空间的稀疏离散点阵,相比传统“图像帧”范式 图像,再利用 ResNet对自动驾驶场景的方向盘转 的信号处理与特征表达上更加的灵活,尤其在脉冲 信号处理单元的时域长度或脉冲数目上的选择,也角预测.Chen将DVS输出的脉冲流映射为灰度 增加了异步时空脉冲信号的视觉分析算法输入的 图像,再利用APS的伪标签用于自动驾驶场景的车 难度.因此,如何对异步时空脉冲信号进行特征表辆检测.田永鸿教授团队利用积分发放模型将 达,如图10所示,控据异步时空脉冲信号的时进行自动驾驶场景的车辆检测,Jmg等人按固 务,是神经形态视觉领域最重要和核心的研究问 定时域长度将DS输出的脉冲流累计为灰度图像, 并联合APS进行行人检测.Zhu等人将DVS输 题,也是决定着神经形态视觉传感器的推广与应 出的脉冲流按照时域先后顺序映射为灰度图像,利 用 近些年的研究文献的概况与分布上来看,主要用所提出的 EV-FlowNet网络进行光流估计,Wang 集中在四个方面:频率累计图像(Rate- based 等人叫按照脉冲流按照时域固定长度或固定数目 Image)、手工设计特征(Hand- crafted Feature)、端 累计为图像,再进行高动态和高帧率的图像重 构. Alonso等人将ON和OFF在固定时域长度李家宁等：神经形态视觉传感器的研究进展及应用综述 11 图 9 异步时空脉冲信号的编码框架 分析[84]的有损编码的方案，具体的异步时空脉冲信 号的编码框架如图 9 所示． 异步时空脉冲信号的压缩方案是借鉴传统视 频编码框架与策略的基础上的初步尝试，但是并未 充分分析异步时空脉冲信号的时空特性．端到端的 深度学习或受神经计算模型启发的脉冲神经网络 的自适应编码器能否应用到异步时空脉冲信号的 编码中呢[85]？当前面临着异步脉冲信号的网络输 入、失真度量及足够的数据标注等难题．因此，如 何设计鲁棒性的自适应编码器进行异步时空脉冲 信号的数据压缩将是一个极具有挑战性且有很高 价值的研究课题，可进一步推广到生物脉冲信号的 编码与压缩领域． 5 异步时空脉冲信号特征表达 异步时空脉冲信号在时域和空域上呈现为三 维空间的稀疏离散点阵，相比传统“图像帧”范式 的信号处理与特征表达上更加的灵活，尤其在脉冲 信号处理单元的时域长度或脉冲数目上的选择，也 增加了异步时空脉冲信号的视觉分析算法输入的 难度．因此，如何对异步时空脉冲信号进行特征表 达[86]，如图 10 所示，挖掘异步时空脉冲信号的时 空特性，面向“高精度”与“高速”的视觉分析任 务，是神经形态视觉领域最重要和核心的研究问 题，也是决定着神经形态视觉传感器的推广与应 用． 近些年的研究文献的概况与分布上来看，主要 集中在四个方面：频率累计图像（ Rate-based Image）、手工设计特征（Hand-crafted Feature）、端 到端的深度网络和脉冲神经网络． 5.1 频率累计图像 神经形态视觉传感器的输出为了适用于现有 基于“图像帧”的视觉算法，可将异步时空脉冲信 号按照时域固定长度或固定数目进行时域投影或 频率累计，即频率累计图像． 模型法：将频率累计图像按照图像模式的先验 知识进行建模与特征提取．Bischof 团队[87]将两个 DVS 输出的脉冲信号分别在时域投影为二值图像 进行 360°全景视觉场景重建．陈守顺教授团队[88] 将 CeleX 输出的脉冲信号进行图像插帧和指导运动 区域用于高速目标跟踪．Scaramuzza 团队[89-90]将 DVS 在时域频率累积为灰度图像，再与 APS 图像 进行最大似然匹配跟踪． 深度学习方法：将频率累计图像输入到基于 “图像帧”的深度学习网络．Scaramuzza 团队[25] 将ON和OFF的脉冲流分别按时域频率累计为灰度 图像，再利用 ResNet 对自动驾驶场景的方向盘转 角预测．Chen[91]将 DVS 输出的脉冲流映射为灰度 图像，再利用 APS 的伪标签用于自动驾驶场景的车 辆检测．田永鸿教授团队[26]利用积分发放模型将 DVS 输出的脉冲流提取为图像，再联合 APS 图像 进行自动驾驶场景的车辆检测．Jiang 等人[92]按固 定时域长度将 DVS 输出的脉冲流累计为灰度图像， 并联合 APS 进行行人检测．Zhu 等人[93]将 DVS 输 出的脉冲流按照时域先后顺序映射为灰度图像，利 用所提出的 EV-FlowNet 网络进行光流估计．Wang 等人[94] 按照脉冲流按照时域固定长度或固定数目 累计为图像，再进行高动态和高帧率的图像重 构．Alonso 等人[95]将 ON 和 OFF 在固定时域长度