计算机学报 2020年 测. Linares- Barranco等人将异步时空脉冲信号计, Gallego等人从视觉特征角度系统性将DvS 在FPGA上进行滤波降噪和水平特征提取,可显输出的时空脉冲信号进行度量,并在运动补偿、深 著提升目标识别与跟踪性能.施路平教授团队例度估计、光流估计等视觉任务中应用.这些方法是 针对脉冲信号的发放率进行时空差值滤波,再采用将时空脉冲信号进行时间累积的频率特征,并未充 非齐次泊松生成过程实现异步时空脉冲信号的上分利用脉冲信号的时域特性.Park等人从信号域 采样 的角度综述核方法度量,即将离散的时域脉冲信号 神经形态视觉传感器输出的异步时空脉冲信变换为连续函数,在希尔伯特空间以内积计算脉冲 号存在背景噪声和漏电流噪声等干扰12,序列之间的距离. Chichinisky团队采用卷积神经 Khodamoradi等人阿采用时空相关滤波器来降低网络结构将离散脉冲信号映射到特征空间再度量 DS的背景噪声并在传感器上硬件实现. Orchard脉冲信号之间距离,并应用到视网膜假体数据测试 团队6利用 True North芯片上实现脉冲神经网络验证.此类方法在神经生理或模拟生成的脉冲数 ( Spiking Neural Network,SNN)对AIS输出的时据上实验,并未考虑真实异步时空脉冲信号的标记 空脉冲信号进行降噪,且降噪信号提升了目标对象属性 检测与识别的性能,Wang等人2将运动对象以外 田永鸿教授团队网提出了一种脉冲标记属性 的事件视为噪声,通过光流来判断运动一致性对独立的脉冲序列度量方法,即DⅤS输出的ON和 DVS输出的时空脉冲信号进行降噪 OFF的标记属性的脉冲信号分别度量,采用高斯核 变换域分析是信号处理的基本方法,把时空函数将离散的脉冲序列变换为平滑连续函数,利用 域变化到频率域,进而研究信号的频谱结构与变化希尔伯特空间的内积度量脉冲序列的距离.该方法 规律. Bensman(团队针对异步时空脉冲信号提将脉冲序列作为操作单元,并未考虑脉冲信号的空 出了一种基于事件的快速傅里叶变换,对脉冲信号间结构关系.随后,该团队进一步将异步时空脉 的频率域有损变换和计算时间做了权衡分析 冲信号建模为标记的时空点过程,用条件概率密度 异步时空脉冲信号分析与处理存在以下几个函数刻画脉冲信号的空间位置和标记属性,该方法 探索的方向 应用于异步脉冲信号有损编码中的运动搜索和失 (1)异步时空脉冲信号在数据分布上可描述真度量 为时空点过程6,可引入点过程信号处理、学习与 异步时空脉冲信号是非结构化数据,不同于可 推理理论的6; 归一化的结构化的“图像帧”,且在主观视觉上差 (2)异步时空脉冲信号在时空结构上与点云异无法直接度量.如何将异步脉冲信号度量面向视 相似,可利用深度学习在点云网络的结构与方法觉任务和归一化的评价也是亟需解决的难点问题 68-701 3异步时空脉冲信号编码 (3)脉冲信号视为图模型的节点,可采用图 模型信号处理与学习理论2 随着DVS系列传感器的空间分辨率不断提高, (4)异步时空脉冲信号的高时间分辨率的时序如三星公司DVSG21的空间分辨率为640×480, 优势,挖掘时序记忆模型5·3和借鉴类脑视觉信号 CeleX-v12的空间分辨率为1280×800,在剧烈运动 处理机理4 的场景产生的异步时空脉冲信号面临着传输和存 储的巨大挑战,如何对异步时空脉冲信号进行编码 42异步时空脉冲信号度量 压缩,是一个全新的时空数据压缩问②行编码 异步时空脉冲信号度量是衡量脉冲流之间的 田永鸿教授团队首次提出了一种面向时空 相似性,即在度量空间里计算脉冲流之间的距离异步脉冲信号的编码压缩框架,其以脉冲长方体为 门,是异步时空脉冲信号处理的关键技术之一,在编码单元,设计了地址优先和时间优先的预测编码 计算神经科学、脉冲编码压缩、机器视觉仼务等领策略,可实现对脉冲信号的有效压缩.随后,该团 域有着广泛且重要的应用 队网进一步探索了更加灵活的时空域八叉树自适 异步脉冲信号在时空域上呈现为稀疏离散点应划分、编码单元内的预测及编码单元间的预测等 阵,缺乏在欧式空间的代数运算度量.立体视觉硏编码策略,进一步提升了时空脉冲信号的压缩效 究阿将输出脉冲信号在二维空间投影和提取时空率.此外,该团队对脉冲空域位置和时域发放时 关系的时间面进行度量,应用于三维视觉中深度估间的失真进行了度量分析,并探讨了面向视觉任务10 计 算 机 学 报 2020 年 测．Linares-Barranco 等人[58]将异步时空脉冲信号 在 FPGA 上进行滤波降噪和水平特征提取，可显 著提升目标识别与跟踪性能．施路平教授团队[59] 针对脉冲信号的发放率进行时空差值滤波，再采用 非齐次泊松生成过程实现异步时空脉冲信号的上 采样． 神经形态视觉传感器输出的异步时空脉冲信 号 存 在背 景 噪声 和漏电 流 噪声 等 干扰 [19-23] ， Khodamoradi 等人[60]采用时空相关滤波器来降低 DVS 的背景噪声并在传感器上硬件实现．Orchard 团队[61]利用 TrueNorth 芯片上实现脉冲神经网络 （Spiking Neural Network, SNN）对 ATIS 输出的时 空脉冲信号进行降噪，且降噪信号提升了目标对象 检测与识别的性能．Wang 等人[62]将运动对象以外 的事件视为噪声，通过光流来判断运动一致性对 DVS 输出的时空脉冲信号进行降噪． 变换域分析是信号处理的基本方法[63]，把时空 域变化到频率域，进而研究信号的频谱结构与变化 规律． Benosman[64]团队针对异步时空脉冲信号提 出了一种基于事件的快速傅里叶变换，对脉冲信号 的频率域有损变换和计算时间做了权衡分析． 异步时空脉冲信号分析与处理存在以下几个 探索的方向： （1）异步时空脉冲信号在数据分布上可描述 为时空点过程[65]，可引入点过程信号处理、学习与 推理理论[66-67]； （2）异步时空脉冲信号在时空结构上与点云 相似，可利用深度学习在点云网络的结构与方法 [68-70]； （3）脉冲信号视为图模型的节点，可采用图 模型信号处理与学习理论[71-72]； (4)异步时空脉冲信号的高时间分辨率的时序 优势，挖掘时序记忆模型[55,73]和借鉴类脑视觉信号 处理机理[74]． 4.2 异步时空脉冲信号度量 异步时空脉冲信号度量是衡量脉冲流之间的 相似性，即在度量空间里计算脉冲流之间的距离 [75]，是异步时空脉冲信号处理的关键技术之一，在 计算神经科学、脉冲编码压缩、机器视觉任务等领 域有着广泛且重要的应用． 异步脉冲信号在时空域上呈现为稀疏离散点 阵，缺乏在欧式空间的代数运算度量．立体视觉研 究[76]将输出脉冲信号在二维空间投影和提取时空 关系的时间面进行度量，应用于三维视觉中深度估 计．Gallego 等人[77]从视觉特征角度系统性将 DVS 输出的时空脉冲信号进行度量，并在运动补偿、深 度估计、光流估计等视觉任务中应用．这些方法是 将时空脉冲信号进行时间累积的频率特征，并未充 分利用脉冲信号的时域特性．Park 等人[75]从信号域 的角度综述核方法度量，即将离散的时域脉冲信号 变换为连续函数，在希尔伯特空间以内积计算脉冲 序列之间的距离．Chichinisky 团队[78]采用卷积神经 网络结构将离散脉冲信号映射到特征空间再度量 脉冲信号之间距离，并应用到视网膜假体数据测试 验证． 此类方法在神经生理或模拟生成的脉冲数 据上实验，并未考虑真实异步时空脉冲信号的标记 属性． 田永鸿教授团队[79]提出了一种脉冲标记属性 独立的脉冲序列度量方法，即 DVS 输出的 ON 和 OFF 的标记属性的脉冲信号分别度量，采用高斯核 函数将离散的脉冲序列变换为平滑连续函数，利用 希尔伯特空间的内积度量脉冲序列的距离．该方法 将脉冲序列作为操作单元，并未考虑脉冲信号的空 间结构关系．随后，该团队[80]进一步将异步时空脉 冲信号建模为标记的时空点过程，用条件概率密度 函数刻画脉冲信号的空间位置和标记属性，该方法 应用于异步脉冲信号有损编码中的运动搜索和失 真度量． 异步时空脉冲信号是非结构化数据，不同于可 归一化的结构化的“图像帧”，且在主观视觉上差 异无法直接度量．如何将异步脉冲信号度量面向视 觉任务和归一化的评价也是亟需解决的难点问题． 4.3 异步时空脉冲信号编码 随着 DVS 系列传感器的空间分辨率不断提高， 如三星公司 DVS-G2[46]的空间分辨率为 640  480， CeleX-V [52]的空间分辨率为 1280  800，在剧烈运动 的场景产生的异步时空脉冲信号面临着传输和存 储的巨大挑战，如何对异步时空脉冲信号进行编码 压缩，是一个全新的时空数据压缩问题[81-82]． 田永鸿教授团队[83]首次提出了一种面向时空 异步脉冲信号的编码压缩框架，其以脉冲长方体为 编码单元，设计了地址优先和时间优先的预测编码 策略，可实现对脉冲信号的有效压缩．随后，该团 队[79]进一步探索了更加灵活的时空域八叉树自适 应划分、编码单元内的预测及编码单元间的预测等 编码策略，进一步提升了时空脉冲信号的压缩效 率．此外，该团队[80]对脉冲空域位置和时域发放时 间的失真进行了度量分析，并探讨了面向视觉任务