·88 智能系统学报 第13卷 3运动预测研究 3.2物体移动轨迹预测 除人体动作和运动预测外，物体轨迹预测也具 给出一张静态图片或者一段场景视频，人类不 有广泛的应用价值。Kitani等s提出了一种基于马 仅可以迅速地获取图像中的即时内容，还可以推断 尔可夫决策过程和反转最优控制的动作理解和轨迹 出图像中的场景动态。然而，对于计算机来说，推 预测方法，并在运动分析（包括运动平滑、路径和目 演出图像中的场景动态是一个比较困难的任务，因 的地预测)以及场景迁移学习上做了定量和定性的 为它依赖计算机利用自然界大量难以参数化的知识 评估。Kitani等s6和Gong等sm都提出用行人轨迹 来建模。 预测来辅助多目标追踪，并取得了高效的结果。 在视频预测研究兴起之前，学术界比较关注的 KOoi等s提出了一种动态贝叶斯网络来做行 是运动预测。运动预测一般是指从静态图像或视频 人路径预测；Walker等s例使用条件变分自编码器来 前几帧中推断出人体动作、物体移动轨迹等动态信 预测静态图像中每个像素的运动轨迹：Walker等6o 息；而视频预测是从静态图片或视频前几帧中直接 使用光流算法来标记视频，进而训练一个光流预测 预测未来图像。本节我们对动作、运动和物体移动 模型，该模型可以预测每个像素的运动：Walker等6 轨迹预测算法进行简要回顾。 还尝试了通过奖赏函数选择最优目标的方式建模汽 3.1动作和运动预测 车运动的轨迹。 从静态图像或有限帧视频中预测人类动作和行 Yuen等6提出一种基于大数据的方法，通过检 为是一个比较基础也比较重要的任务。在动作预测 索大数据中与被检索图片或视频相似场景的方式来 方面，研究人员主要使用统计学习方法和传统的机 预测物体可能的位置，该方法类似于k近邻算法，不 器学习方法来建模。Lan等49和Hoai等使用最 需要训练模型，在数据量足够大的情况下可以取得 大化边界框架来推测动作场景；Ryoo7把动作预测 比较好的效果；Mottaghi等I6使用两个CNN和一 问题概率化，使用时空特征积分直方图来建模特征 个RNN来建模物体移动动态，从而预测可能移动 分布如何随时间变化：Vù等4提出了一种使用动作 的物体。 和场景之间的关联信息，从静态场景中预测人类动 运动预测模型一般从建模移动物体的运动轨迹 作的方法：Pi等9提出了一种基于随机场景感知语 出发，能较好地预测前景物体的瞬时运动轨迹，其 法的事件解析、推断事件目标和预测可信动作的算 处理的数据维度低于视频预测，但不能预测图像的 法，与Vù的方法类似，该方法使用事件的层次组成 结构信息，且其学习到的特征无法迁移到有监督学 和子事件间的时态关系来鉴别不同事件以及预测动 习领域，因而其应用范围和价值有限。 作；Fouhey等so和Koppula等s通过使用条件随机 场来建模人的可能动作从而来做未来场景的预测。 4视频预测模型架构 Huang等提出了一种基于双实体交互的方式 “不是我创造的，我就不能理解。”著名物理学 来理解一个实体的动作如何影响另外一个实体的动 家Feynman这句话背后的内涵是：通过构建验证过 作。本文把双实体交互模型看作一种最优控制问 的概念来理解事物。在人工智能领域，可以理解 题，该模型使用一种基于核以及增强学习的近似软 为：如果一个机器能够生成高度真实的数据，那么 最大值函数去处理高维度的自然人体运动，另外还 它就发展出了对自然数据的理解能力。 使用了连续代价函数的均值转移方法来平滑动作 视频预测是指给出一段连续视频帧X1,X,… 序列。 X.,构造一个模型可以精准地生成随后的帧X+1, Pickup等Is)、Lampert等s和Pintea等分别 X+2,…,X(1是需要预测的帧的数量)。或者，给出 用统计流方法、向量值回归和随机森林回归算法回 一段序列X,X2,…,Xw,其中X(1<n<N)是缺失的， 归物体移动方向；Pintea等还论证了运动预测在动 模型可以推断缺失的帧（插值）。视频预测不需要额 作识别、运动显著性检测等方面有很大的应用价 外的标注信息，因此属于无监督学习的范畴。 值。也有学者使用深度学习进行动作预测。Von- 般常用于评估视频质量的指标有均方误差 drick等4提出一种用深度回归网络的方法来学习 (mean square error,MSE)、峰值信噪比(peak signal 视频表征，结合动作识别模型，能够很好地根据静 to noise ratio,PSNR)和结构相似性(structural simil- 态图像来推测未来动作。 arity index,SSIM。用Y来表示真实帧，Y表示预测3 运动预测研究 给出一张静态图片或者一段场景视频，人类不 仅可以迅速地获取图像中的即时内容，还可以推断 出图像中的场景动态。然而，对于计算机来说，推 演出图像中的场景动态是一个比较困难的任务，因 为它依赖计算机利用自然界大量难以参数化的知识 来建模[44]。 在视频预测研究兴起之前，学术界比较关注的 是运动预测。运动预测一般是指从静态图像或视频 前几帧中推断出人体动作、物体移动轨迹等动态信 息；而视频预测是从静态图片或视频前几帧中直接 预测未来图像。本节我们对动作、运动和物体移动 轨迹预测算法进行简要回顾。 3.1 动作和运动预测 从静态图像或有限帧视频中预测人类动作和行 为是一个比较基础也比较重要的任务。在动作预测 方面，研究人员主要使用统计学习方法和传统的机 器学习方法来建模。Lan 等 [45]和 Hoai 等 [46]使用最 大化边界框架来推测动作场景；Ryoo[47]把动作预测 问题概率化，使用时空特征积分直方图来建模特征 分布如何随时间变化；Vu 等 [48]提出了一种使用动作 和场景之间的关联信息，从静态场景中预测人类动 作的方法；Pei 等 [49]提出了一种基于随机场景感知语 法的事件解析、推断事件目标和预测可信动作的算 法，与 Vu 的方法类似，该方法使用事件的层次组成 和子事件间的时态关系来鉴别不同事件以及预测动 作；Fouhey 等 [50]和 Koppula 等 [51]通过使用条件随机 场来建模人的可能动作从而来做未来场景的预测。 Huang 等 [52]提出了一种基于双实体交互的方式 来理解一个实体的动作如何影响另外一个实体的动 作。本文把双实体交互模型看作一种最优控制问 题，该模型使用一种基于核以及增强学习的近似软 最大值函数去处理高维度的自然人体运动，另外还 使用了连续代价函数的均值转移方法来平滑动作 序列。 Pickup 等 [53] 、Lampert 等 [54]和 Pintea 等 [55]分别 用统计流方法、向量值回归和随机森林回归算法回 归物体移动方向；Pintea 等还论证了运动预测在动 作识别、运动显著性检测等方面有很大的应用价 值。也有学者使用深度学习进行动作预测。Von￾drick 等 [44]提出一种用深度回归网络的方法来学习 视频表征，结合动作识别模型，能够很好地根据静 态图像来推测未来动作。 3.2 物体移动轨迹预测 除人体动作和运动预测外，物体轨迹预测也具 有广泛的应用价值。Kitani 等 [56]提出了一种基于马 尔可夫决策过程和反转最优控制的动作理解和轨迹 预测方法，并在运动分析 (包括运动平滑、路径和目 的地预测) 以及场景迁移学习上做了定量和定性的 评估。Kitani 等 [56]和 Gong 等 [57]都提出用行人轨迹 预测来辅助多目标追踪，并取得了高效的结果。 Kooij 等 [58]提出了一种动态贝叶斯网络来做行 人路径预测；Walker 等 [59]使用条件变分自编码器来 预测静态图像中每个像素的运动轨迹；Walker 等 [60] 使用光流算法来标记视频，进而训练一个光流预测 模型，该模型可以预测每个像素的运动；Walker 等 [61] 还尝试了通过奖赏函数选择最优目标的方式建模汽 车运动的轨迹。 Yuen 等 [62]提出一种基于大数据的方法，通过检 索大数据中与被检索图片或视频相似场景的方式来 预测物体可能的位置，该方法类似于 k 近邻算法，不 需要训练模型，在数据量足够大的情况下可以取得 比较好的效果；Mottaghi 等 [63]使用两个 CNN 和一 个 RNN 来建模物体移动动态，从而预测可能移动 的物体。 运动预测模型一般从建模移动物体的运动轨迹 出发，能较好地预测前景物体的瞬时运动轨迹，其 处理的数据维度低于视频预测，但不能预测图像的 结构信息，且其学习到的特征无法迁移到有监督学 习领域，因而其应用范围和价值有限。 4 视频预测模型架构 “不是我创造的，我就不能理解。”著名物理学 家 Feynman 这句话背后的内涵是：通过构建验证过 的概念来理解事物。在人工智能领域，可以理解 为：如果一个机器能够生成高度真实的数据，那么 它就发展出了对自然数据的理解能力。 X1,X2,···, Xn+1, Xn+2,···,Xn+t X1,X2,···,XN Xn(1 < n < N) 视频预测是指给出一段连续视频帧 Xn，构造一个模型可以精准地生成随后的帧 (t 是需要预测的帧的数量)。或者，给出 一段序列 ，其中 是缺失的， 模型可以推断缺失的帧 (插值)。视频预测不需要额 外的标注信息，因此属于无监督学习的范畴。 Yˆ 一般常用于评估视频质量的指标有均方误差 (mean square error, MSE)、峰值信噪比 (peak signal to noise ratio，PSNR) 和结构相似性 (structural simil￾arity index，SSIM)。用 Y 来表示真实帧， 表示预测 ·88· 智 能 系 统 学 报 第 13 卷