第3期 陈婷婷，等，视频中人体行为的慢特征提取算法 ·383· 入2，，入x组成的对角矩阵。 2.1收集训练立方体 2)非线性变换可以视为非线性空间的线性变 收集训练立方体是由视频图像序列构建出原始 换s。函数h(x)的非线性扩展定义为 输入信号x(t)的一种方法。首先对原始视频进行 h(x):=[h(x)h,(x)..hu(x)] (6) 处理，得到帧差图像序列。以选定的某一帧图像作 慢特征函数通过以下步骤获得。 为初始帧，检测其特征点[4，然后使用光流法对特 a)使用非线性函数h(x)对原始信号进行扩 征点进行跟踪56，从而得到视频中所有特征点对 展，并把h(x)归一化，使其均值为0，即z:=h(x)- 应的轨迹集合。对于轨迹集合中的每条轨迹，提取 h。,其中h。=(h(x)),,归一化使条件(2)有效。本 其中各个轨迹点心×0邻域内的像素值，形成一系 文使用二次扩展，即h(x)=（x1,x2,1,xx1, 列的像素块，考虑到时间信息，通过△1个相继帧对 12…,xx1）。 每个点的像素块序列进行整合，本文取△1=3。进 b)解决一般化的特征值问题AW=BWA,其 一步对所有的特征点进行整合后得到训练立方体， 中，A:=〈乞)，，B:=〈zz〉，。假设矩阵A和矩 即构建出了输入向量x(t)。图1给出了训练立方 阵B的维数都是M,前K个特征向量w1,w2,,wx 体的获取过程。 (KM)和最小的特征值相联系，即入1≤入2≤…≤ 入x,对应的非线性慢特征函数g(x),g2(x),, P(1) P2) P3) gx(x）: g(x)=w(h(x)-h。) (7) 第1个特征点 P(2) P(3) P4) 这些慢特征函数能够满足约束条件(2)~(4)， 而且能使式(1)中的目标函数最小。 PL-2) P(L-1) 1.3改进的慢特征分析算法(D-SFA) 慢特征分析方法是一种非监督式学习策略，不能 编码有监督的信息，为了把监督信息引入到学习中， P(1) P(2 P(3) 提出了D-SFA(discriminative SFA)学习策略]，其数 学描述为：已知输人信号x()= 第2个特征点 P2) P(3 (4 (x(t),xa(t),…,x(t),c∈{1,2，…，C},目标是 找到一系列的J维输入输出函数g(x)= 立方体 (g1(x),ga(x)…,g(x)T,使得△(gg(x)-y× P(L-1) P(LY △(g(x)）最小，即对于每一个j∈{1,2，…J},使 式(8)最小： △(g(xe)）-Y×△(gg(x))= P1) P2) P3) [gg(x)]2),-y×([g(x)]2),=(8) w[x〉，-y×(e)]wg 第n个特征点 P(2) P(3 P(4) 且满足以下条件： 〈gg(xeue)）,=0 (9) P(L-2) P(L- P(LY 〈[gg(xue)]2）=1 (10) Vj'<j:(gg(xeve)go(xcve)),=0 (11) 图1训练立方体的获取过程 式中：wg是第c类第j个慢特征函数的权值向量，y Fig.1 The process of obtaining training cuboids 是权衡参数。 求解最小值问题可以转化为求解一般的特征值 2.2D-SFA算法提取慢特征 问题：AW=BWA,其中A=（〈x。x〉，-y× 慢特征分析方法是实现提取慢特征任务而提出 (x:x）,),B=〈veXve),A是特征值组成的 的一种学习算法。SFA算法是一种非监督学习算 对角矩阵，W是相应的特征向量。 法，它在人体行为视频中提取慢特征的思想是：不同 种类的行为视频收集到的训练立方体混合在一起用 2视频中人体行为的慢特征提取 于慢特征函数的机器学习，然后用学习出来的慢特 本文提出的视频中人体行为慢特征的提取主要 征函数提取出慢特征。由于不能编码有监督信息， 包括3个部分：收集训练立方体、D-SFA算法提取慢 所以提取出来的慢特征在行为间没有很好的区分 特征和构建ASD特征表示。 力。D-SFA算法在学习过程中引入了监督信息，其λ２ ，．．．，λ Ｎ 组成的对角矩阵。 ２）非线性变换可以视为非线性空间的线性变 换［５］ 。 函数 ｈ（ｘ）的非线性扩展定义为 ｈ（ｘ）： ＝ ［ｈ１（ｘ） ｈ２（ｘ） ．．． ｈＭ（ｘ）］ （６） 慢特征函数通过以下步骤获得。 ａ）使用非线性函数 ｈ（ ｘ） 对原始信号进行扩 展，并把 ｈ（ｘ）归一化，使其均值为 ０，即 ｚ： ＝ ｈ（ｘ） － ｈ０ ，其中 ｈ０ ＝ 〈ｈ（ｘ）〉ｔ ，归一化使条件（２）有效。 本 文使 用 二 次 扩 展， 即 ｈ（ｘ） ＝ （ｘ１ ，ｘ２ ，．．．，ｘＩ，ｘ１ ｘ１ ， ｘ１ ｘ２ ，．．．，ｘＩ ｘＩ） 。 ｂ）解决一般化的特征值问题 ＡＷ ＝ ＢＷΛ ，其 中， Ａ： ＝ 〈ｚ · ｚ ·Ｔ 〉ｔ ， Ｂ： ＝ 〈ｚ ｚ Ｔ 〉ｔ 。 假设矩阵 Ａ 和矩 阵 Ｂ 的维数都是 Ｍ，前 Ｋ 个特征向量 ｗ１ ，ｗ２ ，．．．，ｗＫ （Ｋ≪Ｍ）和最小的特征值相联系，即 λ１ ≤ λ２ ≤ … ≤ λ Ｋ ，对 应 的 非 线 性 慢 特 征 函 数 ｇ１（ｘ），ｇ２（ｘ），．．．， ｇＫ（ｘ） ： ｇｊ（ｘ） ＝ ｗ Ｔ ｊ （ｈ（ｘ） － ｈ０ ） （７） 这些慢特征函数能够满足约束条件（２） ～ （４）， 而且能使式（１）中的目标函数最小。 １．３ 改进的慢特征分析算法（Ｄ⁃ＳＦＡ） 慢特征分析方法是一种非监督式学习策略，不能 编码有监督的信息，为了把监督信息引入到学习中， 提出了 Ｄ⁃ＳＦＡ（ｄｉｓｃｒｉｍｉｎａｔｉｖｅ ＳＦＡ）学习策略［１３］ ，其数 学 描 述 为： 已 知 输 入 信 号 ｘｃ（ｔ） ＝ ｘｃ１（ｔ），ｘｃ２（ｔ），．．．，ｘ ( ｃＩ（ｔ） ) ，ｃ ∈ {１，２，．．．，Ｃ} ，目标是 找到 一 系 列 的 Ｊ 维 输 入 输 出 函 数 ｇｃ（ｘ） ＝ (ｇｃ１（ｘ），ｇｃ２（ｘ），．．．，ｇｃＪ（ｘ） ) Ｔ ，使得 Δ（ｇｃｊ（ｘｃ）） － γ × Δ（ｇｃｊ（ｘｃ′）） 最小，即对于每一个 ｊ ∈ ｛１，２，．．．，Ｊ｝ ，使 式（８）最小： Δ（ｇｃｊ（ｘｃ）） － γ × Δ（ｇｃｊ（ｘｃ′）） ＝ 〈［ｇｃｊ（ｘ · ｃ）］ ２ 〉ｔ － γ × 〈［ｇｃｊ（ｘ · ｃ′）］ ２ 〉ｔ ＝ ω Ｔ ｃｊ 〈ｘ · ｃ ｘ ·Ｔ ｃ 〉ｔ － γ × 〈ｘ · ｃ′ ｘ ·Ｔ ｃ′〉ｔ [ ] ωｃｊ （８） 且满足以下条件： 〈ｇｃｊ（ｘｃ∪ｃ′）〉ｔ ＝ ０ （９） 〈［ｇｃｊ（ｘｃ∪ｃ′）］ ２ 〉ｔ ＝ １ （１０） ∀ｊ′ ＜ ｊ：〈ｇｃｊ′（ｘｃ∪ｃ′）ｇｃｊ（ｘｃ∪ｃ′）〉ｔ ＝ ０ （１１） 式中： ωｃｊ 是第 ｃ 类第 ｊ 个慢特征函数的权值向量， γ 是权衡参数。 求解最小值问题可以转化为求解一般的特征值 问题： ＡＷ ＝ ＢＷΛ ， 其 中 Ａ ＝ （ 〈ｘｃ ｘ Ｔ ｃ 〉ｔ － γ × 〈ｘｃ ′ ｘ Ｔ ｃ ′〉ｔ） ， Ｂ ＝ 〈ｘｃ∪ｃ′ ｘ Ｔ ｃ∪ｃ′〉ｔ ， Λ 是特征值组成的 对角矩阵， Ｗ 是相应的特征向量。 ２ 视频中人体行为的慢特征提取 本文提出的视频中人体行为慢特征的提取主要 包括 ３ 个部分：收集训练立方体、Ｄ⁃ＳＦＡ 算法提取慢 特征和构建 ＡＳＤ 特征表示。 ２．１ 收集训练立方体 收集训练立方体是由视频图像序列构建出原始 输入信号 ｘ（ ｔ） 的一种方法。 首先对原始视频进行 处理，得到帧差图像序列。 以选定的某一帧图像作 为初始帧，检测其特征点［１４］ ，然后使用光流法对特 征点进行跟踪［１５－１６］ ，从而得到视频中所有特征点对 应的轨迹集合。 对于轨迹集合中的每条轨迹，提取 其中各个轨迹点 ｗ × ｗ 邻域内的像素值，形成一系 列的像素块，考虑到时间信息，通过 Δｔ 个相继帧对 每个点的像素块序列进行整合，本文取 Δｔ ＝ ３。 进 一步对所有的特征点进行整合后得到训练立方体， 即构建出了输入向量 ｘ（ ｔ）。 图 １ 给出了训练立方 体的获取过程。 图 １ 训练立方体的获取过程 Ｆｉｇ． １ Ｔｈｅ ｐｒｏｃｅｓｓ ｏｆ ｏｂｔａｉｎｉｎｇ ｔｒａｉｎｉｎｇ ｃｕｂｏｉｄｓ ２．２ Ｄ⁃ＳＦＡ 算法提取慢特征 慢特征分析方法是实现提取慢特征任务而提出 的一种学习算法。 ＳＦＡ 算法是一种非监督学习算 法，它在人体行为视频中提取慢特征的思想是：不同 种类的行为视频收集到的训练立方体混合在一起用 于慢特征函数的机器学习，然后用学习出来的慢特 征函数提取出慢特征。 由于不能编码有监督信息， 所以提取出来的慢特征在行为间没有很好的区分 力。 Ｄ⁃ＳＦＡ 算法在学习过程中引入了监督信息，其 第 ３ 期 陈婷婷，等：视频中人体行为的慢特征提取算法 ·３８３·