第2期 聂慧饶，等：基于语义分层的行为推理框架 ·181- (用户可以同时发生多个行为)。事实上人的推理 到(0,1)的概率值，也便于处理同一时刻下多个不 过程也并非一次完成的，人们总是会根据当前观测 同行为的发生。 的特征对即将发生的行为作出初步的判断，而后根 愿 =oAj=1 多路视频数据 据初步判断的结果去寻找可以证明或者证伪初步判 断的新的特征。例如，甲向乙伸出手时，乙初步判断 过 确定当前公有观测特征F 程 甲想要同乙握手或者攻击乙，此时乙开始寻找额外 模 的特征，若甲的手向乙的运动而去，则甲想要同乙握 糊 P(dF) 确定新的公有观 i=1,2N) 测特征Fj+1 手，反之则是要攻击乙。 假定系统中共有N个行为需要识别，将该原始 确定新的候选集 行为集记作A={a1,a2,…,ax};系统可以获得的总 =J-1 特征数为M个，总特征集记.F={fi,f,…,f}。这 y 些特征包含了公有特征集以及私有特征集中的元 获 确定中的每个元素的专有特征 取 素，其中月={2，…，月w}G=1,2,…,Jk= 1,2,…,K)为公有特征集，含有M个元素，而J为 定 P(d F) 得到Am (i=1,2,W 推理的总次数，K为第j次推理时候选行为集合。州 义 的总个数：私有特征集针对，A中的每个元素进行定 图3分层推理流程图 义，因此可以得到N个行为的私有特征集，F:= Fig.3 Flow chart of multilayer inference {f,f2,…,}(i=1,2,…,N),对于第i个私有 进行分层次推理时，需要训练出多组逻辑回归 特征集，其含有，M个元素。则有 模型以适应不同的推理层次。令，X= (UF)U(0F)=.F [p2…xm](k∈{1,2，…，K})为第j (UF)0(UF=8 次推理时观测到的公有特征向量，即。x(i=1,2, 推理时则如前所述，第j次推理时可以先依据 …,M)对应于的观测值，第j次推理时的特征 当前的公有特征集，FPn(cur∈{1,2，…，K})从 对行为的贡献度为，W= 中得到模糊语义满足观测的候选集，， [01p02…ph4](z=1,2,…,e八-1） N=,,…心}N是的元素的个数且 其中。d:即表示第j次推理时f对a。的影响。则 (A=AA=A 第1次到第J-1次推理时用到的逻辑回归模型为 NN1j=1,2,,J P(a=a.1X)= 通常NN。在第J次推理时，遍历A1的成 exp(,W‘) 员a1(i=1,2,…,1),根据对a1的私有特 ,2=1,2,…,eN-1-1 征集，F,中的成员进行观测，可以得出Am。该过程 1+m,脱) 如图3所示。需要注意的是，该推理框架可以通过 P(a=a:I X)= 不同的推理方法予以实现，后文当中分别使用了逻 辑回归和HMM对框架进行了实现。 N-1 -,2=N- 3.2基于单帧的推理方法 1+∑exp(,职) 基于单帧的推理方法，即在推理时只使用当前 对于第j层逻辑回归模型，设定阈值 视频帧所观测的特征进行行为理解，其优点在于推 Threshold,若P(.a=a,I,X)>Threshold,则a: 理方式相对简单，计算量较小，可以快速地完成，而 会被添加至。对于第J次推理，需要判断。A-中 其缺点在于不使用时间上下文，从而对于噪声的抗 的每个成员是否属于Am,因此需要对于所有的行 性较差。基于单帧的推理方法有逻辑回归、支持向 为都训练一个二项逻辑回归模型，即根据特征判断 量机以及决策树等。本文实现时使用了逻辑回归模 该行为发生或者没有发生，对于行为a(m∈{1， 型作为实现单帧推理的方法，可以方便地得到对齐 2,…,V-1}),第J次推理时用到的特征向量X为（用户可以同时发生多个行为）。 事实上人的推理 过程也并非一次完成的，人们总是会根据当前观测 的特征对即将发生的行为作出初步的判断，而后根 据初步判断的结果去寻找可以证明或者证伪初步判 断的新的特征。 例如，甲向乙伸出手时，乙初步判断 甲想要同乙握手或者攻击乙，此时乙开始寻找额外 的特征，若甲的手向乙的运动而去，则甲想要同乙握 手，反之则是要攻击乙。 假定系统中共有 Ｎ 个行为需要识别，将该原始 行为集记作ｏＡ ＝ ｛ａ１ ，ａ２ ，…，ａＮ ｝；系统可以获得的总 特征数为 Ｍ 个，总特征集记ｏＦ ＝ ｛ｆ １ ，ｆ ２ ，…，ｆＭ ｝。 这 些特征包含了公有特征集以及私有特征集中的元 素，其中 ｐＦ ｊ ｋ ＝ ｛ｐ ｆ ｊ ｋ１ ，ｐ ｆ ｊ ｋ２ ，…，ｐ ｆ ｊ ｋｐＭｊ ｋ ｝（ｊ ＝ １，２，…，Ｊ；ｋ ＝ １，２，…，Ｋｊ） 为公有特征集，含有ｐＭｋ ｊ个元素，而 Ｊ 为 推理的总次数，Ｋｊ为第 ｊ 次推理时候选行为集合ｃ Ａ ｊ 的总个数；私有特征集针对ｏＡ 中的每个元素进行定 义，因此可以得到 Ｎ 个行为的私有特征集， ｓＦｉ ＝ ｛ｓ ｆ ｉ１ ，ｓ ｆ ｉ２ ，…，ｓ ｆ ｉ ｓＭｉ ｝（ｉ ＝ １，２，…，Ｎ） ，对于第 ｉ 个私有 特征集，其含有ｓＭｉ个元素。 则有 ∪ＫＪ－１ ｉ ＝ １ ｐＦ Ｊ－１ ｉ { } ∪ ∪Ｎ ｉ ＝ １ ｓＦｉ { } ＝ｏＦ ∪ＫＪ－１ ｉ ＝ １ ｐＦ Ｊ－１ ｉ { } ∩ ∪Ｎ ｉ ＝ １ ｓＦｉ { { } ＝ ⌀ 推理时则如前所述，第 ｊ 次推理时可以先依据 当前的公有特征集 ｐＦ ｊ ｃｕｒｒ（ｃｕｒｒ ∈ ｛１，２，…，Ｋｊ｝） 从 ｃＡ ｊ－１ 中 得 到 模 糊 语 义 满 足 观 测 的 候 选 集ｃＡ ｊ ， ｃＡ ｊ ＝｛ｃａ ｊ １ ，ｃａ ｊ ２ ，…，ｃａ ｊ ｃ Ｎｊ ｝ ，ｃＮｊ是ｃＡ ｊ的元素的个数且 ｃＡ ０ ＝ｏＡ，ｃＡ Ｊ ＝ Ａｃｕｒｒ ｃＡ ｊ ⊆ｃＡ ｊ－１ { ，ｊ ＝ １，２，．．．，Ｊ 通常ｃＮＪ≪Ｎ。 在第 Ｊ 次推理时，遍历 ｃＡ Ｊ－１ 的成 员 ｃａ Ｊ－１ ｉ （ｉ ＝ １，２，…，ｃＮ Ｊ－１ ） ，根据对 ｃａ Ｊ－１ ｉ 的私有特 征集 ｓＦｉ 中的成员进行观测，可以得出 Ａｃｕｒｒ。 该过程 如图 ３ 所示。 需要注意的是，该推理框架可以通过 不同的推理方法予以实现，后文当中分别使用了逻 辑回归和 ＨＭＭ 对框架进行了实现。 ３．２ 基于单帧的推理方法 基于单帧的推理方法，即在推理时只使用当前 视频帧所观测的特征进行行为理解，其优点在于推 理方式相对简单，计算量较小，可以快速地完成，而 其缺点在于不使用时间上下文，从而对于噪声的抗 性较差。 基于单帧的推理方法有逻辑回归、支持向 量机以及决策树等。 本文实现时使用了逻辑回归模 型作为实现单帧推理的方法，可以方便地得到对齐 到（０，１）的概率值，也便于处理同一时刻下多个不 同行为的发生。 图 ３ 分层推理流程图 Ｆｉｇ．３ Ｆｌｏｗ ｃｈａｒｔ ｏｆ ｍｕｌｔｉｌａｙｅｒ ｉｎｆｅｒｅｎｃｅ 进行分层次推理时，需要训练出多组逻辑回归 模 型 以 适 应 不 同 的 推 理 层 次。 令 ｐＸ ｊ ｋ ＝ ［ｐ ｘ ｊ ｋ１ ｐ ｘ ｊ ｋ２ … ｐ ｘｋ ｊ ｐＭｊ ｋ ］（ｋ ∈ ｛１，２，…，Ｋｊ｝） 为第 ｊ 次推理时观测到的公有特征向量，即 ｐ ｘ ｊ ｋｉ（ｉ ＝ １，２， …，ｐＭ ｊ ｋ） 对应于 ｐ ｆ ｊ ｋｉ 的观测值，第 ｊ 次推理时的特征 对 行 为 的 贡 献 度 为 ｐＷ ｊ ｚｋ ＝ ［ ｐｗ ｊ ｚ，ｋ１ ｐｗ ｊ ｚ，ｋ２ … ｐｗ ｊ ｚ，ｋ ｐ Ｍｊ ｋ］ （ｚ ＝ １，２，…，ｃＮｊ－１ ） ， 其中 ｐｗ ｊ ｚ，ｉ 即表示第 ｊ 次推理时 ｐ ｆ ｊ ｋｉ 对 ａｎ 的影响。 则 第 １ 次到第 Ｊ－１ 次推理时用到的逻辑回归模型为 Ｐ（ｃａ ＝ ａｚ ｜ ｐＸ ｊ ｋ） ＝ ｅｘｐ（ｐＷ ｊ ｚｋ·ｐＸ ｊ ｋ） １ ＋ ∑ Ｎ－１ ｉ ＝ １ ｅｘｐ（ｐＷ ｊ ｉｋ·ｐＸ ｊ ｋ） ，ｚ ＝ １，２，…，ｃＮｊ－１ － １ Ｐ（ｃａ ＝ ａｚ ｜ ｐＸ ｊ ｋ） ＝ １ １ ＋ ∑ Ｎ－１ ｉ ＝ １ ｅｘｐ（ｐＷ ｊ ｉｋ·ｐＸ ｊ ｋ） ，ｚ ＝ｃＮｊ－１ ì î í ï ï ï ï ï ï ï ï ï ï ï ï 对 于 第 ｊ 层 逻 辑 回 归 模 型， 设 定 阈 值 Ｔｈｒｅｓｈｏｌｄ ｊ ，若 Ｐ（ｃａ ＝ ａｚ ｜ ｐＸ ｊ ｋ） ＞ Ｔｈｒｅｓｈｏｌｄ ｊ ，则 ａｚ 会被添加至ｃＡ ｊ 。 对于第 Ｊ 次推理，需要判断ｃＡ Ｊ－１中 的每个成员是否属于 Ａｃｕｒｒ，因此需要对于所有的行 为都训练一个二项逻辑回归模型，即根据特征判断 该行为发生或者没有发生，对于行为 ｃａ Ｊ ｍ（ｍ ∈ ｛１， ２，…，ｃＮｊ－１ ｝） ，第 Ｊ 次推理时用到的特征向量 Ｘ Ｊ ｍ 为 第 ２ 期 聂慧饶，等：基于语义分层的行为推理框架 ·１８１·