智能系统学报 第2卷 作.但是回归图识别方法在处理一些动作之间的关 应用.H.H.Bui,S.Venkatesh等人提出了一种在 系上还存在着一定的问题，识别也只限制在 有噪音和不确定性领域中识别智能体行为的方 STRIPS域，同时只有具有了较完整的领域知识才 法)，它可跨越多层抽象，即在抽象概率推理中应 可以完成相关的识别工作 用抽象马尔可夫策略(abstract Markov policies, 2.12基于隐马尔可夫模型的规划识别 AMP)作为智能体行为的模型，且在动态贝叶斯网 俄国统计学家安德列·马尔可夫最早深入研究 络中应用概率推理，从一系列观察中推断出正确的 了满足马尔可夫假设的过程—当前状态只依赖于 策略.AMP是马尔可夫决策过程(MDP)一个策略 过去有限的已出现的状态历史.马尔可夫假设最初 的扩展.原始的MDP被模型化为2层：原始动作层 是用来解决随机过程问题的.随着马尔可夫模型的 和规划层（也就是策略）.而AMP是多层的，顶层是 不断完善与成熟，近些年来一些人工智能学者把马 最抽象的策略（记为x,t时刻的高层策略记为 尔可夫模型引入到识别中，并将其发展成为解决识 Tx),抽象程度依次下降，底层为策略层，即原始动 别问题的重要方法，其中以隐马尔可夫模型(hidden 作层.当执行上层的抽象策略时会引发下层抽象策 Markov model,HMM)为主要模型B 略的执行，依次向下直到执行到底层策略！给定 隐马尔可夫模型在识别问题上受到了很大的关 当前的观察序列状态系列，相应的策略识别问题 注，在随后的研究中又根据不同的应用领域和情况 可以形式化为计算当前策略的条件概率.在t时刻， 发展了多种基于隐马尔可夫模型的方法.其中，N. 给定观察序列，AMP关心的是在当前状态下所有 Oliver,E.Horvitz和A.Garg提出了一种层隐马 第k层策略的概率，这样就知道了从当前动作层 尔可夫模型3I(layered hidden Markov model,LH- (k=0)到高层策略(k=)在所有抽象层上智能体 HM),提出这种表示主要是想通过减少训练和调整 行为的相关信息.策略识别问题的解决还建立在信 需求来分解参数空间，LHHM可以看成是对HMM 度状态(belief state)和基于状态空间区域分解 的层叠.在这个层模型中，体系结构每一层都通过它 (state-space regiom based decomposition)的基础 推理出的结果与下一层相连接.这种表示把问题分 割为不同的层，这些层可以运行在不同的时序粒度 执行高层策略x的过程可以用一个动态贝叶 上，即允许从在多个特定时刻的逐点观察到不同时 斯网络DBN表示，如图1，这一过程可以命名为抽 序间隔的解释的时序抽象.Kevin Murphy提到了一 象马尔可夫模型(abstract markov model,AMM). 种隐半马尔可夫模型1(HSMM),它是一种类马尔 当状态是部分可观察时，一个观察层可以附属于一 可夫模型，其主要特点是对于每个状态都可以忽略 个状态层，如图1.因为状态像HMM一样被隐藏 观察的序列 所以得到的结果称为抽象隐马尔可夫模型(abstract 隐马尔可夫模型主要应用在语音识别、机器视 hidden Markov model).AHMM是HMM的扩展， 觉（人脸检测，机器人足球）、图像处理（图像去噪、图 HMM中的单链由多层隐链代替，也可以说 像识别)、人机交互系统中的人类行为的自动与半自 AHMM是动态概率网络(DPN,也称动态贝叶斯网 动识别、生物医学分析(DNA/蛋白质序列分析)等 络)的一种特殊形式，其中DPN是一种特殊的贝叶 方面.隐马尔可夫模型因其研究的透彻性以及算法 斯网络，可以处理具有时序动态变化的环境2] 的成熟性，使它在识别领域中具有很高的效率，识别 AHMM的基础是多层贝叶斯动态结构，连续2层 效果好，同时也易于训练.但它也存在着一定的问 之间的连接是较高层较抽象路径向较低层改进路径 题，比如缺乏结构性，参数过量，在用训练数据进行 的分解.智能体想要实现高层目标时，它可以通过层 长而复杂的时序序列推理时，易产生数据过拟合（过 层关系在不同的抽象层创建一系列子目标，直到底 拟合是指模型不能拟合未来的数据).正因为HMM 层状态层，以这样的过程来实现这个高层目标.实际 具有以上的缺陷才导致复杂贝叶斯网络在识别上的 上AHMM的识别与AMP的识别过程在本质上是 发展和应用 没有区别的 2.13基于抽象策略的规划识别 策略识别和AHMM都适用在大规模的空间环 抽象(abstraction)在智能体规划其行为的方式 境，这样的环境具有复杂的空间布局、大的状态空间 上起着非常重要的作用，特别是在大的规划领域中 等特点，它可以处理不满足马尔可夫假设的问题.但 降低计算复杂度上，抽象显得尤为重要.有了抽象的 是策略识别与AHMM识别在信度状态上的计算量 规划方法，自然容易让人想到抽象在规划识别上的 仍然很大，虽然也采取了一些方法降低计算复杂 1994-2009 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net作. 但是回归图识别方法在处理一些动作之间的关 系上 还 存 在 着 一 定 的 问 题 , 识 别 也 只 限 制 在 STRIPS 域 ,同时只有具有了较完整的领域知识才 可以完成相关的识别工作. 2112 基于隐马尔可夫模型的规划识别 俄国统计学家安德列 ·马尔可夫最早深入研究 了满足马尔可夫假设的过程 ———当前状态只依赖于 过去有限的已出现的状态历史. 马尔可夫假设最初 是用来解决随机过程问题的. 随着马尔可夫模型的 不断完善与成熟 ,近些年来一些人工智能学者把马 尔可夫模型引入到识别中 ,并将其发展成为解决识 别问题的重要方法 ,其中以隐马尔可夫模型(hidden Markov model , HMM) 为主要模型[37 ] . 隐马尔可夫模型在识别问题上受到了很大的关 注 ,在随后的研究中又根据不同的应用领域和情况 发展了多种基于隐马尔可夫模型的方法. 其中 ,N. Oliver ,E. Horvitz 和 A. Garg 提出了一种层隐马 尔可夫模型[38 ] (layered hidden Markov model ,L H2 HM) ,提出这种表示主要是想通过减少训练和调整 需求来分解参数空间 ,L H HM 可以看成是对 HMM 的层叠. 在这个层模型中 ,体系结构每一层都通过它 推理出的结果与下一层相连接. 这种表示把问题分 割为不同的层 ,这些层可以运行在不同的时序粒度 上 ,即允许从在多个特定时刻的逐点观察到不同时 序间隔的解释的时序抽象. Kevin Murp hy 提到了一 种隐半马尔可夫模型[39 ] ( HSMM) ,它是一种类马尔 可夫模型 ,其主要特点是对于每个状态都可以忽略 观察的序列. 隐马尔可夫模型主要应用在语音识别、机器视 觉(人脸检测 ,机器人足球) 、图像处理(图像去噪、图 像识别) 、人机交互系统中的人类行为的自动与半自 动识别、生物医学分析 (DNA/ 蛋白质序列分析) 等 方面. 隐马尔可夫模型因其研究的透彻性以及算法 的成熟性 ,使它在识别领域中具有很高的效率 ,识别 效果好 ,同时也易于训练. 但它也存在着一定的问 题 ,比如缺乏结构性 ,参数过量 ,在用训练数据进行 长而复杂的时序序列推理时 ,易产生数据过拟合(过 拟合是指模型不能拟合未来的数据) . 正因为 HMM 具有以上的缺陷才导致复杂贝叶斯网络在识别上的 发展和应用. 2113 基于抽象策略的规划识别 抽象(abstraction) 在智能体规划其行为的方式 上起着非常重要的作用 ,特别是在大的规划领域中 降低计算复杂度上 ,抽象显得尤为重要. 有了抽象的 规划方法 ,自然容易让人想到抽象在规划识别上的 应用. H. H. Bui ,S. Venkatesh 等人提出了一种在 有噪音和不确定性领域中识别智能体行为的方 法[40 ] ,它可跨越多层抽象 ,即在抽象概率推理中应 用抽象马尔可夫策略 ( abstract Markov policies , AMP) 作为智能体行为的模型 ,且在动态贝叶斯网 络中应用概率推理 ,从一系列观察中推断出正确的 策略. AMP 是马尔可夫决策过程 (MDP) 一个策略 的扩展. 原始的 MDP 被模型化为 2 层 :原始动作层 和规划层(也就是策略) . 而 AMP 是多层的 ,顶层是 最抽象的策略 (记为πK , t 时刻的高层策略记为 πK ( t) ) ,抽象程度依次下降 ,底层为策略层 ,即原始动 作层. 当执行上层的抽象策略时会引发下层抽象策 略的执行 ,依次向下直到执行到底层策略[41 ] . 给定 当前的观察序列 (状态系列) ,相应的策略识别问题 可以形式化为计算当前策略的条件概率. 在 t 时刻 , 给定观察序列 , AMP 关心的是在当前状态下所有 第 k 层策略的概率 , 这样就知道了从当前动作层 ( k = 0) 到高层策略( k = K) 在所有抽象层上智能体 行为的相关信息. 策略识别问题的解决还建立在信 度状态 ( belief state ) 和基于状态空间区域分解 (state2space region2based decompo sition ) 的 基 础 上. 执行高层策略πK 的过程可以用一个动态贝叶 斯网络 DBN 表示 ,如图 1 ,这一过程可以命名为抽 象马尔可夫模型(abstract markov model , AMM) . 当状态是部分可观察时 ,一个观察层可以附属于一 个状态层 ,如图 1. 因为状态像 HMM 一样被隐藏 , 所以得到的结果称为抽象隐马尔可夫模型(abstract hidden Markov model) . A HMM 是 HMM 的扩展 , HMM 中 的 单 链 由 多 层 隐 链 代 替 , 也 可 以 说 A HMM 是动态概率网络(DPN ,也称动态贝叶斯网 络) 的一种特殊形式 ,其中 DPN 是一种特殊的贝叶 斯网络 ,可以处理具有时序动态变化的环境[42 ] . A HMM 的基础是多层贝叶斯动态结构 ,连续 2 层 之间的连接是较高层较抽象路径向较低层改进路径 的分解. 智能体想要实现高层目标时 ,它可以通过层 层关系在不同的抽象层创建一系列子目标 ,直到底 层状态层 ,以这样的过程来实现这个高层目标. 实际 上 A HMM 的识别与 AMP 的识别过程在本质上是 没有区别的. 策略识别和 A HMM 都适用在大规模的空间环 境 ,这样的环境具有复杂的空间布局、大的状态空间 等特点 ,它可以处理不满足马尔可夫假设的问题. 但 是策略识别与 A HMM 识别在信度状态上的计算量 仍然很大 ,虽然也采取了一些方法降低计算复杂 ·8 · 智 能 系 统 学 报 第 2 卷