第10卷第2期 智能系统学报 Vol.10 No.2 2015年4月 CAAI Transactions on Intelligent Systems Apr.2015 D0:10.3969/j.issn.1673-4785.201407009 网络出版地址：http://www.enki..net/kcms/detail/23.1538.TP.20150302.1106.008.html 基于语义分层的行为推理框架 聂慧饶，陶霖密 (清华大学计算机科学与技术系，北京100084) 摘要：人类行为理解是实现“人本计算”模式的基础，其本质在于获取行为的语义，即由动作特征推导人体的行为， 需要跨越两者之间的语义鸿沟：为此提出了环境上下文进行隐式建模的方法，并基于此提出了语义分层的行为推理 框架，该框架使用了从模糊语义到确定语义的渐近式推理。根据知识将特征合理地分为多个层次，系统则根据当前 状态去提取所需要的特征，推理当前可能的候选行为集：并由该候选行为集指导处理模块，更新特征集并进行新一 轮的推理，反复迭代至推理完成。应用提出的环境建模方法和渐近推理框架可以有效地实现行为理解。使用隐式环 境方法可以提高行为理解的准确率：渐近式推理框架可以避免传统推理方法无差别地提取所有特征，从而提升了推 理效率。 关键词：行为理解：特征行为关系：环境上下文：语义分层：分层推理框架 中图分类号：TP301.6文献标志码：A文章编号：1673-4785(2015)02-0178-09 中文引用格式：聂慧饶，陶霖密.基于语义分层的行为推理框架[J].智能系统学报，2015,10(2)：178-186. 英文引用格式：NIE Huirao,TAO Linmi..Inference framework for activity recognition based on multiple semantic layers[J】.CAAI Transactions on Intelligent Systems,2015,10(2):178-186. Inference framework for activity recognition based on multiple semantic layers NIE Huirao,TAO Linmi (Department of Computer Science and Technology,Tsinghua University,Beijing 100084,China) Abstract:Human activity recognition is the core of the implementation of human-centered computing(HCC), whose nature is to acquire activities'semanteme.The basic problem is the semantic gap between observable actions and human activities.They should be bridged by environment context based inference.In this paper,a method is proposed to model the environment context implicitly.Further,a novel semanteme multilayered activity inference framework was presented,which divided the inferring process into 2 stages.One stage used to acquire fuzzy seman- teme and another one to acquire accurate semanteme.The feature set was divided into different subsets according to knowledge.The system extracts the corresponding features according to the current state and obtains the possible set of candidate activities that can instruct the system to update the current feature set.Update the features set and infer it,the process continues until the inference is completed.The modeling method and progressive inference frame- work proposed could handle the activity-recognition problem well.Implicitly modeling the environment context could improve the accuracy of activity recognition.The progressive framework can improve the efficiency by avoiding ex- tracting all features indistinguishably,whose validity was proven in the data set. Keywords:activity recognition;feature activity relation;environment context;semantic layer;multilayer inference framework 收稿日期：2014-07-04.网络出版日期：2015-03-02. Pantic等)提出了“人本计算”(human-centered 基金项目：国家“863”计划资助项目(2012AA011602):国家自然科学基 金资助项目(61272232). computing,HCC)的概念；这种模式被认为是未来的计 通信作者：聂慧饶.E-mail:sangoblin@yeah..net第 １０ 卷第 ２ 期 智 能 系 统 学 报 Ｖｏｌ．１０ №．２ ２０１５ 年 ４ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ａｐｒ． ２０１５ ＤＯＩ：１０．３９６９ ／ ｊ．ｉｓｓｎ．１６７３⁃４７８５．２０１４０７００９ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ＴＰ．２０１５０３０２．１１０６．００８．ｈｔｍｌ 基于语义分层的行为推理框架 聂慧饶，陶霖密 （清华大学 计算机科学与技术系，北京 １０００８４） 摘 要：人类行为理解是实现“人本计算”模式的基础，其本质在于获取行为的语义，即由动作特征推导人体的行为， 需要跨越两者之间的语义鸿沟；为此提出了环境上下文进行隐式建模的方法，并基于此提出了语义分层的行为推理 框架，该框架使用了从模糊语义到确定语义的渐近式推理。 根据知识将特征合理地分为多个层次，系统则根据当前 状态去提取所需要的特征，推理当前可能的候选行为集；并由该候选行为集指导处理模块，更新特征集并进行新一 轮的推理，反复迭代至推理完成。 应用提出的环境建模方法和渐近推理框架可以有效地实现行为理解。 使用隐式环 境方法可以提高行为理解的准确率；渐近式推理框架可以避免传统推理方法无差别地提取所有特征，从而提升了推 理效率。 关键词：行为理解；特征行为关系；环境上下文；语义分层；分层推理框架 中图分类号： ＴＰ３０１．６ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１５）０２⁃０１７８⁃０９ 中文引用格式：聂慧饶，陶霖密． 基于语义分层的行为推理框架［Ｊ］． 智能系统学报， ２０１５， １０（２）： １７８⁃１８６． 英文引用格式：ＮＩＥ Ｈｕｉｒａｏ， ＴＡＯ Ｌｉｎｍｉ． Ｉｎｆｅｒｅｎｃｅ ｆｒａｍｅｗｏｒｋ ｆｏｒ ａｃｔｉｖｉｔｙ ｒｅｃｏｇｎｉｔｉｏｎ ｂａｓｅｄ ｏｎ ｍｕｌｔｉｐｌｅ ｓｅｍａｎｔｉｃ ｌａｙｅｒｓ［Ｊ］． ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ， ２０１５， １０（２）： １７８⁃１８６． Ｉｎｆｅｒｅｎｃｅ ｆｒａｍｅｗｏｒｋ ｆｏｒ ａｃｔｉｖｉｔｙ ｒｅｃｏｇｎｉｔｉｏｎ ｂａｓｅｄ ｏｎ ｍｕｌｔｉｐｌｅ ｓｅｍａｎｔｉｃ ｌａｙｅｒｓ ＮＩＥ Ｈｕｉｒａｏ， ＴＡＯ Ｌｉｎｍｉ （Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ， Ｔｓｉｎｇｈｕａ Ｕｎｉｖｅｒｓｉｔｙ， Ｂｅｉｊｉｎｇ １０００８４， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｈｕｍａｎ ａｃｔｉｖｉｔｙ ｒｅｃｏｇｎｉｔｉｏｎ ｉｓ ｔｈｅ ｃｏｒｅ ｏｆ ｔｈｅ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆ ｈｕｍａｎ⁃ｃｅｎｔｅｒｅｄ ｃｏｍｐｕｔｉｎｇ （ ＨＣＣ）， ｗｈｏｓｅ ｎａｔｕｒｅ ｉｓ ｔｏ ａｃｑｕｉｒｅ ａｃｔｉｖｉｔｉｅｓ′ ｓｅｍａｎｔｅｍｅ． Ｔｈｅ ｂａｓｉｃ ｐｒｏｂｌｅｍ ｉｓ ｔｈｅ ｓｅｍａｎｔｉｃ ｇａｐ ｂｅｔｗｅｅｎ ｏｂｓｅｒｖａｂｌｅ ａｃｔｉｏｎｓ ａｎｄ ｈｕｍａｎ ａｃｔｉｖｉｔｉｅｓ． Ｔｈｅｙ ｓｈｏｕｌｄ ｂｅ ｂｒｉｄｇｅｄ ｂｙ ｅｎｖｉｒｏｎｍｅｎｔ ｃｏｎｔｅｘｔ ｂａｓｅｄ ｉｎｆｅｒｅｎｃｅ． Ｉｎ ｔｈｉｓ ｐａｐｅｒ， ａ ｍｅｔｈｏｄ ｉｓ ｐｒｏｐｏｓｅｄ ｔｏ ｍｏｄｅｌ ｔｈｅ ｅｎｖｉｒｏｎｍｅｎｔ ｃｏｎｔｅｘｔ ｉｍｐｌｉｃｉｔｌｙ． Ｆｕｒｔｈｅｒ， ａ ｎｏｖｅｌ ｓｅｍａｎｔｅｍｅ ｍｕｌｔｉｌａｙｅｒｅｄ ａｃｔｉｖｉｔｙ ｉｎｆｅｒｅｎｃｅ ｆｒａｍｅｗｏｒｋ ｗａｓ ｐｒｅｓｅｎｔｅｄ， ｗｈｉｃｈ ｄｉｖｉｄｅｄ ｔｈｅ ｉｎｆｅｒｒｉｎｇ ｐｒｏｃｅｓｓ ｉｎｔｏ ２ ｓｔａｇｅｓ． Ｏｎｅ ｓｔａｇｅ ｕｓｅｄ ｔｏ ａｃｑｕｉｒｅ ｆｕｚｚｙ ｓｅｍａｎ⁃ ｔｅｍｅ ａｎｄ ａｎｏｔｈｅｒ ｏｎｅ ｔｏ ａｃｑｕｉｒｅ ａｃｃｕｒａｔｅ ｓｅｍａｎｔｅｍｅ． Ｔｈｅ ｆｅａｔｕｒｅ ｓｅｔ ｗａｓ ｄｉｖｉｄｅｄ ｉｎｔｏ ｄｉｆｆｅｒｅｎｔ ｓｕｂｓｅｔｓ ａｃｃｏｒｄｉｎｇ ｔｏ ｋｎｏｗｌｅｄｇｅ． Ｔｈｅ ｓｙｓｔｅｍ ｅｘｔｒａｃｔｓ ｔｈｅ ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｆｅａｔｕｒｅｓ ａｃｃｏｒｄｉｎｇ ｔｏ ｔｈｅ ｃｕｒｒｅｎｔ ｓｔａｔｅ ａｎｄ ｏｂｔａｉｎｓ ｔｈｅ ｐｏｓｓｉｂｌｅ ｓｅｔ ｏｆ ｃａｎｄｉｄａｔｅ ａｃｔｉｖｉｔｉｅｓ ｔｈａｔ ｃａｎ ｉｎｓｔｒｕｃｔ ｔｈｅ ｓｙｓｔｅｍ ｔｏ ｕｐｄａｔｅ ｔｈｅ ｃｕｒｒｅｎｔ ｆｅａｔｕｒｅ ｓｅｔ． Ｕｐｄａｔｅ ｔｈｅ ｆｅａｔｕｒｅｓ ｓｅｔ ａｎｄ ｉｎｆｅｒ ｉｔ， ｔｈｅ ｐｒｏｃｅｓｓ ｃｏｎｔｉｎｕｅｓ ｕｎｔｉｌ ｔｈｅ ｉｎｆｅｒｅｎｃｅ ｉｓ ｃｏｍｐｌｅｔｅｄ． Ｔｈｅ ｍｏｄｅｌｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｐｒｏｇｒｅｓｓｉｖｅ ｉｎｆｅｒｅｎｃｅ ｆｒａｍｅ⁃ ｗｏｒｋ ｐｒｏｐｏｓｅｄ ｃｏｕｌｄ ｈａｎｄｌｅ ｔｈｅ ａｃｔｉｖｉｔｙ⁃ｒｅｃｏｇｎｉｔｉｏｎ ｐｒｏｂｌｅｍ ｗｅｌｌ． Ｉｍｐｌｉｃｉｔｌｙ ｍｏｄｅｌｉｎｇ ｔｈｅ ｅｎｖｉｒｏｎｍｅｎｔ ｃｏｎｔｅｘｔ ｃｏｕｌｄ ｉｍｐｒｏｖｅ ｔｈｅ ａｃｃｕｒａｃｙ ｏｆ ａｃｔｉｖｉｔｙ ｒｅｃｏｇｎｉｔｉｏｎ． Ｔｈｅ ｐｒｏｇｒｅｓｓｉｖｅ ｆｒａｍｅｗｏｒｋ ｃａｎ ｉｍｐｒｏｖｅ ｔｈｅ ｅｆｆｉｃｉｅｎｃｙ ｂｙ ａｖｏｉｄｉｎｇ ｅｘ⁃ ｔｒａｃｔｉｎｇ ａｌｌ ｆｅａｔｕｒｅｓ ｉｎｄｉｓｔｉｎｇｕｉｓｈａｂｌｙ， ｗｈｏｓｅ ｖａｌｉｄｉｔｙ ｗａｓ ｐｒｏｖｅｎ ｉｎ ｔｈｅ ｄａｔａ ｓｅｔ． Ｋｅｙｗｏｒｄｓ：ａｃｔｉｖｉｔｙ ｒｅｃｏｇｎｉｔｉｏｎ； ｆｅａｔｕｒｅ ａｃｔｉｖｉｔｙ ｒｅｌａｔｉｏｎ； ｅｎｖｉｒｏｎｍｅｎｔ ｃｏｎｔｅｘｔ； ｓｅｍａｎｔｉｃ ｌａｙｅｒ； ｍｕｌｔｉｌａｙｅｒ ｉｎｆｅｒｅｎｃｅ ｆｒａｍｅｗｏｒｋ 收稿日期：２０１４⁃０７⁃０４． 网络出版日期：２０１５⁃０３⁃０２． 基金项目：国家“８６３”计划资助项目（２０１２ＡＡ０１１６０２）；国家自然科学基 金资助项目（６１２７２２３２）． 通信作者：聂慧饶． Ｅ⁃ｍａｉｌ：ｓａｎｇｏｂｌｉｎ＠ ｙｅａｈ．ｎｅｔ． Ｐａｎｔｉｃ 等［１］ 提出了“人本计算” （ｈｕｍａｎ⁃ｃｅｎｔｅｒｅｄ ｃｏｍｐｕｔｉｎｇ，ＨＣＣ）的概念；这种模式被认为是未来的计