第5卷第1期 智能系统学报 Vol.5 No.1 2010年2月 CAAI Transactions on Intelligent Systems Feh.2010 doi:10.3969/j.issn.16734785.2010.01.009 家庭智能空间下基于场景的人的行为理解 田国会，吉艳青，李晓磊 (山东大学控制科学与工程学院，山东济南250061) 摘要：为了更好地在日常生活中给人提供智能化服务，对家庭环境下人的行为理解问题进行了研究.首先利用运 动目标检测方法提取运动人体在环境中的坐标，然后结合行为特点把场景划分成不同区域，建立人体在环境中的位 置关联矩阵和时空关联矩阵.通过马尔可夫模型统计出人体在空间中的位置状态转移概率矩阵及其状态持续时间 矩阵，生成日常行为模板.根据当前行为与日常行为模板的相似度可检测出反常习惯和突发异常行为，同时可根据 不同区域的行为模式分析人的意图.在智能空间平台下利用机器视觉技术基于场景信息实现了人的行为理解，并通 过实验表明了方法的有效性。 关键词：智能空间；机器视觉；场景信息；行为理解；异常检测；意图识别 中图分类号：TP391文献标识码：A文章编号：16734785(2010)010057-06 Human behaviors understanding based on scene knowledge in home intelligent space TIAN Guo-hui,JI Yan-qing,LI Xiao-lei (School of Control Science and Engineering,Shandong University,Ji'nan 250061,China) Abstract:Challenges in understanding human behavior in a home environment were studied in order to provide more intelligent services.First,spatial coordinates of human bodies were extracted from motion detector data. Then,by dividing the environment into different stations and observing the types of behavior typical at various peri- ods of time in that area,a station-based occupational matrix with a time dimension was established.After establis- hing the station state transitional probability matrix and the state duration time distribution matrix based on the Markov model,a daily behavioral template was constructed.Behavior outside of normal habits as well as behavior resulting from unexpected accidents could be detected in real-time by comparing the similarity of current behavior with templates showing typical daily behavior.At the same time,human intention could be predicted based on be- havior patterns typical in different areas.In this way,better understanding of human behavior becomes possible. The effectiveness of this method was proved by experiments. Keywords:intelligent space;machine vision;scene knowledge;behavioral understanding;anomaly detection;in- tention recognition 家庭服务机器人「设计的主要目标之一就是 比较.这类方法计算复杂度低、实现简单，但是对噪 能通过观察人的行为，正确理解人的意图，对病人、声和运动时间间隔的变化敏感.第2类，基于模型的 老人和小孩等进行监护.因此，行为理解是服务机器 方法[78]，该方法先采用人体2D或3D模型得到每 人为人提供服务的基础.现有的大部分行为理解方 一帧视频中的人体姿势，然后利用随时间变化的姿 法都是基于单一的机器视觉24.其方法主要有3 势来描述不同动作.该方法准确度高，但是计算量 类：第1类，基于时空特征的模式分析方法56，该方 大，对设备要求高，实时性差.第3类，基于图像统计 法首先将提取人体区域图像序列转换为一组静态形 处理的方法9]，主要是提取动作的关键帧图像特 状模式，然后在识别阶段和预先存储的行为样本相 征，进行训练和识别.这类方法能很好地识别固定的 收稿日期：2008-11-22. 姿态或者简单的动作。 基金项目：国家高技术研究发展计划重点资助项目(2006AA040206) 家庭环境下拍摄的图像背景杂乱，人体姿态复 通信作者：田国会，E-mail:g.h.tian@du.ed血，cn. 杂，衣着颜色风格各异，运动的时间间隔变化多端，因
58 智能系统学报 第5卷 此前面描述的行为分析的方法都很雅推应用于家庭行 式来分析人的意图 为理解系统.本文避开家庭环境中人体姿态提取难的 系统框图见图1，下文将具体论述各个部分的 问题和当前行为分析方法只对单个姿态或者一组动 实现过程，首先描述家庭智能空间的技术平台以及 作序列理解的局限，结合家庭智能空间平台提供的环 本文所利用的信息 境数据和区域行为模式、日常行为习惯信息，利用马 尔可夫模型建立行为模板，实现了人的反常习惯、突 2基于场景的行为模式和行为习惯 发异常行为的实时检测和人意图的正确理解。 2.1智能空间技术平台 应用于家庭服务机器人的智能空间把感知器 1 行为理解方案 件、执行器件分布在空间中相应的位置，实现对其中 家庭服务机器人行为理解系统需要识别人的意 物的位置、形状以及人的动作、行为等全面的感知和 图，预测人在行为过程的需要，提供适当的服务以提 理解，通过执行器实现相应的服务任务，同时能够为 高人的生活质量：检测人的异常行为（反常习惯和 机器人提供更加完备的环境信息，实现更加快捷、准 突发异常行为)，监控人的健康状况，提高人生活的 确、稳定的家庭服务工作.本文的家庭智能空间 安全感.涉及的关键问题是要建立一种适合机器人 中主要组成部分包括：分布式摄像机、网络设备、数 提供自主服务的意图识别模型；并且建立一种适合 据库和信息处理系统.图2所示是一个典型的家庭 服务机器人自主学习服务对象行为习惯和发现异常 智能空间的环境，分别在客厅、卧室、书房安装分布 行为的认知模型.家庭环境下的行为理解系统具体 式摄像机，分布式镊像机的安装要尽可能保证多视 实现步骤如下： 角、全方位地获取场景视频信息， 1)首先阐述智能空间技术平台和智能空间信 息系统中基于场景的区域行为模式和行为习惯， 书房 2)行为描述.利用多个摄像机的运动人体检测 方法确定人体在家庭环境中的位置，根据智能空间 卧室留 中场景的区域划分，将视频图像中获得的人体位置 客厅 关联到不同的区域，同时记录关联的顺序和时间，构 建位置关联矩阵和时空关联矩阵；统计出人体在空 间中的位置状态转移概率和位置状态持续时间概 海 率，生成日常行为模板。 图2家庭智能空间的典型环境 家庭智能空间 Fig.2 Home intelligent space 2.2行为模式和行为习惯的数学表示 运动人休位置的提取 ☒ State 9 书菜、书四 药品篇 时空关联 位置关联 时 位置状态转移 仗域行为模式 状态持续时间 沙发 意图识别 日常为模板 反常习惯 突发异常行为 图3家庭智能空间区域状态模型 Fig.3 Home intelligent space scene state model 图1系统流程图 不同的场景对应不同的行为，例如，人在书桌和 Fig.1 The system flow chart 书橱前对应的正常行为是读书，突发异常行为是长 3)行为检测.将当前的行为数据与日常行为模 时间地趴在书桌上，根据不同场景对应不同行为模 板匹配，根据匹配的相似度，判断人的反常习惯、突 式，将家庭智能空间划分为不同的区域状态.图3表 发异常行为；通过匹配人的位置、时间和区域行为模 示数据库系统中存储的基于场景的区域状态划分
第1期 田国会，等：家庭智能空间下基于场景的人的行为理解 ·59 共l0个状态.Statel~State9的区域如图3所示，其 式是看电视和休息(Rest/Watch TV),书桌区域 中Sate0是去除已经划分的状态外的区域，描述为 Sate9的日常行为模式为学习(Study). 自由区域状态 把老年人在日常生活中出现的非主观意愿支配 基于场景的行为模式是统计人体在不同区域状 的，具有一定特殊性、偶然性、不可以准确预期的异 态的活动，将其划分为区域日常行为模式和突发异 于正常行为的情况统称为异常行为.异常行为包括 常行为模式.区域的日常行为模式，是人体在该区域 突发异常行为和反常习惯.不同区域的突发异常行 中经常从事的正常的行为，区域的日常行为模式是 为模式是相同的，主要有病倒事件和长时间静止 下文中人的意图理解的基础.表1描述了根据家庭 Fall down with an illness,keep still for long time), 智能空间的区域行为模式，不同区域的日常行为模 表1. 式各不相同，例如沙发区域(State5)的日常行为模 表1基于场景的行为模式划分 Tablel Patterns of behavior based on the scene 区域状态 模式划分 State0 Statel State2 State3 State4 State5 State6 State7 State8 State9 日常行为模式 Walk/Stand Out/In Rinse Drink Eat Rest/TV Take medicine Enjoy Sleep Study 突发异常行为模式 Fall down with an illness,keep still for long time 本文根据人在房间中不同区域状态的活动顺序 间，对行为理解没有太大的意义，只有结合周围的场 来描述人的行为习惯.例如，早晨人的正常行为习惯 景以及一些历史数据才能更好地理解人的行为.下文 顺序是：起床—洗漱—喝水—吃饭一看电 将详细阐述行为的描述方法和检测方法。 视一出门锻炼；如果当前行为的状态转移顺序为 3.1位置关联矩阵的建立 起床—洗漱—喝水—吃饭—看新闻—休 位置关联矩阵是对图像中当前人体位置的观测 息，则被检测为反常习惯.表2描述了时段T 值和场景中物品区域进行关联而建立的矩阵.首先 (7:00一9：00)一个日常行为习惯的例子，人的状态 通过运动检测提取运动人体在图像中的位置，同时 转移的顺序是State8-State2-Statae3-State4- 通过坐标转换和身高模型确定人体在环境中的坐 State5-State1,状态持续的时间分别是32min、 标1，然后利用已经划分的房间的区域状态，判断 11min、4.83min、20.67min、32min、16min.其中， 人体位置和区域的相对关系建立矩阵，最后结合区 State0不参与人的日常行为习惯的描述，因此表2 域状态行为模式分析人的意图.在位置关联过程中 中没有标记State0持续的时间. 需要注明的是：若运动人体检测超出视觉可见区域， 表2家庭智能空间中一个日常行为习惯的例子 则定义人体依然滯留在前一个区域状态。 Table 2 The example of human daily behavior in home in- 位置关联矩阵记为R,建立过程如下：首先以场 telligent space 景中物品所占的区域和当前所检测目标的环境坐标 状态区域 起始时间 持续时间/min 为元素建立矩阵D,“行”为当前帧观测目标O, State8 7:00-7:32 32.00 x、y为目标在环境中的坐标值；“列”为物品区域 State2 7:337:44 11.00 {S,S2,…,Sn},n为已划分的物品区域的数量.基 State3 7:45-7:49:50 4.83 于D矩阵，建立判断矩阵R,对当前帧的运动人体 State4 7:50—8:10:40 20.67 目标质心O,判断与物品区域S:的关系，若 State5 8:118:43 0》∈S:则置R中相应值为1，否则为0.人体位置 32.00 与State5关联的实例，如表3. Statel 8:449:00 16.00 表3位置关联矩阵R 3 行为描述及检测 Table 3 Location matrix R 区域状态 人体位置 区域状态人体位置 运动人体的检测是行为理解的基础，利用多个摄 state0 0 state5 1 像机检测人体运动，同时确定人体在环境中的位 置21然而，单纯地确定人体在环境中坐标、持续时 statel 0 state6 0
·60 智能系统学报 第5卷 续表3 间和顺序关系来表征人的行为： 区域状态人体位置区域状态人体位置 时空关联矩阵记为T,以运动人体在场景中的 state2 0 state7 0 区域位置、所属时间段、持续时间为元素.“列”为当 state3 0 state8 0 前人体所属的区域S:,是一个动态增长的序列： state4 0 state9 0 “行”为划分的时段{T1,T2,…,T}(x=1,2,…,12) 3.2时空关联矩阵 以及人体在区域S:的持续时间，，其中是人体 人体行为不仅表现在位置的关联，还表现在位 从区域S:转移到区域S的时间间隔，如式(1). 置状态持续时间和转移到概率例如，人早上醒来是 r8:=T(S)-T(S) (1) 从床的位置转移到沙发位置还是转移到洗漱间位 以某天时段T,人体在家庭环境中的行为为例建立 置？在沙发区域看5分钟电视还是2个小时？本文 时空关联矩阵如表4. 以时空关联矩阵记录人体在不同区域活动的持续时 表4时空关联矩阵T Table 4 Time and location matrix T min 区域状态 时间参数 State8 State0 State2 State3 State0 State4 State0 State5 Statel 时段 T T T T T T T T T 持续时间 32 1 4.9 0.120.80.2 内 1 16 3.3位置状态转移概率 为，利用高斯函数建立数学模型.统计N天中时 人体在不同区域之间的活动可以看做是在不同 段T人体在区域S:的状态持续时间，建立高斯 状态之间的转移，利用马尔可夫模型建立人体在智 函数P()=fT,S,T,w,σ)，其中u、0表示人体 能空间中的位置状态转移矩阵F=[f].链的状态 关联到区域S:持续时间的均值和方差.人在不同状 空间记做I={S1,S2,…,Sn},统计人体位置从S:区 态持续时间的习惯矩阵为 域关联到S,的频率记做f,归一化f获得状态转移 概率m,根据m建立位置状态转移概率矩阵M,如 ((). 式(2). 3.5行为检测器 M=[mg (2) 本文将异常行为分为反常习惯和突发异常行 为，分别设计检测器对其检测，同时利用位置关联和 根据智能空间数据库系统中记录的人的日常行 时空关联的时段信息分析人的意图。 为习惯，利用位置状态转移概率建立行为模板 3.5.1反常习惯的检测 Maag·时段T,的Mag·图示形式如图4，其中线宽 时空关联矩阵获得人体在智能空间中的一组状 代表转移概率的大小，很小的概率没有表示 态S*(k=1,…,n),计算状态序列S的状态转移与 日常行为模板Ma,的相似度ihood, a6 桌，书 药品箱 n-1 msi:n+ (3) 如果hod的数值低于一定的阈值，则认为是 反常习惯，这种方法能有效地检测反常习惯，但是对 于摔倒、静止、病倒等突发的异常行为不能实时地识 别，因而需要设计突发的异常行为检测器。 3.5.2突发异常行为的检测 台 实时地计算状态S持续时间与持续时间习惯 图4位置状态转移模板 矩阵Hay的相似度liklibood Fig.4 The station state transition template Elikcihnod =p(). (4) 3.4位置状态持续时间 如果Eh的数值低于一定的阈值（本文设 马尔可夫链中人体在不同状态的状态持续时间 定为0.3)且状态S的持续时间大于该状态的持续
第1期 田国会，等：家庭智能空间下基于场景的人的行为理解 61 时间均值，则识别为突发异常行为，为了减少不必要 7:42分第二次预警，7：46分报警.7：38-7：46时间 的计算量，每隔一分钟计算一次状态S的持续时间 段已经有2次预警，但是没有接收到人的语音销警， 相似度E.aaod」 服务机器人根据突发异常行为处理模式通过网络通 如果人的位置关联到某个区域状态，长时间内 知监护人.7：48分时检测到状态持续时间相似度大 运动输出为0，即人体处于长时间静止状态，则认为 于0.3，人的状态恢复正常 是严重的突发异常情况， 1.0 0.9 3.5.3意图分析 0.8 当未检测到人的异常行为时，根据位置关联矩 0.7 阵、时空关联矩阵和场景信息分析人的意图，进行相 0.6 0.5 应的服务.例如，当人在床的位置(State8),时空关 0.4+ 联矩阵的时段是傍晚时段(T,),则意图分析的结果 颦 0.3 +7:38.0.274) 0.2 是人要休息，启动的服务则是关闭门窗 0.1 (42.0.043) 4实验结果与分析 20 4460003 6080 100120 采样时间/min 4.1反常习惯检测 图6突发异常行为检测 根据智能空间信息系统用户的行为数据建立 Fig.6 Abnormal accident behavior detection T,时段的行为模板Mg·统计连续24天T时段的 4.3意图识别 行为数据用于人的行为检测，计算得到行为模板相 意图识别是为了预测人在行为过程的需要，提 似度E,如图5，其中纵坐标表示状态转移相似 供适当的服务，因而这种服务的提供具有主观性因 度，横坐标表示时间， 素和个性化特征.本文设计了一个意图识别及提供 0.7r 服务的示例：即检测到人的状态关联到书桌时，结合 0.6 光照度传感器信息，自动调亮房间的光源：当检测到 0.5 人离开书桌时，自动调暗房间光源， 5结束语 0 3 、3 提出了一种新的利用智能空间信息，基于场景 的行为理解方法，建立了一种适合机器人提供自主 服务的意图识别模型和发现异常行为的认知模型. 0 20 日期/d 本文行为理解方法的优点是不需要准确地分割人体 图5反常习惯检测 各个部分提取人体的姿态，计算复杂度小，能够实时 Fig.5 Abnormal habit detection 地识别突发异常行为、反常习惯、理解人的意图.不 从图中可以看出第23、24天状态转移相似度 足之处是没有结合时段之间上下文的关系，有待进 Edi的数值很低，被检测为反常的习惯.查看智 一步发现习惯数据中所包括的一些深层次的信息， 能空间中数据库中记录的信息发现，第23天和24 实验表明利用视觉技术结合智能空间信息的行为理 天人处于生病状态，频繁地在饮水机和药箱2个状 解方法具有可行性，可实现独居老人的实时监护，提 态之间转移，而日常行为模板中饮水机和药箱2个 高了人们生活的质量和安全性。 状态的转移概率很小，因而状态转移相似度很小.实 参考文献： 验表明M能够有效地检测出人的反常行为习惯. 4.2突发异常行为检测 [1]田国会.家庭服务机器人研究前景广阔[J].国际学术 同样以上述的用户习惯为例，检测人的突发异 动态，2007(1)：2829. 常行为.已知T,时段中的M、H,和某天时空关 TIAN Guohui.Wide future for home service robot research [J].International Academic Developments,2007(1):28- 联的状态序列S(系=1，…，n),状态的持续时间相 29 似度如图6所示. [2]WANG Liang,SUTER D.Leaming and matching of dynam- 7:38分首次采集到人在状态State2的持续时 ic shape manifolds for human action recognition[J].IEEE 间相似度小于0.3且大于持续时间均值一预警， Transactions on Image Processing,2007,16(6):1646-
·62 智能系统学报 第5卷 1661. [11]田国会，李晓磊，赵守鹏，等.家庭服务机器人智能空间 [3]ISMAIL H,DAVID H,LARRY S,et al.Real-time surveil- 技术研究与进展[J].山东大学学报：工学版，2007,37 lance of people and their activities[J].IEEE Transactions (5):5359 on Pattern Analysis and Machine Intelligence,2000,22 TIAN Guohui,LI Xiaolei,ZHAO Shoupeng,et al.Re- (8):809-830. search and development of intelligent space technology for [4]FERRYMAN J,BORG M,THIRDE D.Automated scene home service robot[J].Joural of Shandong University: understanding for airport aprons[C]//Proceedings of the Engineering Science,2007,37(5):53-59. 18th Australian Joint Conference on Artificial Intelligence. [12]FLEURET F,BERCLAZ J,LENGAGNE R,et al.Multi- Sidney,2005:593603. camera people tracking with a probabilistic occupancy map [5]BOBICK A F,DAVIS J W.The recognition of human [J].IEEE Transactions on Pattern Analysis and Machine movement using temporal templates[J].IEEE Transactions Intelligence,2008,30(2):267-282. on Pattem Analysis and Machine Intelligence,2001,23 作者简介： (3):257-267. 田国会，男，1969年生，教授、博士 [6]KOJIMA A.Generating natural language description of hu- 生导师、工学博士，山东大学控制科学 man behaviors from video images[C]//IEEE International 与工程学院副院长，中国人工智能学会 Conference on Pattern Recognition.Barcelona,2000:728- 理事.主要研究方向为服务机器人、智 731. 能空间、多机器人系统的协调与协作 [7]LEE M W.A model-based approach for estimating human 等.作为课题负责人或主要参加人员已 3D poses in static images[J].IEEE Transactions on Patter 完成包括国家自然科学基金项目、国家863计划项目、国防 Analysis and Machine Intelligence,2006,28(6):905- 预研项目、中国博士后科学基金项目、山东省自然科学基金 916. 项目等15项.获山东省科技进步二等奖、山东省教委科技进 [8]CHEUNG G K M,KANADE T,BOUGUET J Y,et al.A 步（自然科学理论）一等奖各1项.发表学术论文110余篇. real time system for robust 3D voxel reconstruction of human motions[C]//Proceedings of the IEEE Conference on Com- 吉艳青，女，1984年生，硕士研究 puter Vision and Pattern Recognition.Hilton Head,USA, 生.主要研究方向为服务机器人、智能 2000:714-720. 空间、基于视觉的监控和行为理解。 [9]WATANABE K,IZUMI K,KAMOHARA K,et al.Feature extractions for estimating human behaviors via a binocular vision head[C]//Proceedings of International Conference on Control,Automation and Systems.Seoul,Korea,2007: 634-640. 李晓磊，男，1973年生，副教授、硕 [10]YAMATO J,OHYA J,ISHII K.Recognizing human ac- 士生导师、工学博士.主要研究方向为 tion in time-sequential images using hidded Markov model 智能空间技术、复杂系统建模与智能优 [C]//Proceedings of IEEE Conference on Computer Vi- 化算法等.参与国家及省部级科研项目 sion and Pattern Recognition.Champaign,USA,1992: 10余项，获省科技进步二等奖1项，发 379-385. 表学术论文40余篇