D0I:10.13374/i.issn1001053x.2003.041.024 第25卷第4期 北京科技大学学报 Vol.25 No.4 2003年8月 Journal of University of Science and Technology Beijing Aug.2003 基于自适应背景模型的实时人体检测 韩鸿哲王志良刘冀伟李彬 韩忠涛 北京科技大学信息工程学院，北京100083 摘要提出了基于动态信息窗口的自适应背景模型，在此基础上建立人体检测的有效算 法.通过实验表明，该方法能够适应变化的背景，具有较强的鲁棒性和较好的实时性. 关键词自适应背景模型：人体检测：背景差：计算机视觉 分类号TP391 从视频序列中检测出运动人体在智能视觉 必须进行更新以反映这些变化， 监控和人机交互等计算机视觉应用领域具有非 对于每一个像素点，维护一个动态信息窗 常重要的地位，而人体检测则是一项基本而又 口，记录如下信息：(1)均值：(2)方差；(3)最近N个 重要的技术，人体检测经常使用的方法是背景差 采样值：(4)前景点比率F:(⑤)像素点处于观察状 法，由于简单的背景差法使用中当背景发生一些 态的时间.其中，前景点比率是指N个采样值中 变化时（如光照强度变化、背景中物体移动等）， 被判定为前景点采样值的个数所占的比例.根据 参考图像不能正确地实时反映背景的变化，从而 前景点比率F确定像素点所处的状态：(1)观察状 不能正确地分割出视频序列中的运动物体，这将 态SO,F>A(A为阙值).此时像素点取值呈现较大 使得后续的处理如跟踪和识别性能等急剧下降， 波动，需进一步观察，模型停止更新.在通常情况 导致后续处理失败.为了克服上述问题，相继出 下，运动物体停留在信息窗口的时间比较短，该 现了一些自适应背景更新算法，但其存在计算 状态的持续时间不会很长，如果该状态持续时间 过于复杂或性能不够稳定等问题.本文提出基于 大于设定的间隔T,可以判定发生了如光照亮 动态信息窗口(DW的自适应背景模型，建立了 度变化或移入移出新的物体等情况，背景发生了 人体检测的有效算法，并在实际监控环境下应用 变化，则根据最近的N个采样值X,X,…,X,进 该方法进行了实验验证. 行背景模型更新.(2)更新状态SU,F<A.像素点 平稳波动，模型正常更新.其中阅值A根据像素 1自适应背景模型 方差来设定， 由摄像机输入的图像是由R,G和B三个分 像素点的状态迁移过程如图1所示，当观察 量组成的，混合了色度和亮度信息，所以用X= 状态持续较长时间时，背景模型将会自动更新， (x,x8,)来表示某一像素在t时刻的采样值.像 F<A FA FA 素点采样值分布的概率密度函数可以表示为： P(X)=11-1 1x-4月 SU SO 2x9-2 (1) 其中，均值4，和方差o,需要根据最近一段时间的N FA或tPT. 个采样值X,X,…,Xw来确定. 图1像素点状态迁移图 随着时间推移背景会发生变化，如光照变 Fig.1 Migration of pixel states 化、背景物体移入移出等，式(1)所示的背景模型 2人体检测 收稿日期2003-05-10韩鸿哲男，32岁，博士研究生 *国家自然科学基金No.69975002)及北京市现场总线及自动 2.1运动区域分割 化技术重点实验室开放课题资助课题 将当前图像与根据背景模型所得参考图像
第 卷 第 期 年 月 北 京 科 技 大 学 学 报 基于 自适应背景模型 的实时人体检测 韩鸿哲 王 志 良 刘 冀伟 李彬 韩 忠 涛 北 京科技大学 信息 工 程 学 院 ， 北京 摘 要 提 出 了基 于 动 态 信息 窗 口 的 自适应 背 景 模型 ， 在 此 基 础 上 建立 人 体检测 的有效算 法 通过 实 验表 明 ， 该 方 法 能够适应 变 化 的 背 景 ， 具 有 较 强 的鲁棒性和 较好 的实时 性 关键词 自适应 背 景模 型 人 体 检测 背 景 差 计算 机视 觉 分 类号 仰 从 视 频 序 列 中检顶业出运 动 人 体 在 智 能视 觉 监 控 和 人 机 交互 等计 算 机 视 觉 应 用 领 域 具 有 非 常 重 要 的地 位‘， ， ，， 而 人 体检测 则是 一 项基 本 而 又 重 要 的技 术 人 体检测 经 常使用 的方 法 是 背 景 差 法 由于 简单 的背 景 差 法使用 中当背景 发 生 一 些 变 化 时 如 光 照 强度 变 化 、 背 景 中物 体 移 动 等 ， 参考 图像 不 能 正确 地 实 时反 映背景 的变 化 ， 从 而 不 能 正确 地 分 割 出视 频序列 中的运 动 物 体 ， 这 将 使得 后 续 的处 理 如 跟 踪 和 识 别 性 能等 急剧 下 降 ， 导 致后 续 处 理 失败 为 了克服 上 述 问题 ， 相 继 出 现 了一 些 自适应 背 景 更 新算法 「川 ， 但 其 存在 计 算 过 于 复 杂或 性 能不 够 稳 定 等 问题 本文 提 出基 于 动 态 信 息窗 口 的 自适 应 背 景 模 型 ， 建立 了 人 体检测 的有效算 法 ， 并在实 际监 控 环 境下 应用 该 方 法进 行 了实 验 验 证 自适 应 背景 模型 由摄 像 机 输 入 的 图像 是 由 ， 和 三 个 分 量 组 成 的 ， 混 合 了色 度 和 亮 度 信 息 ， 所 以用 戈 讨 ， 才 ， 对 来 表 示 某 一 像 素 在 时刻 的采样 值 像 素 点采 样 值 分 布 的概 率 密 度 函 数 可 以表 示 为 因 一 京瑟了 卜笋诸月 其 中 ， 均值肠和 方 差成 需 要 根据 最近一 段 时 间 的 个 采 样 值戈 ，戈 ， … ，戈来 确 定 随 着 时 间 推 移 背 景 会 发 生 变 化 ， 如 光 照 变 化 、 背 景 物 体 移 入 移 出等 ， 式 所 示 的背 景 模 型 收稿 日期 刁 一 韩鸿 哲 男 ， 岁 ， 博 士 研究生 国家 自然科学基金困 及 北 京市现场 总线及 自动 化技 术重 点 实验 室 开 放课题 资助 课题 必 须 进 行 更 新 以反 映 这 些 变 化 对 于 每 一 个 像 素 点 ， 维护 一 个 动 态 信 息 窗 口 ， 记 录 如 下 信 息 均 值 方 差 最 近 个 采 样 值 前 景 点 比率凡 像 素 点处 于 观 察状 态 的 时 间寿 其 中 ， 前 景 点 比率 是 指 个 采 样值 中 被 判 定 为前 景 点采 样 值 的个 数所 占的 比例 根据 前 景 点 比率 确 定像 素 点所 处 的状 态 观 察状 态 ， 凡 为 闽值 此 时像 素 点 取 值 呈 现 较 大 波 动 ， 需进 一 步观 察 ， 模 型 停 止 更 新 在 通 常情 况 下 ， 运 动 物 体停 留在 信 息 窗 口 的 时 间 比较 短 ， 该 状态 的持 续 时 间不会 很 长 如果 该状态 持 续 时 间 寿大 于 设 定 的 间 隔 兀 ， 可 以判 定 发 生 了如光 照 亮 度 变化 或移 入 移 出新 的物体等情 况 ， 背 景发 生 了 变 化 ， 则 根据 最 近 的 个采样 值戈 ，戈 ， … ，怎 ， 进 行 背 景 模 型 更 新 更 新 状 态 ， 名划 像 素 点 平 稳 波 动 ， 模 型 正 常 更 新 其 中 闽值 根据 像 素 方 差 来 设 定 像 素 点 的状 态 迁 移 过 程 如 图 所 示 ， 当观 察 状 态 持 续较 长 时 间 时 ， 背 景 模 型 将 会 自动 更 新 名喇 或 护 图 像 素 点 状态 迁 移 图 妞 人 体检 测 运 动 区域 分 割 将 当前 图像 与 根 据 背 景 模 型 所 得 参 考 图像 DOI ：10．13374／j ．issn1001－053x．2003．04．024
Vol.25N0.4 韩鸿哲等：基于自适应背景模型的实时人体检测 385 进行比较，可分割出视频图像中的运动区域. min(H/W)T 从而得到二值图像.这时，人体对应的区域可能 3 实验结果 会产生裂缝和空洞，图像中也可能存在一些小的 噪声点，需要采用形态学方法对该二值图像进行 本系统运行在P41.7 G Window XP平台上，图 像分辨率为320×240dpi,处理速度达到20帧/s. 处理。 应用上述算法研制了人体检测系统，并且在室内 2.2人体区域提取 和室外进行了实验， 由于图像中的运动物体可能不仅仅包括人， 还可能有行驶的车辆和运动的动物等其他物体， 在室内的情况下，移动背景中的物体使背景 发生变化，如图2(a)和(b)所示，背景中的一把椅 因此，需要把人和其他运动物体区分开来. 首先对前景区域进行标识，每个区域计算 子过了一段时间后移动到另一个位置.从图2() 可以看到，背景变化后该系统仍然能够正确地检 如下信息：(1)最左边前景像素点的坐标；(2)最右 边前景像素点的坐标：(3)最上边前景像素点的坐 测出人体，在室外的情况下，光线亮度呈现缓慢 的变化，如图3(a)和(c)所示，在中午和下午具有 标；(4)最下边前景像素点的坐标：(5)目标区的面 不同的亮度，图3b)和(d)为检测结果.可以看到 积S,即前景像素点数， 根据人体特点，若目标区域同时满足条件： 系统能够适应变化了的光线亮度，正确地检测出 min(S)<S<max (S) (4) 人体区域 (a) b (d) 图2室内背景物体移动情况下的检测结果 Fig.2 Segmentation results when background objects are moved (b) (d) 图3室外光照变化情况下的检测结果 Fig.3 Segmentation results in the outdoor scene 4结论 参考文献 1 Wren C R,Azarbayejani A,Darrell T,et al.Real-time trac- 实验表明，本文提出的自适应背景更新算法 king of human body [J].IEEE Trans Pattern Anal Mach 能够较好地适应变化的背景，从而有效地检测出 Intell,1997,19(7):780 运动人体，具有较强的鲁棒性和较好的实时性， 2 Haritaoglu I,Harwood D,Davis L S.W4-A real time
韩 鸿 哲 等 基 于 自适应 背 景模 型 的实时人 体检测 一 · 进 行 比较 ， 可 分 割 出视 频 图像 中 的运 动 区 域 参考 式 确 定 的像 素 点 的概 率 分 布 ， 计 算 」比 进 一召子 ， 护一户户 留一户尹 哄动 才 ， ’ 才 根 据 所 需 虚警 率 设 置 图像 的全 局 阂值 兀 ， 行 如 下 判 决 一 黯黑黑段 川 去刀环父 哟 则判 定 为人 体 区 域 ， 其 中 为前 景 区 域 的高度 ， 砰 为前 景 区 域 的宽度 式 去 除 噪 声 产 生 的小 区 域 和 光 线 亮 度 突然 变 化 产 生 的大 区 域 式 根 据 区 域 的高 度 和 宽度 之 比 来 排 除汽 车 等 其 他 运 动 物 体 从 而 得 到 二 值 图像 这 时 ， 人 体 对 应 的 区 域 可 能 会 产 生 裂 缝 和 空洞 ， 图像 中也 可 能存在 一 些 小 的 噪 声 点 ， 需 要采 用 形 态 学 方 法对 该 二 值 图像 进行 处 理 人体 区域 提 取 由于 图像 中 的运 动 物 体 可 能不 仅 仅 包 括 人 ， 还 可 能有 行驶 的车辆 和 运 动 的动物 等 其 他 物 体 ， 因此 ， 需 要 把 人 和 其他 运 动 物 体 区 分 开 来 首先对 前 景 区域 进 行 标 识 ‘ ， 每 个 区域 计 算 如 下 信 息 最 左 边 前 景 像 素 点 的坐 标 最 右 边 前 景像 素 点 的坐 标 最 上边 前 景像 素 点 的坐 标 最 下 边 前 景像 素 点 的坐 标 目标 区 的面 积 ， 即前 景 像 素 点数 根据 人 体特 点 ， 若 目标 区域 同时满 足 条件 必 占狡 习 实验 结 果 本 系 统 运 行 在 平 台上 ， 图 像 分 辨 率 为 ‘ ， 处 理 速 度 达 到 帧 应 用 上 述 算 法研 制 了人 体 检 测 系 统 ， 并 且在 室 内 和 室 外 进 行 了 实验 在 室 内的情 况 下 ， 移 动 背 景 中 的物 体 使 背 景 发 生变 化 ， 如 图 和 所 示 ， 背 景 中 的一 把 椅 子 过 了一 段 时 间后 移 动 到 另 一 个 位 置 从 图 可 以看 到 ， 背 景 变化 后 该系 统 仍 然 能够 正 确地 检 测 出人 体 在 室 外 的情 况 下 ， 光 线 亮 度 呈 现 缓 慢 的变 化 ， 如 图 和 所 示 ， 在 中午 和 下 午 具 有 不 同 的亮 度 ， 图 和 为检 测 结 果 可 以看 到 系统 能够 适 应 变 化 了 的光 线亮 度 ， 正确 地检 测 出 人 体 区域 图 室 内背景 物 体 移 动 情 况 下 的检测 结 果 图 室 外 光照 变化情况 下 的检测 结 果 结论 实验 表 明 ， 本 文提 出 的 自适 应 背 景 更 新 算 法 能够 较好 地 适应 变化 的背 景 ， 从 而 有 效地 检测 出 运 动 人 体 ， 具 有 较 强 的鲁 棒 性 和 较 好 的实 时性 参 考 文 献 ， ， 工 一 ， ， ， 刀 ， 一
·386· 北京科技大学学报 2003年第4期 system for detection and tracking people and their parts 4 Grimson W EL,Stauffer C.Adaptive background mixture [A].Proc Third Face and Gesture Recognition Conference models for real-time tracking [A].Proc IEEE Conference [C].Japan,1998.222 Computer Vision and Pattern Recognition,Vol 1 [C]. 3 Toyama K,Krumm J,Brumitt B,et al.Wallflower:Prin- USA,1999.22 ciples and practice of background maintenance [A].Proc 5 Sonka Milan,Hlavac Vaclav,Boyle Roger.Image Process- IEEE Int Conf Computer Vision,Vol 1 [C].Greece,1999. ing,Analysis and Machine Vision [M].PWS,1999 255 Real-Time Human Detection Based on the Adaptive Background Model HAN Hongzhe,WANG Zhiliang,LIU Jiwei,LI Bin,HAN Zhongtao Information Engineering School,University of Science and Technology Beijing,Beijing 100083,China ABSTRACT An adaptive background model based on Dynamic Information Window(DIW)was proposed.Using the adaptive background model,an effective human detection approach was presented.Experimental results demon- strated that the method can give a robust estimation of changing background models in real-time. KEY WORDS adaptive background model;human detection;background subtraction;computer vision
一 北 京 科 技 大 学 学 报 年 第 期 队 助 【 ， ， ， 们。 ， 认厄 ， ， ， 一 加 【 ， · ， ， 、 乞 ， ， ， 一 月叼万 刀 岁 ， 环只 ， ， ， 月只 的口 ， ， ， 入 一 ， 切 而 一
