第12卷第4期 智能系统学报 Vol.12 No.4 2017年8月 CAAI Transactions on Intelligent Systems Aug.2017 D0I:10.11992/is.201607021 网络出版地址：http://kns.cmki.net/kcms/detail/23.1538.tp.20170407.1734.006.html 维度加权模式动态纹理特征的火焰检测 严云洋12，陈垂雄2，刘以安2，高尚兵 (1.淮阴工学院计算机与软件工程学院，江苏淮安223003：2.江南大学物联网工程学院，江苏无锡214122) 摘要：对疑似火焰区域提取纹理特征时，用局部三值模式描述火焰静态纹理特征不利于区分火焰与其他纹理均匀 的干扰物，用KNN算法(k-nearest neighbor algorithm)分类效率较低。针对这些问题，提出用三正交平面局部混合模 式(three orthogonal planes local mixed pattern,LMP-TOP)描述火焰的静动态纹理，再输人维度加权的支持向量机进行 分类识别。LMP.TOP是对第一维Y平面，采用八邻域的均匀局部二值模式(uniform local binary pattern,LBP2)三 正交平面局部混合模式表示火焰的静态纹理特征：对第二维XT和第三维YT平面，则采用局部三值模式(1oCal ternary patter,.LTP)融入火焰在时间维度上的变化信息，这样在得到火焰的静态特征的同时也融入了其动态特征。 根据3个维度单独用于识别的准确率，赋予其相应的权重，用维度加权的支持向量机进行分类识别。实验结果表明， 相比Sthevanie等算法，本文所提出的方法火焰识别率和检测效率均较高。 关键词：静态纹理：动态纹理：正交特征：加权特征：支持向量机：火焰检测：特征提取：局部二值模式 中图分类号：TP391文献标志码：A文章编号：1673-4785(2017)04-0548-08 中文引用格式：严云洋，陈垂雄，刘以安，等.维度加权模式动态纹理特征的火焰检测[J].智能系统学报，2017,12(4)：548-555. 英文引用格式：YAN Yunyang,CHEN Chuixiong,LIU Yi'an,etal.Fire detection based on dynamic texture features under a dimension-weighted mode[J].CAAI transactions on intelligent systems,2017,12(4):548-555. Fire detection based on dynamic texture features under a dimension-weighted mode YAN Yunyang'2,CHEN Chuixiong'2,LIU Yi'an?,GAO Shangbing' (1.Faculty of Computer Software Engineering,Huaiyin Institute of Technology,Huaian 223003,China;2.School of Internet of Things Engineering,Jiangnan University,Wuxi 214122,China) Abstract:In fire detection modeling,a local ternary pattern is generally used to extract the static and dynamic textures of the suspected flame.But it is difficult to distinguish the flame from other uniform texture interferences when a local ternary pattern is used to describe the static texture features.The efficiency is low when the KNN(k- Nearest Neighbor)algorithm is used for classification.Aimed at solving these problems,a novel method is proposed here,whereby an LMP-TOP (local mixed pattern-three orthogonal planes)method is used to depict the static and dynamic textures of a suspected flame area.A dimension-weighted support vector machine was used for the classification.Applying LMP-TOP,an eight neighborhood uniform local binary pattern (LBP)was used to denote the static texture features of the flame on the 1st-dimension plane XY,and a local ternary pattern was used to describe the change in flame information on the 2nd-and 3rd-dimension planes,XT and YT respectively,by fusing with information in the time dimension.The static and dynamic characteristics of the flame were therefore integrated. The dimension weight was assigned according to the individual recognition accuracy.Then,a support vector machine with dimension weighting was used for classification.Experimental results show that the accuracy of flame identification and the detection efficiency are better with the proposed method than with corresponding algorithms such as Sthevanie. Keywords:static texture;dynamic texture;orthogonal feature;weighted feature;support vector machine;flame detection;feature extraction;local binary pattern 基于视觉的火灾检测相比传统的火灾检测方 法具有反应快、适用范围广等优点，因此正成为火 灾检测技术应用研究的热点，而基于视觉的火焰检 收稿日期：2016-07-22.网络出版日期：2017-04-07. 基金项目：国家自然科学基金项目(61402192)：江苏省“六大人才高峰”项目 测是基于视觉的火灾检测的一个重要依据。但基 (2013DZXX-023):江苏省“333工程”(BRA2013208):淮安市科技 于视觉的火焰检测方法目前仍存在着鲁棒性差、检 计划项目(HAG2013057,HAG2013059) 通信作者：严云洋.E-mail:areyyyke@163.com. 测效率低等问题。纹理特征是火焰图像的一种静
第 １２ 卷第 ４ 期 智 能 系 统 学 报 Ｖｏｌ．１２ №．４ ２０１７ 年 ８ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ａｕｇ． ２０１７ ＤＯＩ：１０．１１９９２ ／ ｔｉｓ．２０１６０７０２１ 网络出版地址：ｈｔｔｐ： ／ ／ ｋｎｓ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ｔｐ．２０１７０４０７．１７３４．００６．ｈｔｍｌ 维度加权模式动态纹理特征的火焰检测 严云洋１，２ ，陈垂雄１，２ ，刘以安２ ，高尚兵１ （１．淮阴工学院 计算机与软件工程学院，江苏 淮安 ２２３００３； ２．江南大学 物联网工程学院，江苏 无锡 ２１４１２２） 摘 要：对疑似火焰区域提取纹理特征时，用局部三值模式描述火焰静态纹理特征不利于区分火焰与其他纹理均匀 的干扰物，用 ＫＮＮ 算法（ｋ⁃ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ ａｌｇｏｒｉｔｈｍ）分类效率较低。 针对这些问题，提出用三正交平面局部混合模 式（ｔｈｒｅｅ ｏｒｔｈｏｇｏｎａｌ ｐｌａｎｅｓ ｌｏｃａｌ ｍｉｘｅｄ ｐａｔｔｅｒｎ， ＬＭＰ⁃ＴＯＰ）描述火焰的静动态纹理，再输入维度加权的支持向量机进行 分类识别。 ＬＭＰ⁃ＴＯＰ 是对第一维 ＸＹ 平面，采用八邻域的均匀局部二值模式（ ｕｎｉｆｏｒｍ ｌｏｃａｌ ｂｉｎａｒｙ ｐａｔｔｅｒｎ， ＬＢＰ ｕ２ ）三 正交平面局部混合模式表示火焰的静态纹理特征；对第二维 ＸＴ 和第三维 ＹＴ 平面，则采用局部三值模式（ ｌｏｃａｌ ｔｅｒｎａｒｙ ｐａｔｔｅｒ， ＬＴＰ）融入火焰在时间维度上的变化信息，这样在得到火焰的静态特征的同时也融入了其动态特征。 根据 ３ 个维度单独用于识别的准确率，赋予其相应的权重，用维度加权的支持向量机进行分类识别。 实验结果表明， 相比 Ｓｔｈｅｖａｎｉｅ 等算法，本文所提出的方法火焰识别率和检测效率均较高。 关键词：静态纹理；动态纹理；正交特征；加权特征；支持向量机；火焰检测；特征提取；局部二值模式 中图分类号：ＴＰ３９１ 文献标志码：Ａ 文章编号：１６７３－４７８５（２０１７）０４－０５４８－０８ 中文引用格式：严云洋，陈垂雄，刘以安，等． 维度加权模式动态纹理特征的火焰检测［Ｊ］． 智能系统学报， ２０１７， １２（４）： ５４８－５５５． 英文引用格式：ＹＡＮ Ｙｕｎｙａｎｇ， ＣＨＥＮ Ｃｈｕｉｘｉｏｎｇ， ＬＩＵ Ｙｉ’ ａｎ， ｅｔ ａｌ． Ｆｉｒｅ ｄｅｔｅｃｔｉｏｎ ｂａｓｅｄ ｏｎ ｄｙｎａｍｉｃ ｔｅｘｔｕｒｅ ｆｅａｔｕｒｅｓ ｕｎｄｅｒ ａ ｄｉｍｅｎｓｉｏｎ⁃ｗｅｉｇｈｔｅｄ ｍｏｄｅ［Ｊ］． ＣＡＡＩ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｉｎｔｅｌｌｉｇｅｎｔ ｓｙｓｔｅｍｓ， ２０１７， １２（４）： ５４８－５５５． Ｆｉｒｅ ｄｅｔｅｃｔｉｏｎ ｂａｓｅｄ ｏｎ ｄｙｎａｍｉｃ ｔｅｘｔｕｒｅ ｆｅａｔｕｒｅｓ ｕｎｄｅｒ ａ ｄｉｍｅｎｓｉｏｎ⁃ｗｅｉｇｈｔｅｄ ｍｏｄｅ ＹＡＮ Ｙｕｎｙａｎｇ １，２ ， ＣＨＥＮ Ｃｈｕｉｘｉｏｎｇ １，２ ， ＬＩＵ Ｙｉ’ａｎ ２ ， ＧＡＯ Ｓｈａｎｇｂｉｎｇ １ （１． Ｆａｃｕｌｔｙ ｏｆ Ｃｏｍｐｕｔｅｒ ＆ Ｓｏｆｔｗａｒｅ Ｅｎｇｉｎｅｅｒｉｎｇ， Ｈｕａｉｙｉｎ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ， Ｈｕａｉａｎ ２２３００３， Ｃｈｉｎａ；２． Ｓｃｈｏｏｌ ｏｆ Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ Ｅｎｇｉｎｅｅｒｉｎｇ， Ｊｉａｎｇｎａｎ Ｕｎｉｖｅｒｓｉｔｙ， Ｗｕｘｉ ２１４１２２， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｉｎ ｆｉｒｅ ｄｅｔｅｃｔｉｏｎ ｍｏｄｅｌｉｎｇ， ａ ｌｏｃａｌ ｔｅｒｎａｒｙ ｐａｔｔｅｒｎ ｉｓ ｇｅｎｅｒａｌｌｙ ｕｓｅｄ ｔｏ ｅｘｔｒａｃｔ ｔｈｅ ｓｔａｔｉｃ ａｎｄ ｄｙｎａｍｉｃ ｔｅｘｔｕｒｅｓ ｏｆ ｔｈｅ ｓｕｓｐｅｃｔｅｄ ｆｌａｍｅ． Ｂｕｔ ｉｔ ｉｓ ｄｉｆｆｉｃｕｌｔ ｔｏ ｄｉｓｔｉｎｇｕｉｓｈ ｔｈｅ ｆｌａｍｅ ｆｒｏｍ ｏｔｈｅｒ ｕｎｉｆｏｒｍ ｔｅｘｔｕｒｅ ｉｎｔｅｒｆｅｒｅｎｃｅｓ ｗｈｅｎ ａ ｌｏｃａｌ ｔｅｒｎａｒｙ ｐａｔｔｅｒｎ ｉｓ ｕｓｅｄ ｔｏ ｄｅｓｃｒｉｂｅ ｔｈｅ ｓｔａｔｉｃ ｔｅｘｔｕｒｅ ｆｅａｔｕｒｅｓ． Ｔｈｅ ｅｆｆｉｃｉｅｎｃｙ ｉｓ ｌｏｗ ｗｈｅｎ ｔｈｅ ＫＮＮ （ｋ⁃ Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ） ａｌｇｏｒｉｔｈｍ ｉｓ ｕｓｅｄ ｆｏｒ ｃｌａｓｓｉｆｉｃａｔｉｏｎ． Ａｉｍｅｄ ａｔ ｓｏｌｖｉｎｇ ｔｈｅｓｅ ｐｒｏｂｌｅｍｓ， ａ ｎｏｖｅｌ ｍｅｔｈｏｄ ｉｓ ｐｒｏｐｏｓｅｄ ｈｅｒｅ， ｗｈｅｒｅｂｙ ａｎ ＬＭＰ⁃ＴＯＰ （ｌｏｃａｌ ｍｉｘｅｄ ｐａｔｔｅｒｎ⁃ｔｈｒｅｅ ｏｒｔｈｏｇｏｎａｌ ｐｌａｎｅｓ） ｍｅｔｈｏｄ ｉｓ ｕｓｅｄ ｔｏ ｄｅｐｉｃｔ ｔｈｅ ｓｔａｔｉｃ ａｎｄ ｄｙｎａｍｉｃ ｔｅｘｔｕｒｅｓ ｏｆ ａ ｓｕｓｐｅｃｔｅｄ ｆｌａｍｅ ａｒｅａ． Ａ ｄｉｍｅｎｓｉｏｎ⁃ｗｅｉｇｈｔｅｄ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ ｗａｓ ｕｓｅｄ ｆｏｒ ｔｈｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ． Ａｐｐｌｙｉｎｇ ＬＭＰ⁃ＴＯＰ， ａｎ ｅｉｇｈｔ ｎｅｉｇｈｂｏｒｈｏｏｄ ｕｎｉｆｏｒｍ ｌｏｃａｌ ｂｉｎａｒｙ ｐａｔｔｅｒｎ （ＬＢＰ ｕ２ ） ｗａｓ ｕｓｅｄ ｔｏ ｄｅｎｏｔｅ ｔｈｅ ｓｔａｔｉｃ ｔｅｘｔｕｒｅ ｆｅａｔｕｒｅｓ ｏｆ ｔｈｅ ｆｌａｍｅ ｏｎ ｔｈｅ １ｓｔ⁃ｄｉｍｅｎｓｉｏｎ ｐｌａｎｅ ＸＹ， ａｎｄ ａ ｌｏｃａｌ ｔｅｒｎａｒｙ ｐａｔｔｅｒｎ ｗａｓ ｕｓｅｄ ｔｏ ｄｅｓｃｒｉｂｅ ｔｈｅ ｃｈａｎｇｅ ｉｎ ｆｌａｍｅ ｉｎｆｏｒｍａｔｉｏｎ ｏｎ ｔｈｅ ２ｎｄ⁃ａｎｄ ３ｒｄ ⁃ｄｉｍｅｎｓｉｏｎ ｐｌａｎｅｓ， ＸＴ ａｎｄ ＹＴ ｒｅｓｐｅｃｔｉｖｅｌｙ， ｂｙ ｆｕｓｉｎｇ ｗｉｔｈ ｉｎｆｏｒｍａｔｉｏｎ ｉｎ ｔｈｅ ｔｉｍｅ ｄｉｍｅｎｓｉｏｎ． Ｔｈｅ ｓｔａｔｉｃ ａｎｄ ｄｙｎａｍｉｃ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ｏｆ ｔｈｅ ｆｌａｍｅ ｗｅｒｅ ｔｈｅｒｅｆｏｒｅ ｉｎｔｅｇｒａｔｅｄ． Ｔｈｅ ｄｉｍｅｎｓｉｏｎ ｗｅｉｇｈｔ ｗａｓ ａｓｓｉｇｎｅｄ ａｃｃｏｒｄｉｎｇ ｔｏ ｔｈｅ ｉｎｄｉｖｉｄｕａｌ ｒｅｃｏｇｎｉｔｉｏｎ ａｃｃｕｒａｃｙ． Ｔｈｅｎ， ａ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ ｗｉｔｈ ｄｉｍｅｎｓｉｏｎ ｗｅｉｇｈｔｉｎｇ ｗａｓ ｕｓｅｄ ｆｏｒ ｃｌａｓｓｉｆｉｃａｔｉｏｎ． Ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｔｈｅ ａｃｃｕｒａｃｙ ｏｆ ｆｌａｍｅ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ａｎｄ ｔｈｅ ｄｅｔｅｃｔｉｏｎ ｅｆｆｉｃｉｅｎｃｙ ａｒｅ ｂｅｔｔｅｒ ｗｉｔｈ ｔｈｅ ｐｒｏｐｏｓｅｄ ｍｅｔｈｏｄ ｔｈａｎ ｗｉｔｈ ｃｏｒｒｅｓｐｏｎｄｉｎｇ ａｌｇｏｒｉｔｈｍｓ ｓｕｃｈ ａｓ Ｓｔｈｅｖａｎｉｅ． Ｋｅｙｗｏｒｄｓ： ｓｔａｔｉｃ ｔｅｘｔｕｒｅ； ｄｙｎａｍｉｃ ｔｅｘｔｕｒｅ； ｏｒｔｈｏｇｏｎａｌ ｆｅａｔｕｒｅ； ｗｅｉｇｈｔｅｄ ｆｅａｔｕｒｅ； ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ； ｆｌａｍｅ ｄｅｔｅｃｔｉｏｎ； ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ； ｌｏｃａｌ ｂｉｎａｒｙ ｐａｔｔｅｒｎ 收稿日期：２０１６－０７－２２． 网络出版日期：２０１７－０４－０７． 基金项目：国家自然科学基金项目（６１４０２１９２）；江苏省“六大人才高峰”项目 （２０１３ＤＺＸＸ⁃０２３）；江苏省“３３３ 工程”（ＢＲＡ２０１３２０８）；淮安市科技 计划项目（ＨＡＧ２０１３０５７，ＨＡＧ２０１３０５９）． 通信作者：严云洋． Ｅ⁃ｍａｉｌ：ａｒｅｙｙｙｋｅ＠ １６３．ｃｏｍ． 基于视觉的火灾检测相比传统的火灾检测方 法具有反应快、适用范围广等优点，因此正成为火 灾检测技术应用研究的热点，而基于视觉的火焰检 测是基于视觉的火灾检测的一个重要依据。 但基 于视觉的火焰检测方法目前仍存在着鲁棒性差、检 测效率低等问题。 纹理特征是火焰图像的一种静
第4期 严云洋，等.维度加权模式动态纹理特征的火焰检测 ·549. 态特征，反映的是图像或图像区域像素亮度值在空 进行分类识别，即根据火焰纹理3个维度单独作用 间中分布与组合的变化情况，通过纹理判别，可以 的识别率赋予相应的权重，再用支持向量机分类识 有效排除与火焰相近的一些干扰物。龙铭等]选 别。实验结果表明，本文算法相比S山hevanie等[u) 取反差、灰度相关、能量和逆差矩等4种纹理特征统 的算法在火焰识别准确率和检测效率上都有较大 计量，描述了火焰图像分割区域的灰度纹理特征： 的提高，在Bilkent大学火灾视频库的实验中，本文 严云洋等[和卢英)]等用多尺度局部二值模式 算法也表现出了较高的火焰检测率和较低的误 (local binary pattern,LBP)特征描述火焰的静态纹 检率。 理，从而得到更全面的火焰特征信息。卢英等[还 1 基于LMP-TOP的火焰动态纹理 提出了一种基于多尺度LBP与GBP纹理特征的火 焰识别算法，提高大空间建筑场景中基于视频图像 提取 的火灾的识别率。张彤等5刃对火焰纹理的局部二 通常情况下，视频序列可以看成XY平面在时 值模式进行了不同方向的研究。实际上，火焰不仅 间轴T上的堆积，然而，它其实也是XT平面在Y轴 有静态时特定的纹理，也有动态时纹理的某些变化 上的堆积或者T平面在X轴上的堆积。Y平面 特征。比如火焰区域的某些像素灰度值在时域上 代表了物体的表观信息，XT平面给出了某一行随着 会有较大的变化，特别是处于火焰边缘区域的像 时间变化的视觉信息，而YT平面则给出了某一列 素。邵婧等提出了一种基于动态纹理特征分析 随着时间变化的视觉信息，如图1所示，左边为400 的新型图像型火灾检测算法；赵亚琴)提出一种利 ×300×250的视频序列。Zhao等[山对视频序列除 用旅行者行为图论的火灾火焰视频动态纹理分析 边界外的所有像素分别提取XY、XT、YT3个正交平 与识别方法：Audrey等[io]则利用简单的纹理描述器 面的LBP,然后将它们连接成一个特征直方图，处理 去说明大约98%的火焰检测。可见火焰的静、动态 过程如图2所示。通过这种方法，就同时考虑了纹 纹理对火焰的识别都是有效的，如果在提取火焰静 理在时间和空间上的信息。对于XY、XT、YT3个平 态纹理特征的同时，能恰当地描述火焰的动态纹 面的邻域采样点个数和X、Y、T3个方向的半径都可 理，将有助于更准确地描述火焰，从而提高火焰检 以不同，它们分别被表示为P、PT、Pr以及Rx 测的准确率；Zhao等)对LBP进行了较为合理的 Ry、R,这样相应的动态纹理特征就被标记为 扩展，提出了具有代表性的卷积局部二值模式 (volume local binary pattern,VLBP),把时域信息融 LBP-TOP 入动态纹理中。同时，为了减少计算量和使算子更 容易扩展，又提出仅仅考虑3个正交平面上的2维 LBP模式，得到了三正交平面局部二值模式(three orthogonal planes local binary pattern,LBP-TOP ) 并将该方法用于人脸表情识别，取得了显著的成 果。许多研究表明LBP-TOP在描述动态纹理方面 能取得不错的效果。Xu等[]将其用于拥挤场景中 检测不寻常的事件：Sthevanie等]将LBP-TOP稍 作改变用于火焰动态纹理识别，以加速火焰识别过 程，并用KNN算法对火焰视频与非火焰视频进行 (a)400×300x250的视频 分类。 本文考虑到有些火焰呈现大面积白色，表面相 对平滑，如果按照Sthevanie等[)]方法，将火焰XY 平面的纹理特征用LTP)表示，在阈值的作用下静 态纹理模式将过于集中，不利于与其他干扰物区 别。因此本文将八邻域的LBP2[s]作为XY平面的 静态纹理特征描述子，在尽可能保留火焰静态纹理 模式的同时，不至于维数过多。同时，Sthevanie 等]用KNN算法对火焰纹理的三维特征进行分类 识别，考虑到3个维度的特征串联维数较多，用 KNN算法效率较低，本文用维度加权的支持向量机 (b)XY平面视觉效果
态特征，反映的是图像或图像区域像素亮度值在空 间中分布与组合的变化情况，通过纹理判别，可以 有效排除与火焰相近的一些干扰物。 龙铭等［１］ 选 取反差、灰度相关、能量和逆差矩等 ４ 种纹理特征统 计量，描述了火焰图像分割区域的灰度纹理特征； 严云洋等［２］ 和卢英［３］ 等用多尺度局部二值模式 （ｌｏｃａｌ ｂｉｎａｒｙ ｐａｔｔｅｒｎ，ＬＢＰ） 特征描述火焰的静态纹 理，从而得到更全面的火焰特征信息。 卢英等［４］ 还 提出了一种基于多尺度 ＬＢＰ 与 ＧＢＰ 纹理特征的火 焰识别算法，提高大空间建筑场景中基于视频图像 的火灾的识别率。 张彤等［５－７］ 对火焰纹理的局部二 值模式进行了不同方向的研究。 实际上，火焰不仅 有静态时特定的纹理，也有动态时纹理的某些变化 特征。 比如火焰区域的某些像素灰度值在时域上 会有较大的变化，特别是处于火焰边缘区域的像 素。 邵婧等［８］ 提出了一种基于动态纹理特征分析 的新型图像型火灾检测算法；赵亚琴［９］ 提出一种利 用旅行者行为图论的火灾火焰视频动态纹理分析 与识别方法；Ａｕｄｒｅｙ 等［１０］则利用简单的纹理描述器 去说明大约 ９８％的火焰检测。 可见火焰的静、动态 纹理对火焰的识别都是有效的，如果在提取火焰静 态纹理特征的同时，能恰当地描述火焰的动态纹 理，将有助于更准确地描述火焰，从而提高火焰检 测的准确率；Ｚｈａｏ 等［１１］ 对 ＬＢＰ 进行了较为合理的 扩展，提 出 了 具 有 代 表 性 的 卷 积 局 部 二 值 模 式 （ｖｏｌｕｍｅ ｌｏｃａｌ ｂｉｎａｒｙ ｐａｔｔｅｒｎ，ＶＬＢＰ），把时域信息融 入动态纹理中。 同时，为了减少计算量和使算子更 容易扩展，又提出仅仅考虑 ３ 个正交平面上的 ２ 维 ＬＢＰ 模式，得到了三正交平面局部二值模式（ ｔｈｒｅｅ ｏｒｔｈｏｇｏｎａｌ ｐｌａｎｅｓ ｌｏｃａｌ ｂｉｎａｒｙ ｐａｔｔｅｒｎ， ＬＢＰ⁃ＴＯＰ ）。 并将该方法用于人脸表情识别，取得了显著的成 果。 许多研究表明 ＬＢＰ⁃ＴＯＰ 在描述动态纹理方面 能取得不错的效果。 Ｘｕ 等［１２］将其用于拥挤场景中 检测不寻常的事件；Ｓｔｈｅｖａｎｉｅ 等［１３］ 将 ＬＢＰ⁃ＴＯＰ 稍 作改变用于火焰动态纹理识别，以加速火焰识别过 程，并用 ＫＮＮ 算法对火焰视频与非火焰视频进行 分类。 本文考虑到有些火焰呈现大面积白色，表面相 对平滑，如果按照 Ｓｔｈｅｖａｎｉｅ 等［１３］ 方法，将火焰 ＸＹ 平面的纹理特征用 ＬＴＰ ［１４］表示，在阈值的作用下静 态纹理模式将过于集中，不利于与其他干扰物区 别。 因此本文将八邻域的 ＬＢＰ ｕ２ ［１５］ 作为 ＸＹ 平面的 静态纹理特征描述子，在尽可能保留火焰静态纹理 模式 的 同 时， 不 至 于 维 数 过 多。 同 时， Ｓｔｈｅｖａｎｉｅ 等［１３］用 ＫＮＮ 算法对火焰纹理的三维特征进行分类 识别，考虑到 ３ 个维度的特征串联维数较多，用 ＫＮＮ 算法效率较低，本文用维度加权的支持向量机 进行分类识别，即根据火焰纹理 ３ 个维度单独作用 的识别率赋予相应的权重，再用支持向量机分类识 别。 实验结果表明，本文算法相比 Ｓｔｈｅｖａｎｉｅ 等［１３］ 的算法在火焰识别准确率和检测效率上都有较大 的提高，在 Ｂｉｌｋｅｎｔ 大学火灾视频库的实验中，本文 算法也表现出了较高的火焰检测率和较低的误 检率。 １ 基于 ＬＭＰ⁃ＴＯＰ 的火焰动态纹理 提取 通常情况下，视频序列可以看成 ＸＹ 平面在时 间轴 Ｔ 上的堆积，然而，它其实也是 ＸＴ 平面在 Ｙ 轴 上的堆积或者 ＹＴ 平面在 Ｘ 轴上的堆积。 ＸＹ 平面 代表了物体的表观信息，ＸＴ 平面给出了某一行随着 时间变化的视觉信息，而 ＹＴ 平面则给出了某一列 随着时间变化的视觉信息，如图 １ 所示，左边为 ４００ ×３００×２５０ 的视频序列。 Ｚｈａｏ 等［１１］ 对视频序列除 边界外的所有像素分别提取 ＸＹ、ＸＴ、ＹＴ ３ 个正交平 面的 ＬＢＰ，然后将它们连接成一个特征直方图，处理 过程如图 ２ 所示。 通过这种方法，就同时考虑了纹 理在时间和空间上的信息。 对于 ＸＹ、ＸＴ、ＹＴ ３ 个平 面的邻域采样点个数和 Ｘ、Ｙ、Ｔ ３ 个方向的半径都可 以不同，它们分别被表示为 ＰＸＹ 、ＰＸＴ 、ＰＹＴ 以及 ＲＸ 、 ＲＹ 、ＲＴ ， 这 样 相 应 的 动 态 纹 理 特 征 就 被 标 记 为 ＬＢＰ⁃ＴＯＰ ＰＸＹ ，ＰＸＴ ，ＰＹＴ ，ＲＸ ，ＲＹ ，ＲＴ ［１１］ 。 （ａ）４００×３００×２５０ 的视频 （ｂ）ＸＹ 平面视觉效果 第 ４ 期 严云洋，等：维度加权模式动态纹理特征的火焰检测 ·５４９·
.550. 智能系统学报 第12卷 在火焰视频中，Sthevanie等]考虑到火焰多 层次的静态纹理特性，用LTP将火焰与常见的均匀 纹理干扰物区别开来。考虑到有些火焰会呈现大 面积白色，如图3(a)所示，这时火焰表面也变得均 匀，如果使用LTP表示火焰静态纹理特征，在阈值 的作用下，特征模式将过于集中，与均匀纹理的干 扰物有着一样的模式分布，不利于区分两者，为此， 本文对XY平面采用8邻域的LBP2进行描述，如图 (c)XT平面视觉效果 3(©)所示，在尽可能保留火焰静态特征的同时，不 至于使特征维数过大。 0:35 (a)火焰视频的某一帧图像 0.7 (d)YT平面视觉效果 图1视频序列及其3个正交平面的视觉效果山 0.6 Fig.1 Video sequences and vsual effects of 3 orthogonal planes 0.5 141 0.2 0.1 模式序号 (b)该帧图像火焰区域采用4邻域的LTP表示的直方图 (阈值为5) (a)动态纹理中的3个正交平面 0.25 0.20 0.15 0.10 XT YT 0.0 (b)每个平面的LBP直方图 ollalllhl 10203040 50 60 模式序号 (c)该帧图像火焰区域采用8邻域LBP2表示的静态特 征直方图 图3有大面积白色区域的火焰示例图片及其用不同方 式提取的纹理直方图 XT Fig.3 A sample flame with large area of white and its (c)连接的特征直方图 texture histogram extracted in different ways 图2三正交平面局部二值模式提取的过程 Fig.2 The process of extracting local binary pattern in 对于XT和T平面，它们反映的是火焰随着时 three orthogonal planes 间的变化特性，火焰的边缘会出现周期性闪烁，具
（ｃ）ＸＴ 平面视觉效果 （ｄ）ＹＴ 平面视觉效果 图 １ 视频序列及其 ３ 个正交平面的视觉效果［１１］ Ｆｉｇ．１ Ｖｉｄｅｏ ｓｅｑｕｅｎｃｅｓ ａｎｄ ｖｓｕａｌ ｅｆｆｅｃｔｓ ｏｆ ３ ｏｒｔｈｏｇｏｎａｌ ｐｌａｎｅｓ （ａ）动态纹理中的 ３ 个正交平面 （ｂ）每个平面的 ＬＢＰ 直方图 （ｃ）连接的特征直方图 图 ２ 三正交平面局部二值模式提取的过程 Ｆｉｇ．２ Ｔｈｅ ｐｒｏｃｅｓｓ ｏｆ ｅｘｔｒａｃｔｉｎｇ ｌｏｃａｌ ｂｉｎａｒｙ ｐａｔｔｅｒｎ ｉｎ ｔｈｒｅｅ ｏｒｔｈｏｇｏｎａｌ ｐｌａｎｅｓ 在火焰视频中， Ｓｔｈｅｖａｎｉｅ 等［１３］ 考虑到火焰多 层次的静态纹理特性，用 ＬＴＰ 将火焰与常见的均匀 纹理干扰物区别开来。 考虑到有些火焰会呈现大 面积白色，如图 ３（ａ）所示，这时火焰表面也变得均 匀，如果使用 ＬＴＰ 表示火焰静态纹理特征，在阈值 的作用下，特征模式将过于集中，与均匀纹理的干 扰物有着一样的模式分布，不利于区分两者，为此， 本文对 ＸＹ 平面采用 ８ 邻域的 ＬＢＰ ｕ２进行描述，如图 ３（ｃ）所示，在尽可能保留火焰静态特征的同时，不 至于使特征维数过大。 （ａ）火焰视频的某一帧图像 （ｂ）该帧图像火焰区域采用 ４ 邻域的 ＬＴＰ 表示的直方图 （阈值为 ５） （ｃ）该帧图像火焰区域采用 ８ 邻域 ＬＢＰ ｕ２表示的静态特 征直方图 图 ３ 有大面积白色区域的火焰示例图片及其用不同方 式提取的纹理直方图 Ｆｉｇ．３ Ａ ｓａｍｐｌｅ ｆｌａｍｅ ｗｉｔｈ ｌａｒｇｅ ａｒｅａ ｏｆ ｗｈｉｔｅ ａｎｄ ｉｔｓ ｔｅｘｔｕｒｅ ｈｉｓｔｏｇｒａｍ ｅｘｔｒａｃｔｅｄ ｉｎ ｄｉｆｆｅｒｅｎｔ ｗａｙｓ 对于 ＸＴ 和 ＹＴ 平面，它们反映的是火焰随着时 间的变化特性，火焰的边缘会出现周期性闪烁，具 ·５５０· 智 能 系 统 学 报 第 １２ 卷
第4期 严云洋，等：维度加权模式动态纹理特征的火焰检测 ·551- 体表现为火焰边缘的像素值会出现较大的周期性 应3个维度的权重向量。 变化，而一般干扰物不会。可以想象，对于某一个 Y,=round(Y) (2) 像素，当它（像素值）与时间轴上刚好发生闪烁的帧 Y2=Y×(max(Y,)-1)/max(Y)+1 (3) 上的相应位置比较时，或者大于某一正阈值(T), W=round(Y2) (4) 或者小于某一负阈值(-T)。引入阈值T.的目的 本文的特征加权矩阵P可由式(5)得到 是为了排除由于光照等因素引起的像素值随时间 WIA1 的微小变化。由以上分析可知，当把时间轴T上的 P= W2A2 (5) 半径R,取值为火焰闪烁的间隔，将得到较为明显的 火焰变化特征。根据文献[16]分析，火焰的闪烁频 式中：w(i=1,2,3)是维度权重，A,(i=1,2,3)是3 率主要分布在7~12Hz之间，而视频的采集帧率一 个维度的单位对角矩阵，A:的阶数由每个维度的特 般为25/s,所以每隔两、三帧火焰闪烁一次，实验 征数决定。 中发现每隔两帧火焰纹理有较大变化，故本文将时 考虑到径向基核函数的适用性，本文选择使用 间轴半径R,取值为2。同时考虑到火焰在相应位 径向基Gauss核函数。特征加权径向基核函数为 置闪烁，这对应于正交的主方向，所以把P、P取 k(xi,x)=exp(-ylxP-xP2)= 值为4，这对于使用LTP表示的特征也有利于避免 exp(-y((x:-x)TPP'(x:-x)))(6) 维数过多，同时不至于丢失太多信息。本文把这种 式中：y为核函数的宽度参数，本文使用K折交叉结 用LBP和LTP合作描述动态纹理三维特征的描述 合网格搜索算法寻找最优的Y。 子叫做三正交平面局部混合模式(LMP-TOP)。 3实验结果与分析 2 基于维度加权的支持向量机 本文在CPU为Intel.i3,主频为3.40GHz,内存 因为用LMP-TOP描述的火焰动态纹理特征维 为4.00GB的实验环境下用MATLAB R2012b进行 数较多，本文选择适用于高维度空间向量的支持向 测试。在参数选择上，除上文分析过的外，依据文 量机进行分类识别。支持向量机是以统计学习理 献[13]，把Rx、Ry都取值为1，帧样本数]NP取值 论为基础的一种二分类器，它通过训练数据集建立 为5，由于R,取值为2，所以本文实际上是对序列长 一个超平面，并使得两类样本以最大间隔分开，然 度为9的疑似火焰区域进行LMP-TOP提取。 后利用训练结果模型对测试数据集进行分类。对 训练的过程如图4所示，首先依据火焰的颜色 于小样本和多维度的数据集，支持向量机相比其他 特征提取视频中某一帧的疑似火焰区域，本文的疑 分类器具有较为明显的效果。 似火焰区域用文献[17]的方法提取，然后再以该帧 由于不同平面提取的火焰特征是不同的(1个 为结尾帧，序列长度为9的连续视频片段中对疑似 静态特征，2个动态特征)，不难想到它们对视频的 火焰区域进行LMP-TOP提取，最后把得到的特征 分类贡献度是不同的，如果为不同平面赋予相应权 放入特征加权的支持向量机中进行训练，得到效果 重，将使核函数尽可能被贡献度大的平面特征所支 最好的模型。 配，从而提高分类准确率。为此本文为不同平面特 征赋予相应的权重0，其计算方法如下)： 训练 疑似火焰 LMP-TOP 特征加权 模型 视频 区域提取 提取 SVM训练 首先分别计算3个平面的识别率，这样就得到 了3个识别率X=[x1,x2,x3];然后认为识别率越 图4训练过程 高，它的贡献度增长得也越快，比如识别率从70% Fig.4 Training process 增长到80%好于识别率从50%增长到60%，即使它 测试过程如图5所示，对测试视频提取疑似火 们之间都只有10%的差别。相比于最低的识别率， 焰区域后，也提取其LMP-TOP描述子，最后用训练 两个较高的识别率相对优势可以用式(1)计算： 得到的模型进行识别分类。 Y=(X-min(X)×I)/((100-min(X))/10) 测试 疑似火焰 LMP-TOP 特征加权 (1) 视频 区域提取「 提取 SVM训练 结果 式中：1为三维的单位向量，最后，把最低的识别率 权重设为1，另外两个维度的识别率权重可以根据 图5测试过程 其与最低识别率的线性关系得到，如式(3)，W为对 Fig.5 Test process
体表现为火焰边缘的像素值会出现较大的周期性 变化，而一般干扰物不会。 可以想象，对于某一个 像素，当它（像素值）与时间轴上刚好发生闪烁的帧 上的相应位置比较时，或者大于某一正阈值（ Ｔｈ ）， 或者小于某一负阈值（ －Ｔｈ ）。 引入阈值 Ｔｈ 的目的 是为了排除由于光照等因素引起的像素值随时间 的微小变化。 由以上分析可知，当把时间轴 Ｔ 上的 半径 ＲＴ 取值为火焰闪烁的间隔，将得到较为明显的 火焰变化特征。 根据文献［１６］分析，火焰的闪烁频 率主要分布在 ７～１２ Ｈｚ 之间，而视频的采集帧率一 般为 ２５ ｆ ／ ｓ，所以每隔两、三帧火焰闪烁一次，实验 中发现每隔两帧火焰纹理有较大变化，故本文将时 间轴半径 ＲＴ 取值为 ２。 同时考虑到火焰在相应位 置闪烁，这对应于正交的主方向，所以把 ＰＸＴ 、ＰＹＴ取 值为 ４，这对于使用 ＬＴＰ 表示的特征也有利于避免 维数过多，同时不至于丢失太多信息。 本文把这种 用 ＬＢＰ 和 ＬＴＰ 合作描述动态纹理三维特征的描述 子叫做三正交平面局部混合模式（ＬＭＰ⁃ＴＯＰ）。 ２ 基于维度加权的支持向量机 因为用 ＬＭＰ⁃ＴＯＰ 描述的火焰动态纹理特征维 数较多，本文选择适用于高维度空间向量的支持向 量机进行分类识别。 支持向量机是以统计学习理 论为基础的一种二分类器，它通过训练数据集建立 一个超平面，并使得两类样本以最大间隔分开，然 后利用训练结果模型对测试数据集进行分类。 对 于小样本和多维度的数据集，支持向量机相比其他 分类器具有较为明显的效果。 由于不同平面提取的火焰特征是不同的（１ 个 静态特征，２ 个动态特征），不难想到它们对视频的 分类贡献度是不同的，如果为不同平面赋予相应权 重，将使核函数尽可能被贡献度大的平面特征所支 配，从而提高分类准确率。 为此本文为不同平面特 征赋予相应的权重 ｗ，其计算方法如下［１１］ ： 首先分别计算 ３ 个平面的识别率，这样就得到 了 ３ 个识别率 Ｘ ＝ ［ ｘ１ ，ｘ２ ，ｘ３ ］；然后认为识别率越 高，它的贡献度增长得也越快，比如识别率从 ７０％ 增长到 ８０％好于识别率从 ５０％增长到 ６０％，即使它 们之间都只有 １０％的差别。 相比于最低的识别率， 两个较高的识别率相对优势可以用式（１）计算： Ｙ ＝ （Ｘ － ｍｉｎ（Ｘ） × Ｉ） ／ （（１００ － ｍｉｎ（Ｘ）） ／ １０） （１） 式中：Ｉ 为三维的单位向量，最后，把最低的识别率 权重设为 １，另外两个维度的识别率权重可以根据 其与最低识别率的线性关系得到，如式（３），Ｗ 为对 应 ３ 个维度的权重向量。 Ｙ１ ＝ ｒｏｕｎｄ（Ｙ） （２） Ｙ２ ＝ Ｙ × （ｍａｘ（Ｙ１ ） － １） ／ ｍａｘ（Ｙ） ＋ １ （３） Ｗ ＝ ｒｏｕｎｄ（Ｙ２ ） （４） 本文的特征加权矩阵 Ｐ 可由式（５）得到 Ｐ ＝ ｗ１ Ａ１ ｗ２ Ａ２ ｗ３ Ａ３ é ë ê ê ê ê ù û ú ú ú ú （５） 式中：ｗｉ（ ｉ ＝ １，２，３）是维度权重，Ａｉ（ ｉ ＝ １，２，３）是 ３ 个维度的单位对角矩阵，Ａｉ 的阶数由每个维度的特 征数决定。 考虑到径向基核函数的适用性，本文选择使用 径向基 Ｇａｕｓｓ 核函数。 特征加权径向基核函数为 ｋｐ（ｘｉ，ｘｊ） ＝ ｅｘｐ（ － γ ｘ Ｔ ｉ Ｐ － ｘ Ｔ ｊ Ｐ ２ ） ＝ ｅｘｐ（ － γ（（ｘｉ － ｘｊ） ＴＰＰ Ｔ （ｘｉ － ｘｊ））） （６） 式中：γ 为核函数的宽度参数，本文使用 Ｋ 折交叉结 合网格搜索算法寻找最优的 γ。 ３ 实验结果与分析 本文在 ＣＰＵ 为 Ｉｎｔｅｌ．ｉ３，主频为 ３．４０ ＧＨｚ，内存 为 ４．００ ＧＢ 的实验环境下用 ＭＡＴＬＡＢ Ｒ２０１２ｂ 进行 测试。 在参数选择上，除上文分析过的外，依据文 献［１３］，把 ＲＸ 、ＲＹ 都取值为 １，帧样本数［１３］ＮＰ 取值 为 ５，由于 ＲＴ 取值为 ２，所以本文实际上是对序列长 度为 ９ 的疑似火焰区域进行 ＬＭＰ⁃ＴＯＰ 提取。 训练的过程如图 ４ 所示，首先依据火焰的颜色 特征提取视频中某一帧的疑似火焰区域，本文的疑 似火焰区域用文献［１７］的方法提取，然后再以该帧 为结尾帧，序列长度为 ９ 的连续视频片段中对疑似 火焰区域进行 ＬＭＰ⁃ＴＯＰ 提取，最后把得到的特征 放入特征加权的支持向量机中进行训练，得到效果 最好的模型。 图 ４ 训练过程 Ｆｉｇ．４ Ｔｒａｉｎｉｎｇ ｐｒｏｃｅｓｓ 测试过程如图 ５ 所示，对测试视频提取疑似火 焰区域后，也提取其 ＬＭＰ⁃ＴＯＰ 描述子，最后用训练 得到的模型进行识别分类。 图 ５ 测试过程 Ｆｉｇ．５ Ｔｅｓｔ ｐｒｏｃｅｓｓ 第 ４ 期 严云洋，等：维度加权模式动态纹理特征的火焰检测 ·５５１·
.552 智能系统学报 第12卷 本文的实验库是从网上下载的44段视频，其中 训练和测试过程均从每个视频中选择100个疑 包括22段火焰视频和22段常见的与火焰颜色相似 似火焰序列，这样用于训练和测试的样本各有2200 的干扰视频。这些火焰干扰物视频既包括始终静 个。为了验证上文的分析，确定3个正交平面分别 止的，也包括运动的，既有表面粗糙的，也有表面均 用哪种模式提取特征效果更好，以及对LTP中阈值 匀的。本文把上述视频均分成两部分，分别用于训 的确定，本文通过改变LMP-TOP的参数设计了几 练与测试。即把11段火焰视频和11段非火焰视频 组实验，如表1所示。 用于训练，剩下的用于测试。 表1不同参数设置的识别率差别 Tablel Difference of recognition rate with different parameters % 序号 LMP-TOP XY XT YT 合成 维度加权 Basic4.4,4.1,1.2 74.82 82.36 88.27 90.09 92.45[1,3,5] 2 LTP4.4.4.1,1,2 75.36 82.36 88.27 88.27 91.27[1,3,5] 3 428,4,4,1,1,2 78.73 82.36 88.27 92.09 93.36[1,3,4] 4 Basic8,4,4,1,1,2 74.18 82.36 88.27 92.18 92.91[1,3,5] 5 428,8,8,1.1,2 78.73 77.64 79.09 83.09 83.09[1,1,1] 6 428,4,4,1,1,2 78.73 86.18 85.55 89.54 90.09[1,4,4] 表1中，第1~4组只改变Y平面特征描述子， (最后一列中括号内为各个维度的权重)，这是因为 第1组采用4邻域的LBP,第2组采用4邻域的 通过维度加权使核函数的计算更多地依赖于强相 LTP,第3组采用8邻域的LBP2,第4组采用传统 关的维度特征。 的8邻域LBP,这4组XT和YT平面特征都用4邻 为了更好地对本文的算法进行评估，本文对目 域的LTP描述：第5组把XT平面和YT平面的特征 前火灾检测领域公认的数据库Bilkent大学火灾视 用8邻域的LBP表示，其他的与第3组一致；1~4 http://signal.ee.bilkent.edu.tr/VisiFire/index. 组中LTP阈值都设置为5，而第6组设置为10，其他 html)的8段视频进行了测试，并将结果与Sthevanie 的与第3组一致。 等)的算法及国内外部分文献[18-0]进行对比，测 由第1~4组数据可以看出当XY平面用8邻域 试视频示例如图6所示，检测结果及与其他文献的 的LBP2描述时效果最好，这是因为用传统的4邻 对比数据如表2、表3所示，其中LMP-TOP各参数 域LBP描述火焰静态纹理特征时将把许多信息丢 的设置及使用的持向量机模型与第3组实验一致。 失掉，而用LTP方法，在阈值的作用下纹理模式过 于集中，不利于区分。至于传统的8邻域LBP,由于 其包含了许多弱相关或不相关的特征，反而不利于 分类识别，且其维数也是一个大问题。由第3组和 第5组数据可以看出对于XT和YT平面的动态火 焰纹理特征描述，用4邻域的LTP比8邻域的 LBP2识别效果更好，这是因为在光照、视频质量等 因素的影响下，非火焰视频某位置像素值在LBP2 (a)视频1 中可能被认为发生了变化，而在LTP中，它将被视 为不变，从而把火焰与非火焰区分开来。由第3、6 组可以看出，阈值取值为5较为合适，因为过大的阈 值将使火焰像素值的变化也检测不出来。比较第2 组和第4组的识别率可以知道本文算法相比 Sthevanie等1]的算法效果得到了提高。此外，从几 组数据中可以看出，该特征提取分类方法在视频火 焰识别中效果不错，最高可以达到93.36%，且使用 (b)视频2 维度加权的方法比直接连接3个平面特征效果好
本文的实验库是从网上下载的 ４４ 段视频，其中 包括 ２２ 段火焰视频和 ２２ 段常见的与火焰颜色相似 的干扰视频。 这些火焰干扰物视频既包括始终静 止的，也包括运动的，既有表面粗糙的，也有表面均 匀的。 本文把上述视频均分成两部分，分别用于训 练与测试。 即把 １１ 段火焰视频和 １１ 段非火焰视频 用于训练，剩下的用于测试。 训练和测试过程均从每个视频中选择 １００ 个疑 似火焰序列，这样用于训练和测试的样本各有 ２ ２００ 个。 为了验证上文的分析，确定 ３ 个正交平面分别 用哪种模式提取特征效果更好，以及对 ＬＴＰ 中阈值 的确定，本文通过改变 ＬＭＰ⁃ＴＯＰ 的参数设计了几 组实验，如表 １ 所示。 表 １ 不同参数设置的识别率差别 Ｔａｂｌｅ１ Ｄｉｆｆｅｒｅｎｃｅ ｏｆ ｒｅｃｏｇｎｉｔｉｏｎ ｒａｔｅ ｗｉｔｈ ｄｉｆｆｅｒｅｎｔ ｐａｒａｍｅｔｅｒｓ ％ 序号 ＬＭＰ⁃ＴＯＰＰ ＸＹ ，Ｐ ＸＴ ，Ｐ ＹＴ ，Ｒ Ｘ ，Ｒ Ｙ ，Ｒ Ｔ ＸＹ ＸＴ ＹＴ 合成 维度加权 １ Ｂａｓｉｃ ４，４，４，１，１，２ ７４．８２ ８２．３６ ８８．２７ ９０．０９ ９２．４５［１，３，５］ ２ ＬＴＰ ４，４，４，１，１，２ ７５．３６ ８２．３６ ８８．２７ ８８．２７ ９１．２７［１，３，５］ ３ ｕ２ ８，４，４，１，１，２ ７８．７３ ８２．３６ ８８．２７ ９２．０９ ９３．３６［１，３，４］ ４ Ｂａｓｉｃ ８，４，４，１，１，２ ７４．１８ ８２．３６ ８８．２７ ９２．１８ ９２．９１［１，３，５］ ５ ｕ２ ８，８，８，１，１，２ ７８．７３ ７７．６４ ７９．０９ ８３．０９ ８３．０９［１，１，１］ ６ ｕ２ ８，４，４，１，１，２ ７８．７３ ８６．１８ ８５．５５ ８９．５４ ９０．０９［１，４，４］ 表 １ 中，第 １～４ 组只改变 ＸＹ 平面特征描述子， 第 １ 组采用 ４ 邻域的 ＬＢＰ，第 ２ 组采用 ４ 邻域的 ＬＴＰ，第 ３ 组采用 ８ 邻域的 ＬＢＰ ｕ２ ，第 ４ 组采用传统 的 ８ 邻域 ＬＢＰ，这 ４ 组 ＸＴ 和 ＹＴ 平面特征都用 ４ 邻 域的 ＬＴＰ 描述；第 ５ 组把 ＸＴ 平面和 ＹＴ 平面的特征 用 ８ 邻域的 ＬＢＰ ｕ２表示，其他的与第 ３ 组一致；１ ～ ４ 组中 ＬＴＰ 阈值都设置为 ５，而第 ６ 组设置为 １０，其他 的与第 ３ 组一致。 由第 １～４ 组数据可以看出当 ＸＹ 平面用 ８ 邻域 的 ＬＢＰ ｕ２描述时效果最好，这是因为用传统的 ４ 邻 域 ＬＢＰ 描述火焰静态纹理特征时将把许多信息丢 失掉，而用 ＬＴＰ 方法，在阈值的作用下纹理模式过 于集中，不利于区分。 至于传统的 ８ 邻域 ＬＢＰ，由于 其包含了许多弱相关或不相关的特征，反而不利于 分类识别，且其维数也是一个大问题。 由第 ３ 组和 第 ５ 组数据可以看出对于 ＸＴ 和 ＹＴ 平面的动态火 焰纹理特征描述， 用 ４ 邻域的 ＬＴＰ 比 ８ 邻域的 ＬＢＰ ｕ２识别效果更好，这是因为在光照、视频质量等 因素的影响下，非火焰视频某位置像素值在 ＬＢＰ ｕ２ 中可能被认为发生了变化，而在 ＬＴＰ 中，它将被视 为不变，从而把火焰与非火焰区分开来。 由第 ３、６ 组可以看出，阈值取值为 ５ 较为合适，因为过大的阈 值将使火焰像素值的变化也检测不出来。 比较第 ２ 组和 第 ４ 组 的 识 别 率 可 以 知 道 本 文 算 法 相 比 Ｓｔｈｅｖａｎｉｅ 等［１３］的算法效果得到了提高。 此外，从几 组数据中可以看出，该特征提取分类方法在视频火 焰识别中效果不错，最高可以达到 ９３．３６％，且使用 维度加权的方法比直接连接 ３ 个平面特征效果好 （最后一列中括号内为各个维度的权重），这是因为 通过维度加权使核函数的计算更多地依赖于强相 关的维度特征。 为了更好地对本文的算法进行评估，本文对目 前火灾检测领域公认的数据库 Ｂｉｌｋｅｎｔ 大学火灾视 频库（ ｈｔｔｐ： ／ ／ ｓｉｇｎａｌ． ｅｅ． ｂｉｌｋｅｎｔ． ｅｄｕ． ｔｒ／ ＶｉｓｉＦｉｒｅ ／ ｉｎｄｅｘ． ｈｔｍｌ）的 ８ 段视频进行了测试，并将结果与 Ｓｔｈｅｖａｎｉｅ 等［１３］的算法及国内外部分文献［１８－２０］ 进行对比，测 试视频示例如图 ６ 所示，检测结果及与其他文献的 对比数据如表 ２、表 ３ 所示，其中 ＬＭＰ⁃ＴＯＰ 各参数 的设置及使用的持向量机模型与第 ３ 组实验一致。 （ａ）视频 １ （ｂ）视频 ２ ·５５２· 智 能 系 统 学 报 第 １２ 卷
第4期 严云洋，等：维度加权模式动态纹理特征的火焰检测 .553. Ultimatechase.com (c)视频3 (d)视频4 Ultimatechase.com Ultimatechase.com (e)视频5 (f)视频6 (g)视频7 (h)视频8 图6测试视频示例 Fig.6 Test video samples 表2火焰视频检测结果 Table2 Results fire video detection 视频火焰 准确检测帧数 准确率/% 序列总帧数文献[18]文献[19]文献[20]文献[13] 本文算法文献[18]文献[19]文献[20]文献[13] 本文算法 1 386 225 350 357 352 362 58.3 90.7 92.5 91.2 93.8 2 616 505 575 385 446 458 82.0 93.3 62.5 61.4 74.4 424 318 417 377 328 343 75.0 98.4 88.9 77.4 80.9 4 230 215 220 227 226 230 93.5 65.7 98.7 98.3 100.0 185 178 180 179 172 180 96.2 97.3 96.8 93.0 97.3 6 204 195 196 197 180 199 95.6 96.1 96.6 96.6 97.5 表3非火焰视频检测结果 Table 3 Results of non fire video detection 视频非火焰 误检帧数 误检率/% 序列总帧数文献[18]文献[19]文献[20]文献[13]本文算法文献[18]文献[19]文献[20]文献[13]本文算法 145 82 112 44 38 56.5 77.2 17.2 30.3 26.2 8 147 77 122 29 25 52.4 83.0 5.4 19.7 17.0
（ｃ）视频 ３ （ｅ）视频 ５ （ｇ）视频 ７ （ｄ）视频 ４ （ｆ）视频 ６ （ｈ）视频 ８ 图 ６ 测试视频示例 Ｆｉｇ．６ Ｔｅｓｔ ｖｉｄｅｏ ｓａｍｐｌｅｓ 表 ２ 火焰视频检测结果 Ｔａｂｌｅ２ Ｒｅｓｕｌｔｓ ｆｉｒｅ ｖｉｄｅｏ ｄｅｔｅｃｔｉｏｎ 视频 序列 火焰 总帧数 准确检测帧数 准确率／ ％ 文献［１８］ 文献［１９］ 文献［２０］ 文献［１３］ 本文算法 文献［１８］ 文献［１９］ 文献［２０］ 文献［１３］ 本文算法 １ ３８６ ２２５ ３５０ ３５７ ３５２ ３６２ ５８．３ ９０．７ ９２．５ ９１．２ ９３．８ ２ ６１６ ５０５ ５７５ ３８５ ４４６ ４５８ ８２．０ ９３．３ ６２．５ ６１．４ ７４．４ ３ ４２４ ３１８ ４１７ ３７７ ３２８ ３４３ ７５．０ ９８．４ ８８．９ ７７．４ ８０．９ ４ ２３０ ２１５ ２２０ ２２７ ２２６ ２３０ ９３．５ ６５．７ ９８．７ ９８．３ １００．０ ５ １８５ １７８ １８０ １７９ １７２ １８０ ９６．２ ９７．３ ９６．８ ９３．０ ９７．３ ６ ２０４ １９５ １９６ １９７ １８０ １９９ ９５．６ ９６．１ ９６．６ ９６．６ ９７．５ 表 ３ 非火焰视频检测结果 Ｔａｂｌｅ ３ Ｒｅｓｕｌｔｓ ｏｆ ｎｏｎ ｆｉｒｅ ｖｉｄｅｏ ｄｅｔｅｃｔｉｏｎ 视频 序列 非火焰 总帧数 误检帧数 误检率／ ％ 文献［１８］ 文献［１９］ 文献［２０］ 文献［１３］ 本文算法 文献［１８］ 文献［１９］ 文献［２０］ 文献［１３］ 本文算法 ７ １４５ ８２ １１２ ２５ ４４ ３８ ５６．５ ７７．２ １７．２ ３０．３ ２６．２ ８ １４７ ７７ １２２ ８ ２９ ２５ ５２．４ ８３．０ ５．４ １９．７ １７．０ 第 ４ 期 严云洋，等：维度加权模式动态纹理特征的火焰检测 ·５５３·
·554. 智能系统学报 第12卷 从表2和表3可以看出文献[18]对于森林火 KNN算法的时间(2.51s)提高了一倍多，从这里可 焰有较高的准确率，对于其他类型的火焰，尤其是 以看出在维数较多时支持向量机相对于KNN算法 当非火焰干扰时准确率大幅度降低，这是因为它只 的优势。 用森林的火焰样本进行统计分析，所以在其他场景 4结束语 的适用性较低，而因为检测步骤过于简单，对火焰 的一些主要特征缺少分析，所以对车灯这种具有类 针对Sthevanie等对疑似火焰区域提取静动态 似火焰颜色的运动物体误检率高。文献[19]采用 纹理时，用局部三值模式描述火焰静态纹理特征不 双差法并结合HS空间中的3个颜色公式检测运动 利于把火焰与其他纹理均匀的干扰物区别开来，使 目标，虽然基于多阈值判定的双差法在火焰视频中 用KNN算法分类效率较低的问题，本文用均匀局部 检测结果较好，但也容易误检类似火焰颜色的运动 二值模式代替局部三值模式来提取火焰的静态纹 物体，所以对于车灯的干扰误检率极高。文献[20] 理特征，在有效保留火焰静态纹理特征的同时，不 利用视觉显著性来检测火焰，当火焰与背景相似 至于维数较高。同时用维度加权的支持向量机代 时，火焰的显著性将减弱，所以漏检率上升，如视频 替KNN算法进行视频火焰纹理的分类，实验结果表 2、3。但由于文献中融合和火焰颜色、纹理、闪频等 明本文算法在检测准确率和检测效率上均有较大 特征，所以检测效果不错。文献[I3]也即Sthevanie 提高，且用维度加权的方法相比直接连接三维特征 等的算法对于火焰3个维度的纹理特征都统一使用 效果更好，在Bilkent大学火灾视频库的实验中，本 局部三值模式，并用KNN算法进行分类，由于火焰 文算法也表现出了较高的火焰检测率和较低的误 静态纹理特征在三值模式的阈值作用下可能过于 检率。但对于夜晚车灯等干扰物，极易对火焰检测 集中，这将不利于火焰与其他纹理均匀的干扰物的 造成干扰，本文的检测效果并非那么理想。所以今 区分，本文用LBP来提取火焰的静态纹理特征，在 后将致力于融入火焰的其他特征，进一步提高算法 有效保留火焰纹理信息的同时，不至于维数过高。 的鲁棒性。 同时，本文根据3个维度纹理特征单独作用于火焰 参考文献： 识别的准确率赋予3个维度相应的权重，用维度加 权的支持向量机进行分类识别，有效地使核函数的 [1]龙铭，胡爱闽，江熹大空间火灾火焰图像分割区域的静 态特征描述与提取[J].机械设计与制造，2013(4)： 计算更多地依赖于强相关的维度特征，从而使本文 211-213. 算法的检测准确率相比Sthevanie等的算法有了较 LONG Ming,HU Aimin,JIANG Xi.Static visual features 大提高。 description and extraction of flame image segmented region 本文算法在火焰位置相对固定的情况下（如视 of large space fire[J].Machinery design and manufacture, 频1、4、5、6)，检测效果较好，但是在风大火焰摇摆 2013(4):211-213. 不定的场景下（如视频2、3），火焰的检测率下降，这 [2]严云洋，唐岩岩，刘以安.使用多尺度LBP特征和SVM的 火焰识别算法[J].山东大学学报：工学版，2012,42 是因为本文动态纹理提取方法是以某一帧的疑似 (5):47-52 火焰区域进行定位，整个特征向量是在以该区域为 YAN Yunyang,TANG Yanyan,LIU Yian.Flame detection 底面积，序列长度为高的体积内进行计算的，如果 based on LBP features with multi-scales and SVM J]. 帧间火焰位置漂移太多，统计的其他几帧静态特征 Joural of shandong university:engineering science,2012, 和动态特征大部分将不再是火焰区域的，而是背景 42(5):47-52. 区域的，从而造成误判。对于非火焰的车灯（视频 [3]卢英，王慧琴，素立科.高大空间建筑火灾精确定位方法 [J].吉林大学学报：工学版，2016,46(6)：2067-2073. 7、8),本文算法虽然相比文献[18]和文献[19]有大 LU Ying,WANG Huiqin,QIN Like.Precise positioning 幅提升，但相比文献[20]还是有点不足，这是因为 method of fire in large space buildings[J].Journal of Jilin 本文仅用到了火焰的颜色和静动态纹理特征，所以 university:engineering science,2016,46 (6 ) 对某些非火焰的判断依据不够充分。 2067-2073. 在检测时间方面，本文是在9帧连续视频序列 [4]卢英，王慧琴，柴茜等.基于多尺度LBP与GBP特征的 里提取动态纹理进行分类识别的，对于分辨率为 火焰识别[J].计算机科学，2015,42(10)：316-320. LU Ying,WANG Huiqin,CHAI Xi,et al.Recognition 320×240的视频，如果直接使用训练好的支持向量 based on multi-scale LBP and GBP features[J].Computer 机模型，这个时间平均为1.17s,即从火焰开始燃烧 science,2015,42(10):316-320. 到发现火焰的时间为l.17s,它比Sthevanie等]用 [5]张彤，王倩，范九伦，等.基于时空局部二值模式的火灾
从表 ２ 和表 ３ 可以看出文献［１８］ 对于森林火 焰有较高的准确率，对于其他类型的火焰，尤其是 当非火焰干扰时准确率大幅度降低，这是因为它只 用森林的火焰样本进行统计分析，所以在其他场景 的适用性较低，而因为检测步骤过于简单，对火焰 的一些主要特征缺少分析，所以对车灯这种具有类 似火焰颜色的运动物体误检率高。 文献［１９］ 采用 双差法并结合 ＨＳＩ 空间中的 ３ 个颜色公式检测运动 目标，虽然基于多阈值判定的双差法在火焰视频中 检测结果较好，但也容易误检类似火焰颜色的运动 物体，所以对于车灯的干扰误检率极高。 文献［２０］ 利用视觉显著性来检测火焰，当火焰与背景相似 时，火焰的显著性将减弱，所以漏检率上升，如视频 ２、３。 但由于文献中融合和火焰颜色、纹理、闪频等 特征，所以检测效果不错。 文献［１３］也即 Ｓｔｈｅｖａｎｉｅ 等的算法对于火焰 ３ 个维度的纹理特征都统一使用 局部三值模式，并用 ＫＮＮ 算法进行分类，由于火焰 静态纹理特征在三值模式的阈值作用下可能过于 集中，这将不利于火焰与其他纹理均匀的干扰物的 区分，本文用 ＬＢＰ ｕ２来提取火焰的静态纹理特征，在 有效保留火焰纹理信息的同时，不至于维数过高。 同时，本文根据 ３ 个维度纹理特征单独作用于火焰 识别的准确率赋予 ３ 个维度相应的权重，用维度加 权的支持向量机进行分类识别，有效地使核函数的 计算更多地依赖于强相关的维度特征，从而使本文 算法的检测准确率相比 Ｓｔｈｅｖａｎｉｅ 等的算法有了较 大提高。 本文算法在火焰位置相对固定的情况下（如视 频 １、４、５、６），检测效果较好，但是在风大火焰摇摆 不定的场景下（如视频 ２、３），火焰的检测率下降，这 是因为本文动态纹理提取方法是以某一帧的疑似 火焰区域进行定位，整个特征向量是在以该区域为 底面积，序列长度为高的体积内进行计算的，如果 帧间火焰位置漂移太多，统计的其他几帧静态特征 和动态特征大部分将不再是火焰区域的，而是背景 区域的，从而造成误判。 对于非火焰的车灯（视频 ７、８），本文算法虽然相比文献［１８］和文献［１９］有大 幅提升，但相比文献［２０］还是有点不足，这是因为 本文仅用到了火焰的颜色和静动态纹理特征，所以 对某些非火焰的判断依据不够充分。 在检测时间方面，本文是在 ９ 帧连续视频序列 里提取动态纹理进行分类识别的，对于分辨率为 ３２０×２４０ 的视频，如果直接使用训练好的支持向量 机模型，这个时间平均为 １．１７ ｓ，即从火焰开始燃烧 到发现火焰的时间为 １．１７ ｓ，它比 Ｓｔｈｅｖａｎｉｅ 等［１３］用 ＫＮＮ 算法的时间（２．５１ ｓ）提高了一倍多，从这里可 以看出在维数较多时支持向量机相对于 ＫＮＮ 算法 的优势。 ４ 结束语 针对 Ｓｔｈｅｖａｎｉｅ 等对疑似火焰区域提取静动态 纹理时，用局部三值模式描述火焰静态纹理特征不 利于把火焰与其他纹理均匀的干扰物区别开来，使 用 ＫＮＮ 算法分类效率较低的问题，本文用均匀局部 二值模式代替局部三值模式来提取火焰的静态纹 理特征，在有效保留火焰静态纹理特征的同时，不 至于维数较高。 同时用维度加权的支持向量机代 替 ＫＮＮ 算法进行视频火焰纹理的分类，实验结果表 明本文算法在检测准确率和检测效率上均有较大 提高，且用维度加权的方法相比直接连接三维特征 效果更好，在 Ｂｉｌｋｅｎｔ 大学火灾视频库的实验中，本 文算法也表现出了较高的火焰检测率和较低的误 检率。 但对于夜晚车灯等干扰物，极易对火焰检测 造成干扰，本文的检测效果并非那么理想。 所以今 后将致力于融入火焰的其他特征，进一步提高算法 的鲁棒性。 参考文献： ［１］龙铭，胡爱闽，江熹．大空间火灾火焰图像分割区域的静 态特征描述与提取［ Ｊ］． 机械设计与制造， ２０１３ （ ４）： ２１１－２１３． ＬＯＮＧ Ｍｉｎｇ， ＨＵ Ａｉｍｉｎ， ＪＩＡＮＧ Ｘｉ． Ｓｔａｔｉｃ ｖｉｓｕａｌ ｆｅａｔｕｒｅｓ ｄｅｓｃｒｉｐｔｉｏｎ ａｎｄ ｅｘｔｒａｃｔｉｏｎ ｏｆ ｆｌａｍｅ ｉｍａｇｅ ｓｅｇｍｅｎｔｅｄ ｒｅｇｉｏｎ ｏｆ ｌａｒｇｅ ｓｐａｃｅ ｆｉｒｅ［ Ｊ］． Ｍａｃｈｉｎｅｒｙ ｄｅｓｉｇｎ ａｎｄ ｍａｎｕｆａｃｔｕｒｅ， ２０１３（４）： ２１１－２１３． ［２］严云洋，唐岩岩，刘以安．使用多尺度 ＬＢＰ 特征和 ＳＶＭ 的 火焰识别算法［ Ｊ］． 山东大学学报：工学版， ２０１２， ４２ （５）： ４７－５２ ＹＡＮ Ｙｕｎｙａｎｇ， ＴＡＮＧ Ｙａｎｙａｎ， ＬＩＵ Ｙｉａｎ． Ｆｌａｍｅ ｄｅｔｅｃｔｉｏｎ ｂａｓｅｄ ｏｎ ＬＢＰ ｆｅａｔｕｒｅｓ ｗｉｔｈ ｍｕｌｔｉ⁃ｓｃａｌｅｓ ａｎｄ ＳＶＭ ［ Ｊ ］． Ｊｏｕｒｎａｌ ｏｆ ｓｈａｎｄｏｎｇ ｕｎｉｖｅｒｓｉｔｙ： ｅｎｇｉｎｅｅｒｉｎｇ ｓｃｉｅｎｃｅ， ２０１２， ４２（５）： ４７－５２． ［３］卢英，王慧琴，秦立科． 高大空间建筑火灾精确定位方法 ［Ｊ］． 吉林大学学报：工学版， ２０１６， ４６（６）： ２０６７－２０７３． ＬＵ Ｙｉｎｇ， ＷＡＮＧ Ｈｕｉｑｉｎ， ＱＩＮ Ｌｉｋｅ． Ｐｒｅｃｉｓｅ ｐｏｓｉｔｉｏｎｉｎｇ ｍｅｔｈｏｄ ｏｆ ｆｉｒｅ ｉｎ ｌａｒｇｅ ｓｐａｃｅ ｂｕｉｌｄｉｎｇｓ［ Ｊ］． Ｊｏｕｒｎａｌ ｏｆ Ｊｉｌｉｎ ｕｎｉｖｅｒｓｉｔｙ： ｅｎｇｉｎｅｅｒｉｎｇ ｓｃｉｅｎｃｅ， ２０１６， ４６ （ ６ ）： ２０６７－２０７３． ［４］卢英，王慧琴，柴茜等． 基于多尺度 ＬＢＰ 与 ＧＢＰ 特征的 火焰识别［Ｊ］． 计算机科学， ２０１５， ４２（１０）： ３１６－３２０． ＬＵ Ｙｉｎｇ， ＷＡＮＧ Ｈｕｉｑｉｎ， ＣＨＡＩ Ｘｉ， ｅｔ ａｌ． Ｒｅｃｏｇｎｉｔｉｏｎ ｂａｓｅｄ ｏｎ ｍｕｌｔｉ⁃ｓｃａｌｅ ＬＢＰ ａｎｄ ＧＢＰ ｆｅａｔｕｒｅｓ［ Ｊ］． Ｃｏｍｐｕｔｅｒ ｓｃｉｅｎｃｅ， ２０１５， ４２（１０）： ３１６－３２０． ［５］张彤，王倩，范九伦，等． 基于时空局部二值模式的火灾 ·５５４· 智 能 系 统 学 报 第 １２ 卷
第4期 严云洋，等：维度加权模式动态纹理特征的火焰检测 .555. 视频识别[J].西安邮电大学学报，2015,20(3)： German:Springer Berlin Heidelberg,2007:168-182. 76-80. [15]OJALA T,PIETIKAINEN M,MAENPAA T.Multiresolution ZHANG Tong,WANG Qian,FAN Jiulun,et al.Fire video gray-scale and rotation invariant texture classification with recognition based on spatio temporal local binary pattern local binary patterns[].IEEE transactions on pattern [J].Journal of Xi'an university of posts and analysis and machine intelligence,2002,24(7):971-987. telecommunications,2015,20(3):76-80. [16]安患伟，袁宏永，屈玉贵.数据采集在火焰闪烁频率的 [6]张霞，黄继风.结合LBP直方图和SVM的视频火焰检测 测量研究及分析中的应用[].火灾科学，2000,9(2)： [J].计算机应用与软件，2016,33(8)：216-220. 43-47. ZHANG Xia,HUANG Jifeng.Video fire detection based on AN Huanwei,YUAN Hongyong,QU Yugui.Data LBP histogram and SVM[J].Computer applications and collection on the research of fire flash frequency[J].Fire software,2016,33(8):216-220. safety science,2000,9(2):43-47. [7]万瑞军，李小康，沈继忱.基于完整局部二值和阈值优化 [17]CHEN T H,WU P H,CHIOU Y C.An early fire- 的火焰边缘检测[J].计算机与数字工程，2015,43 detection method based on image processing [C]// (11):2040-2043. Proceedings of the 2004 IEEE International Conference on WAN Ruijun,LI Xiaokang,SHEN Jichen.Flame edge Image Processing.Washington D C:IEEE Computer detection based on completet local binary pattern and threshold Society Press,2004:1707-1710. optimization[J].Computer and digital engineering,2015, [18]CELIK T,DEMIREL H.Fire detection in video sequences 43(11)：2040-2043. using a generic color model[J].Fire safety journal,2009. [8]邵婧，王冠香，郭蔚.基于视频动态纹理的火灾检测[J] 44(2):147-158. 中国图象图形学报，2013,18(6)：647-653. [19]CHEN T H,WU P H,CHIOU Y C.An early fire- SHAO Jing,WANG Guanxiang,GUO Wei.Fire detection detection method based on image processing [C]// based on video dynamic texture[J ]Journal of image and Proceedings of 2004 International Conference on Image graphics,2013,18(6):647-653. Processing.Washington D C:IEEE Computer Society [9]赵亚琴.利用旅行者图的火焰视频动态纹理分析与识别 Press,2004:1707-1710. [J].计算机工程与设计，2015,35(10)：2769-2774. [20]杜静，严云洋，高尚兵，等.时空视觉选择性注意机制的 ZHAO Yaqin.Dynamic texture analysis and recognition of 视频火焰检测[J].计算机辅助设计与图形学学报， fire video using traveler graph[].Computer engineering and 2014,26(3):479-485. design,2015,35(10):2769-2774. DU Jing,YAN Yunyang,GAO Shangbing,et al.Video [10]AUDREY C,TABY P,BRECKON.A non-temporal texture flame detection[].Journal of computer-aided design and driven approach to real-time fire detection[C]/Proceedings computer graphics,2014,26(3):479-485. of IEEE International Conference on Image Processing. 作者简介： Washington D C:IEEE Computer Society Press,2011: 严云洋，男，1967年生，教授、博 1741-1744. 土CCF会员，江苏省计算机学会常务 [11]ZHAO G,PIETIKAINEN M.Dynamic texture recognition 理事及人工智能专委会副主任委员，主 using local binary patterns with an application to facial 要研究方向为数字图像处理、模式识 expressions[J].IEEE transactions on pattern analysis and 别，发表学术论文100余篇，其中被 machine intelligence,2007,29(6):915-928. SC1EI检索50余篇。 [12]XU J,DENMAN S,FOOKES C,et al.Unusual event detection in crowded scenes using bag of Ibps in spatio- temporal patches [C]//Proceedings of 2011 International 陈垂雄，男，1988年生，硕士研究 Conference on Digital Image Computing Techniques and 生，主要研究方向为数字图像处理、模 Applications.Washington D C:IEEE Computer Society 式识别。 Press.2011:549-554. [13]STHEVANIE F,NUGROHO H,YULIANTO FA.Visual- based fire detection using local binary pattern-three orthogonal planes C//Proceedings of IEEE International Conference on Computational Intelligence and Cybernetics 刘以安，男，1963年生，博士、教授， 2013.Washington D C:IEEE Computer Society Press, 主要研究方向为模式识别、数据融合。 2013:155-159. [14]TAN X,TRIGGS B.Enhanced local texture feature sets for face recognition under difficult lighting conditions [C]/ Proceedings of the 3rd International Conference on Analysis and Modeling of Faces and Gestures.Berlin
视频 识 别 ［ Ｊ］． 西 安 邮 电 大 学 学 报， ２０１５， ２０ （ ３ ）： ７６－８０． ＺＨＡＮＧ Ｔｏｎｇ， ＷＡＮＧ Ｑｉａｎ， ＦＡＮ Ｊｉｕｌｕｎ， ｅｔ ａｌ． Ｆｉｒｅ ｖｉｄｅｏ ｒｅｃｏｇｎｉｔｉｏｎ ｂａｓｅｄ ｏｎ ｓｐａｔｉｏ ｔｅｍｐｏｒａｌ ｌｏｃａｌ ｂｉｎａｒｙ ｐａｔｔｅｒｎ ［ Ｊ ］． Ｊｏｕｒｎａｌ ｏｆ Ｘｉａｎ ｕｎｉｖｅｒｓｉｔｙ ｏｆ ｐｏｓｔｓ ａｎｄ ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ， ２０１５， ２０（３）： ７６－８０． ［６］张霞，黄继风． 结合 ＬＢＰ 直方图和 ＳＶＭ 的视频火焰检测 ［Ｊ］． 计算机应用与软件， ２０１６， ３３（８）： ２１６－２２０． ＺＨＡＮＧ Ｘｉａ， ＨＵＡＮＧ Ｊｉｆｅｎｇ． Ｖｉｄｅｏ ｆｉｒｅ ｄｅｔｅｃｔｉｏｎ ｂａｓｅｄ ｏｎ ＬＢＰ ｈｉｓｔｏｇｒａｍ ａｎｄ ＳＶＭ ［ Ｊ］． Ｃｏｍｐｕｔｅｒ ａｐｐｌｉｃａｔｉｏｎｓ ａｎｄ ｓｏｆｔｗａｒｅ， ２０１６， ３３（８）： ２１６－２２０． ［７］万瑞军，李小康，沈继忱． 基于完整局部二值和阈值优化 的火焰边缘检测［ Ｊ］． 计算机与数字工程， ２０１５， ４３ （１１）： ２０４０－２０４３． ＷＡＮ Ｒｕｉｊｕｎ， ＬＩ Ｘｉａｏｋａｎｇ， ＳＨＥＮ Ｊｉｃｈｅｎ． Ｆｌａｍｅ ｅｄｇｅ ｄｅｔｅｃｔｉｏｎ ｂａｓｅｄ ｏｎ ｃｏｍｐｌｅｔｅｔ ｌｏｃａｌ ｂｉｎａｒｙ ｐａｔｔｅｒｎ ａｎｄ ｔｈｒｅｓｈｏｌｄ ｏｐｔｉｍｉｚａｔｉｏｎ［Ｊ］． Ｃｏｍｐｕｔｅｒ ａｎｄ ｄｉｇｉｔａｌ ｅｎｇｉｎｅｅｒｉｎｇ， ２０１５， ４３（１１）： ２０４０－２０４３． ［８］邵婧，王冠香，郭蔚． 基于视频动态纹理的火灾检测［ Ｊ］． 中国图象图形学报， ２０１３， １８（６）： ６４７－６５３． ＳＨＡＯ Ｊｉｎｇ， ＷＡＮＧ Ｇｕａｎｘｉａｎｇ， ＧＵＯ Ｗｅｉ． Ｆｉｒｅ ｄｅｔｅｃｔｉｏｎ ｂａｓｅｄ ｏｎ ｖｉｄｅｏ ｄｙｎａｍｉｃ ｔｅｘｔｕｒｅ［ Ｊ］． Ｊｏｕｒｎａｌ ｏｆ ｉｍａｇｅ ａｎｄ ｇｒａｐｈｉｃｓ， ２０１３， １８（６）： ６４７－６５３． ［９］赵亚琴． 利用旅行者图的火焰视频动态纹理分析与识别 ［Ｊ］． 计算机工程与设计， ２０１５， ３５（１０）： ２７６９－２７７４． ＺＨＡＯ Ｙａｑｉｎ． Ｄｙｎａｍｉｃ ｔｅｘｔｕｒｅ ａｎａｌｙｓｉｓ ａｎｄ ｒｅｃｏｇｎｉｔｉｏｎ ｏｆ ｆｉｒｅ ｖｉｄｅｏ ｕｓｉｎｇ ｔｒａｖｅｌｅｒ ｇｒａｐｈ［Ｊ］．Ｃｏｍｐｕｔｅｒ ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ ｄｅｓｉｇｎ， ２０１５， ３５（１０）： ２７６９－２７７４． ［１０］ＡＵＤＲＥＹ Ｃ， ＴＡＢＹ Ｐ， ＢＲＥＣＫＯＮ． Ａ ｎｏｎ⁃ｔｅｍｐｏｒａｌ ｔｅｘｔｕｒｅ ｄｒｉｖｅｎ ａｐｐｒｏａｃｈ ｔｏ ｒｅａｌ⁃ｔｉｍｅ ｆｉｒｅ ｄｅｔｅｃｔｉｏｎ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ． Ｗａｓｈｉｎｇｔｏｎ Ｄ Ｃ： ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｐｒｅｓｓ， ２０１１： １７４１－１７４４． ［１１］ ＺＨＡＯ Ｇ， ＰＩＥＴＩＫＡＩＮＥＮ Ｍ． Ｄｙｎａｍｉｃ ｔｅｘｔｕｒｅ ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ ｌｏｃａｌ ｂｉｎａｒｙ ｐａｔｔｅｒｎｓ ｗｉｔｈ ａｎ ａｐｐｌｉｃａｔｉｏｎ ｔｏ ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎｓ［Ｊ］． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ， ２００７， ２９（６）： ９１５－９２８． ［１２］ ＸＵ Ｊ， ＤＥＮＭＡＮ Ｓ， ＦＯＯＫＥＳ Ｃ， ｅｔ ａｌ． Ｕｎｕｓｕａｌ ｅｖｅｎｔ ｄｅｔｅｃｔｉｏｎ ｉｎ ｃｒｏｗｄｅｄ ｓｃｅｎｅｓ ｕｓｉｎｇ ｂａｇ ｏｆ ｌｂｐｓ ｉｎ ｓｐａｔｉｏ⁃ ｔｅｍｐｏｒａｌ ｐａｔｃｈｅｓ ［ Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ２０１１ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｃｏｍｐｕｔｉｎｇ Ｔｅｃｈｎｉｑｕｅｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ． Ｗａｓｈｉｎｇｔｏｎ Ｄ Ｃ： ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｐｒｅｓｓ， ２０１１： ５４９－５５４． ［１３］ＳＴＨＥＶＡＮＩＥ Ｆ， ＮＵＧＲＯＨＯ Ｈ， ＹＵＬＩＡＮＴＯ ＦＡ． Ｖｉｓｕａｌ⁃ ｂａｓｅｄ ｆｉｒｅ ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ｌｏｃａｌ ｂｉｎａｒｙ ｐａｔｔｅｒｎ⁃ｔｈｒｅｅ ｏｒｔｈｏｇｏｎａｌ ｐｌａｎｅｓ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ ａｎｄ Ｃｙｂｅｒｎｅｔｉｃｓ ２０１３． Ｗａｓｈｉｎｇｔｏｎ Ｄ Ｃ： ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｐｒｅｓｓ， ２０１３： １５５－１５９． ［１４］ＴＡＮ Ｘ， ＴＲＩＧＧＳ Ｂ． Ｅｎｈａｎｃｅｄ ｌｏｃａｌ ｔｅｘｔｕｒｅ ｆｅａｔｕｒｅ ｓｅｔｓ ｆｏｒ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ｕｎｄｅｒ ｄｉｆｆｉｃｕｌｔ ｌｉｇｈｔｉｎｇ ｃｏｎｄｉｔｉｏｎｓ ［ Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ３ｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍｏｄｅｌｉｎｇ ｏｆ Ｆａｃｅｓ ａｎｄ Ｇｅｓｔｕｒｅｓ． Ｂｅｒｌｉｎ， Ｇｅｒｍａｎ： Ｓｐｒｉｎｇｅｒ Ｂｅｒｌｉｎ Ｈｅｉｄｅｌｂｅｒｇ， ２００７： １６８－１８２． ［１５］ＯＪＡＬＡ Ｔ， ＰＩＥＴＩＫＡＩＮＥＮ Ｍ， ＭＡＥＮＰＡＡ Ｔ． Ｍｕｌｔｉｒｅｓｏｌｕｔｉｏｎ ｇｒａｙ⁃ｓｃａｌｅ ａｎｄ ｒｏｔａｔｉｏｎ ｉｎｖａｒｉａｎｔ ｔｅｘｔｕｒｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｗｉｔｈ ｌｏｃａｌ ｂｉｎａｒｙ ｐａｔｔｅｒｎｓ［Ｊ］． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ， ２００２， ２４（７）： ９７１－９８７． ［１６］安患伟，袁宏永，屈玉贵． 数据采集在火焰闪烁频率的 测量研究及分析中的应用［Ｊ］． 火灾科学， ２０００， ９（２）： ４３－４７． ＡＮ Ｈｕａｎｗｅｉ， ＹＵＡＮ Ｈｏｎｇｙｏｎｇ， ＱＵ Ｙｕｇｕｉ． Ｄａｔａ ｃｏｌｌｅｃｔｉｏｎ ｏｎ ｔｈｅ ｒｅｓｅａｒｃｈ ｏｆ ｆｉｒｅ ｆｌａｓｈ ｆｒｅｑｕｅｎｃｙ［ Ｊ］． Ｆｉｒｅ ｓａｆｅｔｙ ｓｃｉｅｎｃｅ， ２０００， ９（２）： ４３－４７． ［１７］ ＣＨＥＮ Ｔ Ｈ， ＷＵ Ｐ Ｈ， ＣＨＩＯＵ Ｙ Ｃ． Ａｎ ｅａｒｌｙ ｆｉｒｅ⁃ ｄｅｔｅｃｔｉｏｎ ｍｅｔｈｏｄ ｂａｓｅｄ ｏｎ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ ［ Ｃ ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２００４ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ． Ｗａｓｈｉｎｇｔｏｎ Ｄ Ｃ： ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｐｒｅｓｓ， ２００４： １７０７－１７１０． ［１８］ＣＥＬＩＫ Ｔ， ＤＥＭＩＲＥＬ Ｈ． Ｆｉｒｅ ｄｅｔｅｃｔｉｏｎ ｉｎ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅｓ ｕｓｉｎｇ ａ ｇｅｎｅｒｉｃ ｃｏｌｏｒ ｍｏｄｅｌ［Ｊ］． Ｆｉｒｅ ｓａｆｅｔｙ ｊｏｕｒｎａｌ， ２００９， ４４（２）： １４７－１５８． ［１９］ ＣＨＥＮ Ｔ Ｈ， ＷＵ Ｐ Ｈ， ＣＨＩＯＵ Ｙ Ｃ． Ａｎ ｅａｒｌｙ ｆｉｒｅ － ｄｅｔｅｃｔｉｏｎ ｍｅｔｈｏｄ ｂａｓｅｄ ｏｎ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ ［ Ｃ ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ２００４ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ． Ｗａｓｈｉｎｇｔｏｎ Ｄ Ｃ： ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｐｒｅｓｓ， ２００４： １７０７－１７１０． ［２０］杜静， 严云洋，高尚兵，等． 时空视觉选择性注意机制的 视频火焰检测［ Ｊ］． 计算机辅助设计与图形学学报， ２０１４， ２６（３）： ４７９－４８５． ＤＵ Ｊｉｎｇ， ＹＡＮ Ｙｕｎｙａｎｇ， ＧＡＯ Ｓｈａｎｇｂｉｎｇ， ｅｔ ａｌ． Ｖｉｄｅｏ ｆｌａｍｅ ｄｅｔｅｃｔｉｏｎ［ Ｊ］． Ｊｏｕｒｎａｌ ｏｆ ｃｏｍｐｕｔｅｒ⁃ａｉｄｅｄ ｄｅｓｉｇｎ ａｎｄ ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ， ２０１４， ２６（３）： ４７９－４８５． 作者简介： 严云洋， 男， １９６７ 年生， 教授、 博 士、ＣＣＦ 会员，江苏省计算机学会常务 理事及人工智能专委会副主任委员，主 要研究方向为数字图像处理、模式识 别，发 表 学 术 论 文 １００ 余 篇， 其 中 被 ＳＣＩ、ＥＩ 检索 ５０ 余篇。 陈垂雄，男，１９８８ 年生，硕士研究 生，主要研究方向为数字图像处理、模 式识别。 刘以安，男，１９６３ 年生，博士、教授， 主要研究方向为模式识别、数据融合。 第 ４ 期 严云洋，等：维度加权模式动态纹理特征的火焰检测 ·５５５·
