第17卷第4期 智能系统学报 Vol.17 No.4 2022年7月 CAAI Transactions on Intelligent Systems Jul.2022 D0:10.11992/tis.202110018 网络出版地址：https:/ns.cnki.net/kcms/detail/23.1538.TP.20220421.1530.007html 高层火灾智能报警及逃生指导系统 毕晓君，孙梓玮，刘进 (1.中央民族大学信息工程学院，北京100081；2.哈尔滨工程大学信息与通信工程学院，黑龙江哈尔滨 150001) 摘要：现有高层火灾报警系统因报警滞后，缺乏火灾定位以及逃生引导，导致现场人员伤亡较大。为此，设计 了具有精准定位、高效报警以及智能逃生引导功能的火灾警报系统。通过TXW8301-WFi模块、火灾探测器和 语音单片构成节点设备，布控在建筑内各区域，可自动检测火灾发生，并第一时间在各楼层播报火灾位置及具 体的逃生指引路线，可以解决高层建筑距离远、隔断多造成因不知情、不清楚逃生路线而错失最佳逃生时机的 问题。除自动报警引导功能外，本系统通过对通道监控视频进行去烟补光和去噪处理，并基于深度学习算法进 行行人密度检测，可以根据逃生通道的拥堵情况进行多次逃生指导，最终所有信息将在系统总控界面显示，方 便统一救援指挥，可最大限度地降低火灾中的人员伤亡。 关键词：火灾报警系统；无线保真；火灾探测器：现场可编程逻辑门阵列：套接字：行人检测：中值滤波：同态滤波 中图分类号：TP277文献标志码：A文章编号：1673-4785(2022)04-0814-10 中文引用格式：毕晓君，孙梓玮，刘进.高层火灾智能报警及逃生指导系统.智能系统学报，2022,17(4)：814-823. 英文引用格式：BI Xiaojun,SUN Ziwei,,LIU Jin..Intelligent fire alarm and escape guidance systems for highrise buildingsJl.CAAI transactions on intelligent systems,2022,17(4):814-823. Intelligent fire alarm and escape guidance systems for highrise buildings BI Xiaojun',SUN Ziwei',LIU Jin2 (1.School of Information Engineering,Minzu University of China,Beijing 100081,China:2.Department of Information and Com- munication Engineering,Harbin Engineering University,Harbin 150001,China) Abstract:Due to delayed alarms,lack of fire positioning,and lack of escape guidance,existing highrise fire alarm sys- tems caused large casualties on the scene.Thus,this paper designs a fire alarm system with precise positioning,high-ef- ficiency alarm,and intelligent escape guidance functions.It can be deployed in various areas of the building using the TXW8301-WiFi module,fire detector,and voice monolithic to form a node device,which can automatically detect the occurrence of a fire and broadcast the fire location and specific escape guidance routes on each floor as soon as possible, which can solve the problem of highrise buildings.Due to unknown and unclear escape routes,the long distance between buildings and many partitions causes the problem of missing the best time to escape.In addition to the automat- ic alarm guidance function,the system uses the channel monitoring video to remove smoke,add light and denoise,and perform pedestrian density detection based on deep learning algorithms.It can conduct multiple escape guidance accord- ing to the congestion of the escape channel,and finally,all the information will be displayed on the system's main con- trol interface to facilitate unified rescue command and minimize fire casualties. Keywords:fire alarm systems;wireless fidelity;fire detectors;field programmable gate array;socket;pedestrian detec- tion:median filtering:homomorphic filtering 随着城市建设的高速发展以及基建能力的提 因此高层建筑往往存在着较大的火灾隐患。近年 升，高层建筑越来越多。由于建设规模大、装修 来，我国高层建筑火灾呈逐年上升趋势，造成的 标准高、人员密集以及各种电气设备的频繁使用， 人员伤亡和经济损失触目惊心，仅2019年高楼层 收稿日期：2021-10-18.网络出版日期：2022-04-22 建筑火灾6874起，共死亡1335人。经分析，高层 通信作者：毕晓君.E-mail:bixiaojun@hrbeu.edu.cn 建筑造成人员伤亡的主要原因是由于楼层过高
DOI: 10.11992/tis.202110018 网络出版地址: https://kns.cnki.net/kcms/detail/23.1538.TP.20220421.1530.007.html 高层火灾智能报警及逃生指导系统 毕晓君1 ，孙梓玮1 ，刘进2 （1. 中央民族大学 信息工程学院，北京 100081; 2. 哈尔滨工程大学 信息与通信工程学院，黑龙江 哈尔滨 150001） 摘 要：现有高层火灾报警系统因报警滞后，缺乏火灾定位以及逃生引导，导致现场人员伤亡较大。为此，设计 了具有精准定位、高效报警以及智能逃生引导功能的火灾警报系统。通过 TXW8301-WiFi 模块、火灾探测器和 语音单片构成节点设备，布控在建筑内各区域，可自动检测火灾发生，并第一时间在各楼层播报火灾位置及具 体的逃生指引路线，可以解决高层建筑距离远、隔断多造成因不知情、不清楚逃生路线而错失最佳逃生时机的 问题。除自动报警引导功能外，本系统通过对通道监控视频进行去烟补光和去噪处理，并基于深度学习算法进 行行人密度检测，可以根据逃生通道的拥堵情况进行多次逃生指导，最终所有信息将在系统总控界面显示，方 便统一救援指挥，可最大限度地降低火灾中的人员伤亡。 关键词：火灾报警系统；无线保真；火灾探测器；现场可编程逻辑门阵列；套接字；行人检测；中值滤波；同态滤波 中图分类号：TP277 文献标志码：A 文章编号：1673−4785(2022)04−0814−10 中文引用格式：毕晓君, 孙梓玮, 刘进. 高层火灾智能报警及逃生指导系统 [J]. 智能系统学报, 2022, 17(4): 814–823. 英文引用格式：BI Xiaojun, SUN Ziwei, LIU Jin. Intelligent fire alarm and escape guidance systems for highrise buildings[J]. CAAI transactions on intelligent systems, 2022, 17(4): 814–823. Intelligent fire alarm and escape guidance systems for highrise buildings BI Xiaojun1 ，SUN Ziwei1 ，LIU Jin2 (1. School of Information Engineering, Minzu University of China, Beijing 100081, China; 2. Department of Information and Communication Engineering, Harbin Engineering University, Harbin 150001, China) Abstract: Due to delayed alarms, lack of fire positioning, and lack of escape guidance, existing highrise fire alarm systems caused large casualties on the scene. Thus, this paper designs a fire alarm system with precise positioning, high-efficiency alarm, and intelligent escape guidance functions. It can be deployed in various areas of the building using the TXW8301-WiFi module, fire detector, and voice monolithic to form a node device, which can automatically detect the occurrence of a fire and broadcast the fire location and specific escape guidance routes on each floor as soon as possible, which can solve the problem of highrise buildings. Due to unknown and unclear escape routes, the long distance between buildings and many partitions causes the problem of missing the best time to escape. In addition to the automatic alarm guidance function, the system uses the channel monitoring video to remove smoke, add light and denoise, and perform pedestrian density detection based on deep learning algorithms. It can conduct multiple escape guidance according to the congestion of the escape channel, and finally, all the information will be displayed on the system’s main control interface to facilitate unified rescue command and minimize fire casualties. Keywords: fire alarm systems; wireless fidelity; fire detectors; field programmable gate array; socket; pedestrian detection; median filtering; homomorphic filtering 随着城市建设的高速发展以及基建能力的提 升，高层建筑越来越多。由于建设规模大、装修 标准高、人员密集以及各种电气设备的频繁使用， 因此高层建筑往往存在着较大的火灾隐患。近年 来，我国高层建筑火灾呈逐年上升趋势，造成的 人员伤亡和经济损失触目惊心，仅 2019 年高楼层 建筑火灾 6 874 起，共死亡 1 335 人。经分析，高层 建筑造成人员伤亡的主要原因是由于楼层过高、 收稿日期：2021−10−18. 网络出版日期：2022−04−22. 通信作者：毕晓君. E-mail：bixiaojun@hrbeu.edu.cn. 第 17 卷第 4 期 智 能 系 统 学 报 Vol.17 No.4 2022 年 7 月 CAAI Transactions on Intelligent Systems Jul. 2022
第4期 毕晓君，等：高层火灾智能报警及逃生指导系统 ·815· 人员分散且相对封闭，使现场人员无法第一时间 E902-CPU的FPGA端，通过运行其部署的中值滤 获得火灾发生信息，特别是火灾发生的地点，从 波算法、同态滤波算法.o进行图像去噪、去烟 而造成逃生决策失误，错过了宝贵的逃生时机。 及补光处理。在树莓派中部署基于人工智能的行 因此，如何利用高新科技有效解决高层建筑火灾 人检测算法1对视频的人数进行监测，当超过 定点报警及逃生智能指导的研究迫在眉睫。 一定的人数阈值后，界面上就会发出警报，并重 目前现有的火灾自动报警系统主要存在以下 新规划各楼层不同区域的逃生路线。同时，将建 问题：1)无法及时通知现场人员火灾发生的具 筑内火灾报警情况以及人群密度情况在上位机界 体地点，容易错失最佳逃生时机及造成逃生错误 面进行显示，方便消防及管理部门了解内部情 等问题；2)部署报警系统时需要穿墙布线，无法 况，进行智能救援指挥，最大限度地降低火灾中 做到灵活部署，对于老旧小区、古建筑等场景情 的人员伤亡。 况无法应用：3)当火灾发生时，只能实现警笛报 本系统由硬件设备和算法软件两部分组成。 警，没有具体可行的逃生指导方案；4)当救援工 硬件设备包括TXW8301-WiFi模块、JTY-GD- 作展开时，由于对建筑内火情及人群情况不清楚 DG311激光烟雾火灾探测器、WT588D语音单片 而导致救援指挥延误。而目前国内外针对火灾处 机组成的节点设备以及系统上位机端。算法软件 理的研究重点为消防用水系统，消防排烟系统， 包括基于中值滤波的图像去噪算法、基于同态滤 应急照明及多深测器消防联动控制等火灾处理方 波的去烟补光算法以及基于深度学习的实时行人 面，而火灾定位报警，智能引导人群逃生及逃生 检测算法，还有数据传输模块以及系统上位机界 通道的人群密度监控等方面尚无研究。 面。图1给出了系统整体工作流程。 针对上述问题，本文基于人工智能技术的发 展，特别是具有无线传输能力的智能芯片问世， 开始 结合火灾实际需求提出了可行的研究方法。所设 激光烟雾探测器 计的报警系统能够实现一旦发生火情，第一时间 检测 对建筑内所有区域进行定位报警，并及时语音播 报各区域的最佳逃生路线。同时开发基于深度学 <发生火灾 N 习的行人检测算法以掌握建筑内各区域的人群密 Y 度状态，能够随时指导现场人员选择最佳的具体 树莓派驱动Wi-Fi模块激 活无线网络，开启摄像头 逃生路线。经查阅火灾报警相关文献和资料，目 前国内外尚无类似功能的火灾语音报警系统，本 火灾信息传给上位机 系统的研究具有创新性和实用性，可为火灾现场 人员赢得宝贵的逃生时间，给出最佳的逃生路 图像去噪去烟补光 线，提高逃生效率。 行人流量检测 1系统整体方案设计 音定 上位机结合火灾情况 给出人员逃生路线 本文通过TXW8301-WiFi模块实现系统组 点播报 网，并结合烟雾火灾探测器和WT588D语音单片 上位机显示火灾情况 机构成节点设备，实时自动监测各楼层不同区域 的烟雾浓度状态，当检测到某处烟雾浓度过高 火灾结束 时，表明有火灾发生，立即激活建筑内所有节点 Y 设备组网，根据预存逃生路线及火灾发生情况自 结束 动语音播报火灾的具体地点以及逃生路线，并能 够将每层楼不同区域的实时状态通过无线网发送 图1系统整体工作流程 Fig.1 Overall work flow of the system 至上位机，上位机将收到的数据以界面动画的形 式进行显示。同时现场可编程逻辑门阵列(field 2 系统硬件设计 programmable gate array,.FPGA)开发板通过串口控 制上位机树莓派端进行各逃生通道的图像数据采 整个系统硬件包括节点设备和系统上位机端 集，将采集的图像数据通过网口发送至部署有 两大部分，其中节点设备用于楼层火灾检测，主
人员分散且相对封闭，使现场人员无法第一时间 获得火灾发生信息，特别是火灾发生的地点，从 而造成逃生决策失误，错过了宝贵的逃生时机。 因此，如何利用高新科技有效解决高层建筑火灾 定点报警及逃生智能指导的研究迫在眉睫。 目前现有的火灾自动报警系统主要存在以下 问题[1-5] ：1）无法及时通知现场人员火灾发生的具 体地点，容易错失最佳逃生时机及造成逃生错误 等问题；2）部署报警系统时需要穿墙布线，无法 做到灵活部署，对于老旧小区、古建筑等场景情 况无法应用；3）当火灾发生时，只能实现警笛报 警，没有具体可行的逃生指导方案；4）当救援工 作展开时，由于对建筑内火情及人群情况不清楚 而导致救援指挥延误。而目前国内外针对火灾处 理的研究重点为消防用水系统，消防排烟系统， 应急照明及多探测器消防联动控制等火灾处理方 面，而火灾定位报警，智能引导人群逃生及逃生 通道的人群密度监控等方面尚无研究。 针对上述问题，本文基于人工智能技术的发 展，特别是具有无线传输能力的智能芯片问世， 结合火灾实际需求提出了可行的研究方法。所设 计的报警系统能够实现一旦发生火情，第一时间 对建筑内所有区域进行定位报警，并及时语音播 报各区域的最佳逃生路线。同时开发基于深度学 习的行人检测算法以掌握建筑内各区域的人群密 度状态，能够随时指导现场人员选择最佳的具体 逃生路线。经查阅火灾报警相关文献和资料，目 前国内外尚无类似功能的火灾语音报警系统，本 系统的研究具有创新性和实用性，可为火灾现场 人员赢得宝贵的逃生时间，给出最佳的逃生路 线，提高逃生效率。 1 系统整体方案设计 本文通过 TXW8301-WiFi 模块实现系统组 网，并结合烟雾火灾探测器和 WT588D 语音单片 机构成节点设备，实时自动监测各楼层不同区域 的烟雾浓度状态，当检测到某处烟雾浓度过高 时，表明有火灾发生，立即激活建筑内所有节点 设备组网，根据预存逃生路线及火灾发生情况自 动语音播报火灾的具体地点以及逃生路线，并能 够将每层楼不同区域的实时状态通过无线网发送 至上位机，上位机将收到的数据以界面动画的形 式进行显示。同时现场可编程逻辑门阵列 (field programmable gate array, FPGA) 开发板通过串口控 制上位机树莓派端进行各逃生通道的图像数据采 集，将采集的图像数据通过网口发送至部署有 E902-CPU 的 FPGA 端，通过运行其部署的中值滤 波算法[6] 、同态滤波算法[7-10] 进行图像去噪、去烟 及补光处理。在树莓派中部署基于人工智能的行 人检测算法[11-14] 对视频的人数进行监测，当超过 一定的人数阈值后，界面上就会发出警报，并重 新规划各楼层不同区域的逃生路线。同时，将建 筑内火灾报警情况以及人群密度情况在上位机界 面进行显示，方便消防及管理部门了解内部情 况，进行智能救援指挥，最大限度地降低火灾中 的人员伤亡。 本系统由硬件设备和算法软件两部分组成。 硬件设备包括 TXW8301-WiFi 模块、JTY-GDDG311 激光烟雾火灾探测器、WT588D 语音单片 机组成的节点设备以及系统上位机端。算法软件 包括基于中值滤波的图像去噪算法、基于同态滤 波的去烟补光算法以及基于深度学习的实时行人 检测算法，还有数据传输模块以及系统上位机界 面。图 1 给出了系统整体工作流程。 开始 激光烟雾探测器 检测 发生火灾 树莓派驱动 Wi-Fi 模块激 活无线网络, 开启摄像头 Y N 火灾信息传给上位机 图像去噪去烟补光 行人流量检测 上位机结合火灾情况 给出人员逃生路线 上位机显示火灾情况 火灾结束 结束 Y N 楼层语音定点播报 图 1 系统整体工作流程 Fig. 1 Overall work flow of the system 2 系统硬件设计 整个系统硬件包括节点设备和系统上位机端 两大部分，其中节点设备用于楼层火灾检测，主 第 4 期 毕晓君，等：高层火灾智能报警及逃生指导系统 ·815·
·816· 智能系统学报 第17卷 要由TXW8301-WiFi模块、JTY-GD-DG311激光 系统会定时激活所有节点，进行设备及电池自 烟雾火灾探测器以及WT588D语音单片机组成， 检，保证系统始终处于能够正常工作的状态。可 平时系统处于休眠状态的，无需电源。当火灾发 实现实时监测楼层火灾、实现系统组网、语音播 生时，通过火灾检测信号自动启动电源，激活各个 报以及将监测数据发送至上位机。系统上位机端 节点开始工作。考虑到火灾时容易出现断电现象， 主要由树莓派主控和FPGA硬件加速端组成，主 因此搭配移动电源使用非传统的插座式电源，可 要功能是将获取的火灾数据、图像数据进行处理 以满足系统连续工作12个小时。在日常使用中， 并显示。本系统的硬件架构图如图2所示。 楼层火灾监控器 系统上位机端 JTY-GD. DG3111 系统组网控制总端 系统硬件加速端 WIFI AH透传 网口 数据 语音模块 传输 WT588D WIFI模块 XW8301 WIFI模块 基于WujianI00软核 树莓派 TXW8301 的FPGA开发板 图2硬件设计关系图 Fig.2 Hardware design relationship diagram 2.1TXW8301-WFi通信模块 2.2语音播报模块 在设计WFi通信模块时，将集成有玄铁E803 语音播报模块由WT588D语音芯片及外挂 CPU内核的TXW-8301-WiFi模块配置为STA网 16M-Flash存储芯片组成，将事先录制好的不同区 络模式，通过GPIO的高低电平即火灾探测器继 域的逃生路线语音通过专用Flash烧写器写入 电器的输出信号来判断光电感烟器是否检测到有 Flash芯片，一旦某处被检测到有火灾发生时，立 火灾发生，当某处检测到有火灾发生后，WFi模 即通过TXW8301模块的GPIO接口模拟三线 块通过GPIO接口驱动WT588D语音模块进行语 SPI协议驱动WT588D语音播报不同区域的逃生 音播报，同时基于socket网络通信协议将火灾信 路线，同时外接功放来提升语音信号输出功率。 息发送到上位机AP端。 2.3系统上位机树莓派主控端 该WiFi模块工作在730~950MHz频段，相较 上位机主控端由端使用树莓派4B,通过挂载 于2.4GHz和5GHz频率的其他WiFi设备，在拥 TXW83-01-WiFi模块的驱动使用AH接口控制 有在相同发射功率的情况下具有传输距离远，穿 WiFi模块，通过Linuⅸ指令集配置主控端WiFi模 透性强的优点，最远传输距离可达到3km,非常 块为AP网络模式，并将工作频段和密匙配置成 适用于高楼层之间的无线信息传输。同时预留丰 和STA端相同，实现主控端与节点设备的WiFi 富的接口可用于开发，本系统对该模块的使用情 组网，具体配置参数如表2所示。 况如表1所示。 通过QT软件制作了火灾报警系统界面充分利 表1TXW8301-WiFi接口使用情况 用树莓派的优势，将各子节点设备传输的数据以界 Table 1 TXW8301-WiFi interface usage 面动画形式进行展示，可以更清晰的在上位机树莓 TXW8301接▣ 功能介绍 派端实时反映各楼层的设备及火灾发生情况。同时， 连接树莓派或上位机串口通过AT 在各楼层的逃生通道处置有摄像头，一旦检测到有 USB接▣ 指令配置模块参数实现模块组网 火灾发生，将各摄像头采集的图像数据发送至上位 GPIO B4-B7 驱动WT588D进行语音播报 机端进行处理，通过基于深度学习的行人检测算法， 连接光电感烟器，检测火灾信息 获得各通道的人群密度情况，并在上位机端界面进 GPIO BO 行展示。可实时监控逃生通道的人流量，以及时优 JTAG CDK程序调试、烧写 化各区域逃生路线及消防部门的救援指挥工作
要由 TXW8301-WiFi 模块、JTY-GD-DG311 激光 烟雾火灾探测器以及 WT588D 语音单片机组成， 平时系统处于休眠状态的，无需电源。当火灾发 生时，通过火灾检测信号自动启动电源，激活各个 节点开始工作。考虑到火灾时容易出现断电现象， 因此搭配移动电源使用非传统的插座式电源，可 以满足系统连续工作 12 个小时。在日常使用中， 系统会定时激活所有节点，进行设备及电池自 检，保证系统始终处于能够正常工作的状态。可 实现实时监测楼层火灾、实现系统组网、语音播 报以及将监测数据发送至上位机。系统上位机端 主要由树莓派主控和 FPGA 硬件加速端组成，主 要功能是将获取的火灾数据、图像数据进行处理 并显示。本系统的硬件架构图如图 2 所示。 楼层火灾监控器 JTY-GDDG3111 语音模块 WT588D WIFI 模块 TXW8301 系统上位机端 WIFI 模块 TXW8301 WIFI AH 透传 系统组网控制总端 树莓派 基于 Wujian100 软核 的 FPGA 开发板 系统硬件加速端 网口 数据 传输 图 2 硬件设计关系图 Fig. 2 Hardware design relationship diagram 2.1 TXW8301-WiFi 通信模块 在设计 WiFi 通信模块时，将集成有玄铁 E803- CPU 内核的 TXW-8 301-WiFi 模块配置为 STA 网 络模式，通过 GPIO 的高低电平即火灾探测器继 电器的输出信号来判断光电感烟器是否检测到有 火灾发生，当某处检测到有火灾发生后，WiFi 模 块通过 GPIO 接口驱动 WT588D 语音模块进行语 音播报，同时基于 socket 网络通信协议将火灾信 息发送到上位机 AP 端。 该 WiFi 模块工作在 730~950 MHz 频段，相较 于 2.4 GHz 和 5 GHz 频率的其他 WiFi 设备，在拥 有在相同发射功率的情况下具有传输距离远，穿 透性强的优点，最远传输距离可达到 3 km，非常 适用于高楼层之间的无线信息传输。同时预留丰 富的接口可用于开发，本系统对该模块的使用情 况如表 1 所示。 表 1 TXW8301-WiFi 接口使用情况 Table 1 TXW8301-WiFi interface usage TXW8301接口 功能介绍 USB接口 连接树莓派或上位机串口通过AT 指令配置模块参数实现模块组网 GPIO B4~B7 驱动WT588D进行语音播报 GPIO B0 连接光电感烟器，检测火灾信息 JTAG CDK程序调试、烧写 2.2 语音播报模块 语音播报模块由 WT588D 语音芯片及外挂 16M-Flash 存储芯片组成，将事先录制好的不同区 域的逃生路线语音通过专用 Flash 烧写器写入 Flash 芯片，一旦某处被检测到有火灾发生时，立 即通过 TXW8301 模块的 GPIO 接口模拟三线 SPI 协议驱动 WT588D 语音播报不同区域的逃生 路线，同时外接功放来提升语音信号输出功率。 2.3 系统上位机树莓派主控端 上位机主控端由端使用树莓派 4B，通过挂载 TXW83-01-WiFi 模块的驱动使用 AH 接口控制 WiFi 模块，通过 Linux 指令集配置主控端 WiFi 模 块为 AP 网络模式，并将工作频段和密匙配置成 和 STA 端相同，实现主控端与节点设备的 WiFi 组网，具体配置参数如表 2 所示。 通过 QT 软件制作了火灾报警系统界面充分利 用树莓派的优势，将各子节点设备传输的数据以界 面动画形式进行展示，可以更清晰的在上位机树莓 派端实时反映各楼层的设备及火灾发生情况。同时， 在各楼层的逃生通道处置有摄像头，一旦检测到有 火灾发生，将各摄像头采集的图像数据发送至上位 机端进行处理，通过基于深度学习的行人检测算法， 获得各通道的人群密度情况，并在上位机端界面进 行展示。可实时监控逃生通道的人流量，以及时优 化各区域逃生路线及消防部门的救援指挥工作。 ·816· 智 能 系 统 学 报 第 17 卷
第4期 毕晓君，等：高层火灾智能报警及逃生指导系统 ·817· 表2WiFi模块参数配置 Table 2 Wi-Fi module parameter configuration 配置指令 说明 AT+MODE-STA 配置为STA模式 AT+SSID-SSB 设置模块ID为SSB AT+KEYMGMT-NONE 关闭加密模式 AT+PsK=baa58559a9edd7c3a55e446bc658ef76a7173d023d256786832474d737756a82 设置模块密码 AT+BSS BW=4 设置带宽为4MHz AT+TX MCS=1 设置模块发射功率为1dB AT+FREQ RANGE=9020.9100 设置模块工作频段范围为9020~9100MHz 2.4FPGA开发版 Block Design将其例化到顶层。Wujian100软核外 基于Wujian100软核的Nexys Video FPGA将 设拓展总线均为AHB接口，首先添加AHB转AXI 采集的图像数据通过中值滤波算法、同态滤波算 总线桥适配软核接口，分别通过AXI Ethernet Sub- 法进行处理s叨，减少图像噪点，提升图像的清晰 system和AXI Direct Memory Access两个IP核实 度，提升在暗光环境下的图像质量，处理后的图 现以太网外设GEMAC和DMA的功能，将图像 像数据再发送至树莓派端。搭建FPGA图像处理 数据传入FPGA。然后对图像数据应用中值滤波 硬件系统框图如图3所示。系统的硬件加速设计 和同态滤波算法，最后将处理后的图像数据通过 模块以移植有Wujian100软核移植的Nexys Video DMA缓存至DDR3, FPGA开发板为核心，通过构建图像处理系统的 UART wujianI00软核 AHB to AXI 图像数据流！ 以太网端口 中值滤波算法 同态滤波算法 以太网端口 图3图像处理硬件系统框图 Fig.3 Block diagram of the image processing hardware system 2.4.1 Wujian100软核 Wujian100软核是一种嵌入式CPU核，以8位 +s axi CPU的成本获得32位嵌入式CPU的运行效率与性 +s axis txd 能。该软核兼容RISC-V指令架构，采用16/32位混 m_axis rxd+ +s axis txc m axis rxs+ 合编码系统，指令系统与流水线硬件结构精简高 s axi lite resetn mdio s axi lite clk 效，具备极低成本、极低功耗和高代码密度等优点。 rgmii axis clk 2.4.2以太网口高速数据传输设计 mac irq axi txd arstn interrupt 本硬件系统在FPGA中搭建AXI Ethernet axi txc arstn phy_rst n[0:0] axi rxd arstn Subsystem及AXI Direct Memory Access IP核用来 gtx_clk90 out axi rxs arstn 驱动以太网端口。其均通过AHB总线转AXI总 gtx clk gtx_clk out ref clk 线桥和软核连接，软核通过AHB总线对其进行配 置和控制。其中AXI Ethernet Subsystem IP核通 AXI 1G/2.5G Ethernet Subsystem 过RGMⅡ接口与RTL8211芯片连接，其Block 图4以太网端口驱动P Design设计如图4所示。 Fig.4 Ethernet port driver IP
表 2 WiFi 模块参数配置 Table 2 Wi-Fi module parameter configuration 配置指令 说明 AT+MODE=STA 配置为STA模式 AT+SSID=SSB 设置模块ID为SSB AT+KEYMGMT=NONE 关闭加密模式 AT+PSK=baa58559a9edd7c3a55e446bc658ef76a7173d023d256786832474d737756a82 设置模块密码 AT+BSS_BW=4 设置带宽为4 MHz AT+TX_MCS=1 设置模块发射功率为1dB AT+FREQ_RANGE=9 020,9100 设置模块工作频段范围为9 020~9100 MHz 2.4 FPGA 开发版 基于 Wujian100 软核的 Nexys Video FPGA 将 采集的图像数据通过中值滤波算法、同态滤波算 法进行处理[15-17] ，减少图像噪点，提升图像的清晰 度，提升在暗光环境下的图像质量，处理后的图 像数据再发送至树莓派端。搭建 FPGA 图像处理 硬件系统框图如图 3 所示。系统的硬件加速设计 模块以移植有 Wujian100 软核移植的 Nexys Video FPGA 开发板为核心，通过构建图像处理系统的 Block Design 将其例化到顶层。Wujian100 软核外 设拓展总线均为 AHB 接口，首先添加 AHB 转 AXI 总线桥适配软核接口，分别通过 AXI Ethernet Subsystem 和 AXI Direct Memory Access 两个 IP 核实 现以太网外设 GEMAC 和 DMA 的功能，将图像 数据传入 FPGA。然后对图像数据应用中值滤波 和同态滤波算法，最后将处理后的图像数据通过 DMA 缓存至 DDR3。 DDR3 wujian100 软核 AHB to AXI 以太网端口 中值滤波算法 同态滤波算法 以太网端口 UART 图像数据流 图 3 图像处理硬件系统框图 Fig. 3 Block diagram of the image processing hardware system 2.4.1 Wujian100 软核 Wujian100 软核是一种嵌入式 CPU 核，以 8 位 CPU 的成本获得 32 位嵌入式 CPU 的运行效率与性 能。该软核兼容 RISC-V 指令架构，采用 16/32 位混 合编码系统，指令系统与流水线硬件结构精简高 效，具备极低成本、极低功耗和高代码密度等优点。 2.4.2 以太网口高速数据传输设计 本硬件系统在 FPGA 中搭建 AXI Ethernet Subsystem 及 AXI Direct Memory Access IP 核用来 驱动以太网端口。其均通过 AHB 总线转 AXI 总 线桥和软核连接，软核通过 AHB 总线对其进行配 置和控制。其中 AXI Ethernet Subsystem IP 核通 过 RGM Ⅱ接口与 RTL8211 芯片连接，其 Block Design 设计如图 4 所示。 s_axi m_axis_rxd m_axis_rxs mdio rgmii mac_irq interrupt phy_rst_n [0:0] gtx_clk90_out gtx_clk_out s_axis_txd s_axis_txc s_axi_lite_resetn s_axi_lite_clk axis_clk axi_txd_arstn axi_txc_arstn axi_rxd_arstn axi_rxs_arstn gtx_clk ref_clk AXI 1G/2.5G Ethernet Subsystem 图 4 以太网端口驱动 IP Fig. 4 Ethernet port driver IP 第 4 期 毕晓君，等：高层火灾智能报警及逃生指导系统 ·817·
·818· 智能系统学报 第17卷 3 系统软件设计 (1)描述： f(x,y)=R(x,y)x L(x,y) (1) 3.1中值滤波算法设计 把图像f(x,y)由看作光照分量L(x,y)和反射分 在火灾烟雾环境下采集的图像，不可避免 量Rx,y)的乘积，其中光照分量在空间内变化非常 的会产生噪声，严重影响行人密度检测的检测 缓慢，对应图像频域的低频段；反射分量反映的 效果，本系统使用中值滤波算法1820对烟雾图像 是图像的细节边缘特性，对应图像频域的高频 进行去噪操作。能够有效平滑图像内噪声，保护 段。因此在减少光照分量的同时增加反射分量， 图像边缘细节不被模糊。其基本原理是以各像素 能够有效地消除图像光照不均的影响，实现图像 点作为中心点，将该像素及其滤波尺寸内的相邻 灰度范围的调整。具体算法过程如图6及式(2) 像素作为滤波模板，计算出该模板内所有像素点 (7)所示。 灰度值的中值，作为增强后图像对应中心点的灰 In(f(x,y))=In(R(x.y))+In(L(x.y)) (2) 度值，可消除孤立的噪点，从而让图像中的像素 Z(u,v)=DFT(R(u,v))+DFT(L(u,v)) (3) 值更平滑达到去除噪声的效果，且具有硬件易实 S(u,v)=H(w,)×Z(,z) (4) s(x,y)=IDFT(S(u,v)) 现的优点。因此本文采用中值滤波算法去除噪 (5) 声，提高后续行人密度检测精度。其伪代码如下 g(x.y)=exps(x.y)=l(x,y)+r(x.y) (6) 所示。 Hu,=优-R1-e学+R (7) 输入图像X尺寸为m×n,滤波核尺寸为r 式中：R代表高频加权系数；R代表低频加权系数， 输出中值滤波处理后的图像Y D(,)代表频率(u,)距离滤波器中心的距离；Do代 1)for i=rto m-r do 表和o为0时D(u,v)的值，代表截止频率。 2)for j=r to nr do 3)以该点为中心根据滤波核尺寸划定矩阵， 输人图像 Yi,=划定矩阵中值 取对数 FFT H(u,v) 4)end 5)end 增强后图像 为此，在FPGA中构建基于AXI总线的中值 取指数 IFFT 滤波P核如图5所示，以太网接收的图像数据流 图6同态滤波算法P核 通过S00AXIS接口进入IP核应用中值滤波算 Fig.6 IP core of homomorphic filtering algorithm 法，输出32位处理后的流数据。 为此，在FPGA中构建基于AXI总线数据流 的同态滤波算法IP核如图7所示。中值滤波IP +S00 AXIS 核输出的32位数据由fin data输入到同态滤波 pe frame clken f data [31:0] P核中进行图像对比度增强，同态滤波P核输出 pe frame href pos frame clken pe frame vsync pos_frame href 的视频流数据通过DMA进行DDR3缓存。 s00 axis aclk pos frame vsync s00 axis aresetn median filter v1.0(Pre-Production) fin data [31:0] frame clken 图5AXI总线中值滤波P核 frame href Fig.5 AXI bus median filter IP core frame_vsync M00_AXIS+ m00 axis aclk 3.2同态滤波算法 m00 axis_aresetn 在光线比较暗的烟雾环境下，视频图像会出 现白色烟雾和低对比度的问题。为了解决光度补 light fill v1.0 (Pre-Production) 偿问题，恢复图像颜色、纹理等细节，使其更适合 图7同态滤波处理流程 进行行人检测任务，本系统采用同态滤波算法2训 Fig.7 Homomorphic filtering processing flow 能够在频域中同时进行对比度增强和压缩图像动 3.3 行人检测算法 态范围的滤波。根据光照反射模型，图像可用式 行人检测算法采用RFBNet模型，该模型
3 系统软件设计 3.1 中值滤波算法设计 在火灾烟雾环境下采集的图像，不可避免 的会产生噪声，严重影响行人密度检测的检测 效果，本系统使用中值滤波算法[18-20] 对烟雾图像 进行去噪操作。能够有效平滑图像内噪声，保护 图像边缘细节不被模糊。其基本原理是以各像素 点作为中心点，将该像素及其滤波尺寸内的相邻 像素作为滤波模板，计算出该模板内所有像素点 灰度值的中值，作为增强后图像对应中心点的灰 度值，可消除孤立的噪点，从而让图像中的像素 值更平滑达到去除噪声的效果，且具有硬件易实 现的优点。因此本文采用中值滤波算法去除噪 声，提高后续行人密度检测精度。其伪代码如下 所示。 输入 图像 X 尺寸为 m×n，滤波核尺寸为 r 输出 中值滤波处理后的图像 Y 1) for i = r to m−r do 2) for j = r to n−r do 3) 以该点为中心根据滤波核尺寸划定矩阵， Y(i, j)=划定矩阵中值 4) end 5) end 为此，在 FPGA 中构建基于 AXI 总线的中值 滤波 IP 核如图 5 所示，以太网接收的图像数据流 通过 S00_AXIS 接口进入 IP 核应用中值滤波算 法，输出 32 位处理后的流数据。 S00_AXIS pe_frame_clken pe_frame_href pe_frame_vsync s00_axis_aclk s00_axis_aresetn f_data [31:0] pos_frame_clken pos_frame_href pos_frame_vsync median_filter_v1.0 (Pre-Production) 图 5 AXI 总线中值滤波 IP 核 Fig. 5 AXI bus median filter IP core 3.2 同态滤波算法 在光线比较暗的烟雾环境下，视频图像会出 现白色烟雾和低对比度的问题。为了解决光度补 偿问题，恢复图像颜色、纹理等细节，使其更适合 进行行人检测任务，本系统采用同态滤波算法[21-23] ， 能够在频域中同时进行对比度增强和压缩图像动 态范围的滤波。根据光照反射模型，图像可用式 (1) 描述： f(x, y) = R(x, y)× L(x, y) (1) f(x, y) L(x, y) R(x, y) 把图像 由看作光照分量 和反射分 量 的乘积，其中光照分量在空间内变化非常 缓慢，对应图像频域的低频段；反射分量反映的 是图像的细节边缘特性，对应图像频域的高频 段。因此在减少光照分量的同时增加反射分量， 能够有效地消除图像光照不均的影响，实现图像 灰度范围的调整。具体算法过程如图 6 及式 (2)~ (7) 所示。 ln(f(x, y)) = ln(R(x, y))+ln(L(x, y)) (2) Z(u, v) = DFT(R(u, v))+DFT(L(u, v)) (3) S (u, v) = H(u, v)×Z(u,z) (4) s(x, y) = IDFT(S (u, v)) (5) g(x, y) = exp s(x, y) = l(x, y)+r(x, y) (6) H(u, v) = (Rh −Rl) [ 1−e − ( D(u,v) D0 )2 ] +Rl (7) Rh Rl D(u, v) (u, v) D0 u0 v0 D(u, v) 式中： 代表高频加权系数； 代表低频加权系数， 代表频率 距离滤波器中心的距离； 代 表 和 为 0 时 的值，代表截止频率。 取对数 FFT H (u,v) 取指数 IFFT 输入图像 增强后图像 图 6 同态滤波算法 IP 核 Fig. 6 IP core of homomorphic filtering algorithm 为此，在 FPGA 中构建基于 AXI 总线数据流 的同态滤波算法 IP 核如图 7 所示。中值滤波 IP 核输出的 32 位数据由 fin_data 输入到同态滤波 IP 核中进行图像对比度增强，同态滤波 IP 核输出 的视频流数据通过 DMA 进行 DDR3 缓存。 fin_data [31:0] frame_clken frame_href frame_vsync m00_axis_aclk m00_axis_aresetn M00_AXIS light_fill_v1.0 (Pre-Production) 图 7 同态滤波处理流程 Fig. 7 Homomorphic filtering processing flow 3.3 行人检测算法 行人检测算法采用 RFBNet 模型[9] ，该模型 ·818· 智 能 系 统 学 报 第 17 卷
第4期 毕晓君，等：高层火灾智能报警及逃生指导系统 ·819· 采用轻量级特征提取网络，并且采用one-stage 检测。 检测策略。其特点是轻量级，网络结构简单，参 RFBNet采用改进的轻量级VGGl6神经网络 数量较少，运行速度快，适合部署到边缘设备中， 用于特征提取，并通过在检测头增加RFB模块， 例如树莓派等微型电脑中。并且能够保证检测 实现了可在多特征层同时检测的功能。其中每层 的实时性以及较高的检测准确率。RFBNet模 都可预测4(box)+1(class_num)数量的结果，将 型9原用于多目标检测，本文将模型用PASCAL 检测结果进行整合操作，输出最终的检测结果。 VOC2007行人数据集进行重新训练，专用于行人 RFBNet整体网络结构如图8所示。 Backbone Deeplab-VGG16 Extra Layer RFB-s RFB 输人层 ZLIAUOD 图8 RFBNet网络结构 Fig.8 RFBNet network structure RFBNet检测模型为达到在基于轻量级特征 大小尺寸不一难以检测的问题。这种多尺度的思 提取网络的前提下，达到速度及精度的平衡的目 想十分有利于提高检测性能，其检测效果远超同 的，设计了借鉴人类视觉的RFB模块，该模块是 级别的轻量级网络，甚至可以超过部分参数量巨 一种多分支的结构，其主要包括常规卷积及膨胀 大的深层网络。在该检测模型中共设计两种不同 卷积两部分。这种精心设计的RFB模块通过结 的RFB(receptive fields block)结构分别为RFB和 合不同的卷积分支、卷积尺寸、扩张卷积结构来 RFB-s,可以从不同深度的特征层进行检测。进一 模拟人类视觉系统中的感受野结构，在参数量相 步提高检测效果。具体结构如图9所示。 近的情况下扩大感受野，以解决图像中检测目标 Relu激活 串联+1×1卷积 3×3卷积，扩张率=」 3×3卷积，扩张率=3 3×3卷积，扩张率=5 直连 1×1卷积 3×3卷 5×5卷 1×1卷积 1×1卷积 上一层特征 (a)RFB结构
采用轻量级特征提取网络，并且采用 one-stage 检测策略。其特点是轻量级，网络结构简单，参 数量较少，运行速度快，适合部署到边缘设备中， 例如树莓派等微型电脑中。并且能够保证检测 的实时性以及较高的检测准确率。RFBNet 模 型 [9] 原用于多目标检测，本文将模型用 PASCAL VOC2007 行人数据集进行重新训练，专用于行人 检测。 RFBNet 采用改进的轻量级 VGG16 神经网络 用于特征提取，并通过在检测头增加 RFB 模块， 实现了可在多特征层同时检测的功能。其中每层 都可预测 4（box）+ 1（class_num）数量的结果，将 检测结果进行整合操作，输出最终的检测结果。 RFBNet 整体网络结构如图 8 所示。 Conv4-3 Conv7-full RFBS-2 RFBS-2 Conv10_2 Conv11_2 Detection ConvLayer RFB RFB-s Backbone Deeplab-VGG16 Extra Layer 输 入 层 图 8 RFBNet 网络结构 Fig. 8 RFBNet network structure RFBNet[9] 检测模型为达到在基于轻量级特征 提取网络的前提下，达到速度及精度的平衡的目 的，设计了借鉴人类视觉的 RFB 模块，该模块是 一种多分支的结构，其主要包括常规卷积及膨胀 卷积两部分。这种精心设计的 RFB 模块通过结 合不同的卷积分支、卷积尺寸、扩张卷积结构来 模拟人类视觉系统中的感受野结构，在参数量相 近的情况下扩大感受野，以解决图像中检测目标 大小尺寸不一难以检测的问题。这种多尺度的思 想十分有利于提高检测性能,其检测效果远超同 级别的轻量级网络，甚至可以超过部分参数量巨 大的深层网络。在该检测模型中共设计两种不同 的 RFB (receptive fields block) 结构分别为 RFB 和 RFB-s，可以从不同深度的特征层进行检测。进一 步提高检测效果。具体结构如图 9 所示。 (a) RFB 结构 Relu 激活 + 串联+1×1 卷积 上一层特征 直连 3×3 卷积, 扩张率=1 1×1 卷积 3×3 卷积, 扩张率=3 3×3 卷 5×5 卷 3×3 卷积, 扩张率=5 1×1 卷积 1×1 卷积 Relu 激活 上一层特征 直连 + 串联+1×1 卷积 3×3 卷积 扩张率=1 3×3 卷积 扩张率=3 3×3 卷积 扩张率=3 3×3 卷积 扩张率=5 1×1 卷积 1×3 卷积 3×1 卷积 3×3 卷积 1×1 卷积 1×1 卷积 1×1 卷积 (b) RFB-s 结构 第 4 期 毕晓君，等：高层火灾智能报警及逃生指导系统 ·819·
·820· 智能系统学报 第17卷 Relu激活 串联+1×1卷积 3×3卷积，扩张率=1 3×3卷积，扩张率=3 3×3卷积，扩张率=3 3×3卷积扩张率=5 直连 1×1卷积 1×3卷积 3×1卷积 3×3卷积 1×1卷积 1×1卷积 1×1卷积 上一层特征 (b)RFB-s结构 图9RFB及RFB-s结构 Fig.9 RFB and RFB-s structure 4系统测试与分析 从图11中可以看出应用该算法P后能够明 显提升图片中物体的整体亮度，恢复图片中物体 4.1中值滤波算法仿真分析 的颜色、纹理、轮廓等细节。以便后续行人检测 测试时使用的测试数据为分别为99,138,30}、 算法能够准确检测人流量。 {138,30,69}、{30,69,108}根据中值滤波算法可求 4.3行人检测算法 得中值为70，具体内容如图10红色标记部分。 本算法从PASCAL VOC2007数据集中单独 图中红色圈所指示，模块输出的中值是69，与仿 挑选出包含行人的图片及标注，作为数据集并进 真实验计算结果相同，中值滤波P核时序正确， 行训练。由于深度神经网络对训练数据要求较 完成算法设计功能。 高，数据集规模越大，包含的目标样本越丰富，模 型的泛化能力及鲁棒性越强。所以本文在训练时 对输入的图像进行了数据扩增操作，通过随机裁 剪、水平翻转、区域随机采样等操作增加了训练 数据。在训练时模型参数设置如下：epoch为 200,batch size为24，图像的输入尺寸为320， 图10中值滤波算法仿真图 IoU阈值为0.5。学习率为0.01，迭代次数为200， Fig.10 Simulation diagram of median filtering algorithm 使用SGD优化器。 4.2同态滤波算法 本文使用通用的P-R曲线图绘制检测结果 同态滤波的处理效果取决于滤波函数的选择 图，即Recall值为0,0.1，…，1.0情况下的Preci-- 及参数的设定，恰当的数据设定能够在压缩削弱 sion值，其中Rcall为召回率即查全率，Prece- 光照分量的同时增强提升反射分量，增强图像的 son为准确率。通过设置不同的置信度阈值来得 对比度，本系统经反复实验确定滤波函数采用高 到PR曲线图。实验结果如图12所示。 斯高通滤波函数，式(7)中参数设置为R=2.5,R= 1.0 0.6,D。=6。图像经算法测试后的对比结果图如 0.8 图11所示。 03 0.2 0.40.6 0.8 1.0 (a)增强前 (b)增强后 回归率 图11同态滤波算法测试结果 图12PR曲线图 Fig.11 Test results of homomorphic filtering algorithm Fig.12 P-R curve diagram
(a) RFB 结构 Relu 激活 + 串联+1×1 卷积 上一层特征 直连 3×3 卷积 扩张率=1 1×1 卷积 3×3 卷积 扩张率=3 3×3 卷 5×5 卷 3×3 卷积 扩张率=5 1×1 卷积 1×1 卷积 Relu 激活 上一层特征 直连 + 串联+1×1 卷积 3×3 卷积, 扩张率=1 3×3 卷积, 扩张率=3 3×3 卷积, 扩张率=3 3×3 卷积, 扩张率=5 1×1 卷积 1×3 卷积 3×1 卷积 3×3 卷积 1×1 卷积 1×1 卷积 1×1 卷积 (b) RFB-s 结构 图 9 RFB 及 RFB-s 结构 Fig. 9 RFB and RFB-s structure 4 系统测试与分析 4.1 中值滤波算法仿真分析 测试时使用的测试数据为分别为{99,138,30}、 {138,30,69}、{30,69,108}根据中值滤波算法可求 得中值为 70，具体内容如图 10 红色标记部分。 图中红色圈所指示，模块输出的中值是 69，与仿 真实验计算结果相同，中值滤波 IP 核时序正确， 完成算法设计功能。 图 10 中值滤波算法仿真图 Fig. 10 Simulation diagram of median filtering algorithm 4.2 同态滤波算法 Rh Rl D0 = 同态滤波的处理效果取决于滤波函数的选择 及参数的设定，恰当的数据设定能够在压缩削弱 光照分量的同时增强提升反射分量，增强图像的 对比度，本系统经反复实验确定滤波函数采用高 斯高通滤波函数，式 (7) 中参数设置为 =2.5， = 0.6， 6。图像经算法测试后的对比结果图如 图 11 所示。 (a) 增强前 (b) 增强后 图 11 同态滤波算法测试结果 Fig. 11 Test results of homomorphic filtering algorithm 从图 11 中可以看出应用该算法 IP 后能够明 显提升图片中物体的整体亮度，恢复图片中物体 的颜色、纹理、轮廓等细节。以便后续行人检测 算法能够准确检测人流量。 4.3 行人检测算法 本算法从 PASCAL VOC2007 数据集中单独 挑选出包含行人的图片及标注，作为数据集并进 行训练。由于深度神经网络对训练数据要求较 高，数据集规模越大，包含的目标样本越丰富，模 型的泛化能力及鲁棒性越强。所以本文在训练时 对输入的图像进行了数据扩增操作，通过随机裁 剪、水平翻转、区域随机采样等操作增加了训练 数据。在训练时模型参数设置如下： epoch 为 200，batch size 为 24，图像的输入尺寸为 320， IoU 阈值为 0.5。学习率为 0.01，迭代次数为 200， 使用 SGD 优化器。 本文使用通用的 P-R 曲线图绘制检测结果 图，即 Recall 值为 0，0.1，…，1.0 情况下的 Precision 值，其中 Rcall 为召回率即查全率，Precesion 为准确率。通过设置不同的置信度阈值来得 到 P-R 曲线图。实验结果如图 12 所示。 回归率 准确率 1.0 0.8 0.6 0.4 0.2 0 0.2 0.4 0.6 0.8 1.0 图 12 P-R 曲线图 Fig. 12 P-R curve diagram ·820· 智 能 系 统 学 报 第 17 卷
第4期 毕晓君，等：高层火灾智能报警及逃生指导系统 ·821· 从图中可以观察到，PR曲线呈递减趋势，P 代表各类目标AP值的平均值。由于在行人检测 R曲线下的面积即为检测的AP值，具体公式为 任务中只有行人一类目标，所以AP值与mAP值 相等，在PASCAL VOC2007val2)验证集中计算 AP;=>(Rj1-Rj)x P(+D) 得mAP值为87.02%。准确率完全满足行人检测 式中：R为上述提到的阈值(0,0.1，…，1.0)对应 任务在系统中的实际应用需求。原模型用于目 得到的所有回归率，0,1，…，10。P+为(r+1)对 标检测，我们根据所筛选的行人数据集进行训 应的准确率。P、R公式为 练及测试，对模型进行了应用创新，达到了预期 TP P= 要求。 TP+FP 在实验测试中，我们对光线暗、行人被部分 TP R=TP+FN 遮挡、行人密集、行人抖动模糊等各种特殊情况 式中：TP为正确检测出来的数量，FP是检测错误 进行了测试，最终得到的检测结果如图13所示。 的数量，FN是未检测出的数量。 在各种极端恶劣的条件下检测效果依然较好，这 在目标检测领域中使用AP作为评测标准， 说明模型的泛化能力较强。 (a)光线极瑞昏暗情况(b)行人被部分遮挡的情况 (©)行人比较密集 (d行人阴影模糊 图13行人检测极端情况测试图 Fig.13 Pedestrian detection extreme case test chart 5结束语 603-606 LIU Mingyan,CHANG Ning.Desion on a fully wireless 本文实现了高层建筑火灾智能报警及逃生指 automatic fire alarm system based on ZigBee and 导系统的设计与搭建工作，通过多个TXW8301 GPRS[J].Fire science and technology,2015,34(5) WFi模块实现各楼层节点模块组网，一旦建筑内 603-606. 某一区域发生火情，激光烟雾火灾探测器发出信 [4]郭冰陶，刘珊，刘强，等基于多传感器数据融合的智能 号立即激活建筑内布控的所有终端节点，各楼层 火灾监控系统设计[U].自动化与仪表，2016,31(2)： 自动启动WT588D语音单片机语音播报具体的火 29-32. 灾地点以及逃生路线，智能引导各区域人群逃 GUO Bingtao,LIU Shan,LIU Qiang,et al.Design of in- 生。同时，通过FPGA开发板对烟雾监控视频进 telligent fire monitoring system based on multi sensor 行去烟补光、去噪处理，并基于深度学习算法对 data fusion[J].Automation instrumentation,2016, 各逃生通道进行行人密度检测，系统界面实时显 31(2:29-32 示火灾报警情况及安全通道的人群密度等监测情 [S]张天佑.高层建筑火灾自动报警系统设计)，高等建筑 况，方便进行智能救援指挥，可最大限度地降低 教育，2018,27(5)143-147. 火灾中的人员伤亡。 ZHANG Tianyou.High-rise building automatic fire alarm 参考文献： system design[J].Journal of architectural education inin- stitutions of higher learning,2018,27(5):143-147 [1]中华人民共和国住房和城乡建设部.火灾自动报警系 [6]杨雷，唐瑞尹，王兴朝.中值滤波在噪声图像匹配中的 统设计规范：GB50116一2013[S].北京：中国计划出版 应用).现代计算机，2021(17)：135-139. 社，2014 YANG Lei,TANG Ruiyin,WANG Xingchao.Applica- [2]中华人民共和国公安部.高层民用建筑设计防火规范： tion of median filter in image matching SIFT[J].Modern GB50045一95S].北京：中国计划出版社，2005 computer,.2021(17):135-139 [3]刘明岩，常宁.基于ZigBee和GPRS全无线火灾自动 [7]周佐，张静.基于同态滤波与直方图均衡的沙尘图像增 报警系统设计[J].消防科学与技术，2015,34(5) 强研究[U】.信息与电脑（理论版），2020,32(23)：61-64
从图中可以观察到，P-R 曲线呈递减趋势，PR 曲线下的面积即为检测的 AP 值，具体公式为 APi = ∑n−1 j=1 (Rj+1 −Rj)× P(rj+1) Rj P(rj+1) rj +1 式中： 为上述提到的阈值（0，0.1，…，1.0）对应 得到的所有回归率，j=0,1,…,10。 为（ ）对 应的准确率。P、R 公式为 P = TP TP+FP R = TP TP+FN 式中：TP 为正确检测出来的数量，FP 是检测错误 的数量，FN 是未检测出的数量。 在目标检测领域中使用 mAP 作为评测标准， 代表各类目标 AP 值的平均值。由于在行人检测 任务中只有行人一类目标，所以 AP 值与 mAP 值 相等，在 PASCAL VOC2007 val[23] 验证集中计算 得 mAP 值为 87.02%。准确率完全满足行人检测 任务在系统中的实际应用需求。原模型用于目 标检测，我们根据所筛选的行人数据集进行训 练及测试，对模型进行了应用创新，达到了预期 要求。 在实验测试中，我们对光线暗、行人被部分 遮挡、行人密集、行人抖动模糊等各种特殊情况 进行了测试，最终得到的检测结果如图 13 所示。 在各种极端恶劣的条件下检测效果依然较好，这 说明模型的泛化能力较强。 1 2 10 3 (a) 光线极端昏暗情况 (b) 行人被部分遮挡的情况 (c) 行人比较密集 (d) 行人阴影模糊 图 13 行人检测极端情况测试图 Fig. 13 Pedestrian detection extreme case test chart 5 结束语 本文实现了高层建筑火灾智能报警及逃生指 导系统的设计与搭建工作，通过多个 TXW8301 WiFi 模块实现各楼层节点模块组网，一旦建筑内 某一区域发生火情，激光烟雾火灾探测器发出信 号立即激活建筑内布控的所有终端节点，各楼层 自动启动 WT588D 语音单片机语音播报具体的火 灾地点以及逃生路线，智能引导各区域人群逃 生。同时，通过 FPGA 开发板对烟雾监控视频进 行去烟补光、去噪处理，并基于深度学习算法对 各逃生通道进行行人密度检测，系统界面实时显 示火灾报警情况及安全通道的人群密度等监测情 况，方便进行智能救援指挥，可最大限度地降低 火灾中的人员伤亡。 参考文献： 中华人民共和国住房和城乡建设部. 火灾自动报警系 统设计规范: GB 50116—2013[S]. 北京: 中国计划出版 社, 2014. [1] 中华人民共和国公安部. 高层民用建筑设计防火规范: GB 50045—95[S]. 北京: 中国计划出版社, 2005. [2] 刘明岩, 常宁. 基于 ZigBee 和 GPRS 全无线火灾自动 报警系统设计 [J]. 消防科学与技术, 2015, 34(5): [3] 603–606. LIU Mingyan, CHANG Ning. Desion on a fully wireless automatic fire alarm system based on ZigBee and GPRS[J]. Fire science and technology, 2015, 34(5): 603–606. 郭冰陶, 刘珊, 刘强, 等. 基于多传感器数据融合的智能 火灾监控系统设计 [J]. 自动化与仪表, 2016, 31(2): 29–32. GUO Bingtao, LIU Shan, LIU Qiang, et al. Design of intelligent fire monitoring system based on multi sensor data fusion[J]. Automation & instrumentation, 2016, 31(2): 29–32. [4] 张天佑. 高层建筑火灾自动报警系统设计 [J]. 高等建筑 教育, 2018, 27(5): 143–147. ZHANG Tianyou. High-rise building automatic fire alarm system design[J]. Journal of architectural education in institutions of higher learning, 2018, 27(5): 143–147. [5] 杨雷, 唐瑞尹, 王兴朝. 中值滤波在噪声图像匹配中的 应用 [J]. 现代计算机, 2021(17): 135–139. YANG Lei, TANG Ruiyin, WANG Xingchao. Application of median filter in image matching SIFT[J]. Modern computer, 2021(17): 135–139. [6] 周佐, 张静. 基于同态滤波与直方图均衡的沙尘图像增 强研究 [J]. 信息与电脑(理论版), 2020, 32(23): 61–64. [7] 第 4 期 毕晓君，等：高层火灾智能报警及逃生指导系统 ·821·
·822· 智能系统学报 第17卷 ZHOU Zuo,ZHANG Jing.Research on enhancement of progress on FPGA-based machine learning hardware ac- dust image based on homomorphic filtering and histo- celeration[J].Chinese journal of computers,2020,43(6): gram equalization[J].China computer communication. 1161-1182 2020,32(23):61-64. [16]刘焰强，戚正伟，管海兵.FPGA加速系统开发工具设 [8]赵春丽，董静薇，徐博，等.融合直方图均衡化与同态滤 计：综述与实践[J].软件学报，2020,31(10)： 波的雾天图像增强算法研究).哈尔滨理工大学学报， 3087-3099. 2019,24(6):93-97. LIU Yanqiang,QI Zhengwei,GUAN Haibing.FPGA ZHAO Chunli,DONG Jingwei,XU Bo,et al.Research acceleration system development tools:survey and prac- on finger-image enhancement algorithm based on fusion tice[J].Journal of software,2020,31(10):3087-3099. histogram equalization and homomorphic filtering]. [17刀王涌，肖顺文，郑瑞，等.基于FPGA的实时图像采集 Journal of Harbin University of Science and Technology, 与显示系统设计.西华师范大学学报（自然科学版） 2019,24(6):93-97 2020,41(2:221-226 [9]韩亮.复杂光照下图像去雾算法的研究D].西安：西安 WANG Yong,XIAO Shunwen,ZHENG Rui,et al. 建筑科技大学，2020 Design of real-time image acquisition and display sys- HAN Liang.Research on image defogging algorithm un- tem based on FPGA[J].Journal of China west normal der complex lighting[D].Xi'an:Xi'an University of Ar- university (natural sciences edition),2020,41(2) chitecture and Technology,2020 221-226. [10]朱海辉.夜间视频增强算法研究及硬件设计D].哈尔 [18]张小刚，唐美玲，陈华，等.一种结合双区域滤波和图 滨：哈尔滨工业大学，2017 像融合的单幅图像去雾算法[).自动化学报，2014， ZHU Haihui.The research on night video enhancement 40(8):1733-1739. algorithm and hardware design[D].Harbin:Harbin Insti- ZHANG Xiaogang,TANG Meiling,CHEN Hua,et al.A tute of Technology,2017. dehazing method in single image based on double-area [11]LIU Songtao,HUANG Di,WANG Yunhong.Receptive filter and image fusion[J].Acta automatica sinica,2014, field block net for accurate and fast object detection 40(8:1733-1739 [C]//European Conference on Computer Vision.Cham: [19]高全明，孙俊喜，刘广文，等.基于FPGA的交通视频 Springer,2018:404-419. 快速去雾系统的设计与实现[).电子技术应用，2017， [I2]黎国斌，张剑，林向会，等.基于改进的RFBNet行人检 43(6:71-74 测算法).智能计算机与应用，2021,11(6)：173-177. GAO Quanming,SUN Junxi,LIU Guangwen,et al. LI Guobin,ZHANG Jian,LIN Xianghui,et al.Based on Design and implementation on the system of high speed the improved RFBNet pedestrian detection algorithm[J]. fog removal in traffic video images based on FPGA[J]. Intelligent computer and applications,2021,11(6): Application of electronic technique,2017,43(6):71-74. 173-177. [20]韩团军.快速中值滤波算法研究及其FPGA硬件实现 [13]李佐龙，王帮海，卢增.多尺度特征融合重建的行人检 [).电子器件，2017,40(3697-701. 测方法).计算机工程与应用，2021,57(4)：176-182. HAN Tuanjun.Research of fast median filtering al- LI Zuolong,WANG Banghai,LU Zeng.Pedestrian de- gorithm and hardware implementation based on tection method based on multi-scale feature fusion and FPGA[J].Chinese journal of electron devices,2017, reconstruction[J].Computer engineering and applica- 40(3):697-701. tions,.2021,57(4):176-182. [21]刘佳敏，何宁.基于改进同态滤波的低对比度图像增 [14]李昕昕，杨林.面向复杂道路场景小尺度行人的实时 强[J.计算机应用与软件，2020,37(3)：220-224 检测算法[J].计算机工程与应用，2020,56(22)： LIU Jiamin,HE Ning.Low contrast image enhancement 124-131. based on improved homomorphic filtering[J].Computer LI Xinxin,YANG Lin.Real-time detection algorithm for applications and software,2020,37(3):220-224 small-scale pedestrians in complex road scenes[J].Com- [22]蔡秀梅，马今璐，吴成茂，等.基于模糊同态滤波的彩 puter engineering and applications,2020,56(22): 色图像增强算法[J].计算机仿真，2020,37(6)： 124-131. 342-346. [15】王超，王腾，马翔，等.基于FPGA的机器学习硬件加 CAI Xiumei,MA Jinlu,WU Chengmao,et al.Color im- 速研究进展).计算机学报，2020,43(6)：1161-1182. age enhancement algorithm based on fuzzy homomorph- WANG Chao,WANG Teng,MA Xiang,et al.Research ic filtering[J].Computer simulation,2020,37(6):
ZHOU Zuo, ZHANG Jing. Research on enhancement of dust image based on homomorphic filtering and histogram equalization[J]. China computer & communication, 2020, 32(23): 61–64. 赵春丽, 董静薇, 徐博, 等. 融合直方图均衡化与同态滤 波的雾天图像增强算法研究 [J]. 哈尔滨理工大学学报, 2019, 24(6): 93–97. ZHAO Chunli, DONG Jingwei, XU Bo, et al. Research on finger-image enhancement algorithm based on fusion histogram equalization and homomorphic filtering[J]. Journal of Harbin University of Science and Technology, 2019, 24(6): 93–97. [8] 韩亮. 复杂光照下图像去雾算法的研究 [D]. 西安: 西安 建筑科技大学, 2020. HAN Liang. Research on image defogging algorithm under complex lighting[D]. Xi’an: Xi’an University of Architecture and Technology, 2020. [9] 朱海辉. 夜间视频增强算法研究及硬件设计 [D]. 哈尔 滨: 哈尔滨工业大学, 2017. ZHU Haihui. The research on night video enhancement algorithm and hardware design[D]. Harbin: Harbin Institute of Technology, 2017. [10] LIU Songtao, HUANG Di, WANG Yunhong. Receptive field block net for accurate and fast object detection [C]//European Conference on Computer Vision. Cham: Springer, 2018: 404−419. [11] 黎国斌, 张剑, 林向会, 等. 基于改进的 RFBNet 行人检 测算法 [J]. 智能计算机与应用, 2021, 11(6): 173–177. LI Guobin, ZHANG Jian, LIN Xianghui, et al. Based on the improved RFBNet pedestrian detection algorithm[J]. Intelligent computer and applications, 2021, 11(6): 173–177. [12] 李佐龙, 王帮海, 卢增. 多尺度特征融合重建的行人检 测方法 [J]. 计算机工程与应用, 2021, 57(4): 176–182. LI Zuolong, WANG Banghai, LU Zeng. Pedestrian detection method based on multi-scale feature fusion and reconstruction[J]. Computer engineering and applications, 2021, 57(4): 176–182. [13] 李昕昕, 杨林. 面向复杂道路场景小尺度行人的实时 检测算法 [J]. 计算机工程与应用, 2020, 56(22): 124–131. LI Xinxin, YANG Lin. Real-time detection algorithm for small-scale pedestrians in complex road scenes[J]. Computer engineering and applications, 2020, 56(22): 124–131. [14] 王超, 王腾, 马翔, 等. 基于 FPGA 的机器学习硬件加 速研究进展 [J]. 计算机学报, 2020, 43(6): 1161–1182. WANG Chao, WANG Teng, MA Xiang, et al. Research [15] progress on FPGA-based machine learning hardware acceleration[J]. Chinese journal of computers, 2020, 43(6): 1161–1182. 刘焰强, 戚正伟, 管海兵. FPGA 加速系统开发工具设 计: 综述与实践 [J]. 软件学报, 2020, 31(10): 3087–3099. LIU Yanqiang, QI Zhengwei, GUAN Haibing. FPGA acceleration system development tools: survey and practice[J]. Journal of software, 2020, 31(10): 3087–3099. [16] 王涌, 肖顺文, 郑瑞, 等. 基于 FPGA 的实时图像采集 与显示系统设计 [J]. 西华师范大学学报(自然科学版), 2020, 41(2): 221–226. WANG Yong, XIAO Shunwen, ZHENG Rui, et al. Design of real-time image acquisition and display system based on FPGA[J]. Journal of China west normal university (natural sciences edition), 2020, 41(2): 221–226. [17] 张小刚, 唐美玲, 陈华, 等. 一种结合双区域滤波和图 像融合的单幅图像去雾算法 [J]. 自动化学报, 2014, 40(8): 1733–1739. ZHANG Xiaogang, TANG Meiling, CHEN Hua, et al. A dehazing method in single image based on double-area filter and image fusion[J]. Acta automatica sinica, 2014, 40(8): 1733–1739. [18] 高全明, 孙俊喜, 刘广文, 等. 基于 FPGA 的交通视频 快速去雾系统的设计与实现 [J]. 电子技术应用, 2017, 43(6): 71–74. GAO Quanming, SUN Junxi, LIU Guangwen, et al. Design and implementation on the system of high speed fog removal in traffic video images based on FPGA[J]. Application of electronic technique, 2017, 43(6): 71–74. [19] 韩团军. 快速中值滤波算法研究及其 FPGA 硬件实现 [J]. 电子器件, 2017, 40(3): 697–701. HAN Tuanjun. Research of fast median filtering algorithm and hardware implementation based on FPGA[J]. Chinese journal of electron devices, 2017, 40(3): 697–701. [20] 刘佳敏, 何宁. 基于改进同态滤波的低对比度图像增 强 [J]. 计算机应用与软件, 2020, 37(3): 220–224. LIU Jiamin, HE Ning. Low contrast image enhancement based on improved homomorphic filtering[J]. Computer applications and software, 2020, 37(3): 220–224. [21] 蔡秀梅, 马今璐, 吴成茂, 等. 基于模糊同态滤波的彩 色图像增强算法 [J]. 计算机仿真, 2020, 37(6): 342–346. CAI Xiumei, MA Jinlu, WU Chengmao, et al. Color image enhancement algorithm based on fuzzy homomorphic filtering[J]. Computer simulation, 2020, 37(6): [22] ·822· 智 能 系 统 学 报 第 17 卷
第4期 毕晓君，等：高层火灾智能报警及逃生指导系统 ·823· 342-346 孙梓玮，硕士研究生，主要研究方 [23]EVERINGHAM M,VAN GOOL L,WILLIAMS C K I. 向为目标检测、图像增强。 et al.The pascal visual object classes (VOC)challenge [J].International journal of computer vision,2010, 88(2):303-338 作者简介： 毕晓君，教授，博士生导师，主要 刘进，硕士研究生，主要研究方向 研究方向为智能信息处理技术、数字 为深度学习算法在边缘设备上的优化 图像处理、机器学习。主持国家重点 部署。 研发计划项目、国家社科基金重大项 目等国家级、省部级项目6项。获高 等学校科学技术进步一等奖1项、省 部级科学技术奖7项。发表学术论 文170余篇。 2022年吴文俊人工智能科学技术奖提名 为激励和表彰在人工智能科学研究、技术开发与创新、科技成果推广应用和产业化等方面做出突出贡 献的单位和个人，中国人工智能学会经研究决定开展2022年度“吴文俊人工智能科学技术奖”提名工作。 一、提名奖项 1.吴文俊人工智能最高成就奖； 2.吴文俊人工智能杰出贡献奖； 3.吴文俊人工智能自然科学奖； 4.吴文俊人工智能技术发明奖： 5.吴文俊人工智能科技进步奖（含科普项目和企业技术创新工程项目）： 6.吴文俊人工智能优秀青年奖： 7.吴文俊人工智能专项奖（芯片项目）： 8.吴文俊人工智能优秀博士学位论文奖。 二、提名工作时间安排 接收项目申报：5月23日至8月25日 申报材料形式审查：8月25日至9月20日 初审函评：9月下旬至10月中旬 初审会评并公示：10月中旬至11月上旬 终评会评：11月中旬至11月下旬 终审结果公示：12月上旬 举办颁奖典礼：12月底 详情请关注： 中国人工智能学会官网：htp://caai..cn
342–346. EVERINGHAM M, VAN GOOL L, WILLIAMS C K I, et al. The pascal visual object classes (VOC) challenge [J]. International journal of computer vision, 2010, 88(2): 303–338. [23] 作者简介： 毕晓君, 教授，博士生导师，主要 研究方向为智能信息处理技术、数字 图像处理、机器学习。主持国家重点 研发计划项目、国家社科基金重大项 目等国家级、省部级项目 6 项。获高 等学校科学技术进步一等奖 1 项、省 部级科学技术奖 7 项。发表学术论 文 170 余篇。 孙梓玮，硕士研究生，主要研究方 向为目标检测、图像增强。 刘进，硕士研究生，主要研究方向 为深度学习算法在边缘设备上的优化 部署。 2022 年吴文俊人工智能科学技术奖提名 为激励和表彰在人工智能科学研究、技术开发与创新、科技成果推广应用和产业化等方面做出突出贡 献的单位和个人，中国人工智能学会经研究决定开展 2022 年度“吴文俊人工智能科学技术奖”提名工作。 一、提名奖项 1. 吴文俊人工智能最高成就奖； 2. 吴文俊人工智能杰出贡献奖； 3. 吴文俊人工智能自然科学奖； 4. 吴文俊人工智能技术发明奖； 5. 吴文俊人工智能科技进步奖 (含科普项目和企业技术创新工程项目)； 6. 吴文俊人工智能优秀青年奖； 7. 吴文俊人工智能专项奖 (芯片项目)； 8. 吴文俊人工智能优秀博士学位论文奖。 二、提名工作时间安排 接收项目申报：5 月 23 日至 8 月 25 日 申报材料形式审查：8 月 25 日至 9 月 20 日 初审函评：9 月下旬至 10 月中旬 初审会评并公示：10 月中旬至 11 月上旬 终评会评：11 月中旬至 11 月下旬 终审结果公示：12 月上旬 举办颁奖典礼：12 月底 详情请关注： 中国人工智能学会官网：http://caai.cn 第 4 期 毕晓君，等：高层火灾智能报警及逃生指导系统 ·823·
