第13卷第3期 智能系统学报 Vol.13 No.3 2018年6月 CAAI Transactions on Intelligent Systems Jun.2018 D0:10.11992/tis.201710013 网络出版地址：http:/kns.cnki.net/kcms/detail/23.1538.TP.20180408.1522.018.html 基于递归神经网络的跌倒检测系统 牛德姣，刘亚文，蔡涛，彭长生，詹永照，梁军 (江苏大学计算机科学与通信工程学院，江苏镇江212013) 摘要：针对现有跌倒检测方法存在适应性差和功能较单一等问题，引入递归神经网络，通过发掘位置传感器数据之 间的内在联系提高检测跌倒行为的效果。首先，设计了传感器、训练与检测输入数据的序列化表示方法，为发掘其中 与跌倒和接近跌倒行为相关的内在关联提供了基础；接着，给出了用于跌倒检测的RNN训练算法以及基于RNN的 跌倒检测算法，将跌倒检测转换为输人序列的分类问题：最后，在前期实现的基于分布式神经元大规模RNN系统的 基础上，在Spark平台上实现了基于RNN的跌倒检测系统，使用Fall adl data数据集进行了测试与分析，验证了其 能有效提高跌倒检测的准确率和召回率，F值相比现有跌倒检测系统提高12%和7%，同时能有效检测出接近跌倒 的行为.有助于及时采取保护措施减少伤害。 关键词：跌倒检测：接近跌倒检测：传感器数据：递归神经网络：大数据：跌倒检测算法：训练算法：RNNFD 中图分类号：TP391文献标志码：A文章编号：1673-4785(2018)03-0380-08 中文引用格式：牛德姣，刘亚文，蔡涛，等.基于递归神经网络的跌倒检测系统.智能系统学报，2018,133)：380-387 英文引用格式：NIU Dejiao,LIU Yawen,,CAI Tao,etal.Fall detection system based on recurrent neural networkJl.CAAI transac- tions on intelligent systems,2018,13(3):380-387. Fall detection system based on recurrent neural network NIU Dejiao,LIU Yawen,CAI Tao,PENG Changsheng,ZHAN Yongzhao,LIANG Jun (School of Computer Science and Communication Engineering,Jiangsu University,Zhenjiang 212001,China) Abstract:The existing methods of fall detection have poor adaptability and limited functions.In this paper,a recurrent neural network based fall detection system is introduced to improve the performance of fall detection and to make it able to identify more dangerous near-falls by exploring the relationship of the position sensor data.Firstly,a serialization rep- resentation method on position sensor data,training and test data is designed as the basis for intrinsic relationship ex- ploration.Then,the training algorithm for RNN based fall detection is proposed,where the fall detection is transformed into a classification problem of the input sequence.Finally,using the large-scale RNN system based on distributed neur- ons,the fall detection system is implemented on the Spark platform.Evaluations are carried out on Fall_adl_data.The experimental results prove that the proposed system can improve the precision and recall of fall detection effectively. Compared with the existing fall detection systems,F-measure has improved by 12%and 7%,respectively.Moreover, the system is also able to detect the near-fall behavior effectively which helps provide timely protective measures to re- duce the damage caused by falls. Keywords:fall detection;near fall detection;sensor data;recurrent neural network;big data;fall detection algorithm; training algorithm;RNNFD 跌倒行为会对人体造成伤害，特别是对老人、 收稿日期：2017-10-17.网络出版日期：2018-04-09. 基金项目：江苏省科技厅重点研发计划产业前瞻与共性关键技术 小孩和病人等群体造成的伤害尤其严重。如何对可 项目(BE2015137):江苏省自然科学基金项目 能出现的跌倒行为进行及时的预警，从而减少和避 (BK20140570):中国博土后基金项目(2016M601737) 通信作者：牛德蛟.E-mail:dniu@ujs.edu.cn. 免其带来的伤害就显得非常重要。当前国内外相关
DOI: 10.11992/tis.201710013 网络出版地址: http://kns.cnki.net/kcms/detail/23.1538.TP.20180408.1522.018.html 基于递归神经网络的跌倒检测系统 牛德姣，刘亚文，蔡涛，彭长生，詹永照，梁军 （江苏大学 计算机科学与通信工程学院, 江苏 镇江 212013） 摘 要：针对现有跌倒检测方法存在适应性差和功能较单一等问题，引入递归神经网络，通过发掘位置传感器数据之 间的内在联系提高检测跌倒行为的效果。首先，设计了传感器、训练与检测输入数据的序列化表示方法，为发掘其中 与跌倒和接近跌倒行为相关的内在关联提供了基础；接着，给出了用于跌倒检测的 RNN 训练算法以及基于 RNN 的 跌倒检测算法，将跌倒检测转换为输入序列的分类问题；最后，在前期实现的基于分布式神经元大规模 RNN 系统的 基础上，在 Spark 平台上实现了基于 RNN 的跌倒检测系统，使用 Fall_adl_data 数据集进行了测试与分析，验证了其 能有效提高跌倒检测的准确率和召回率，F 值相比现有跌倒检测系统提高 12% 和 7%，同时能有效检测出接近跌倒 的行为，有助于及时采取保护措施减少伤害。 关键词：跌倒检测；接近跌倒检测；传感器数据；递归神经网络；大数据；跌倒检测算法；训练算法；RNNFD 中图分类号：TP391 文献标志码：A 文章编号：1673−4785(2018)03−0380−08 中文引用格式：牛德姣, 刘亚文, 蔡涛, 等. 基于递归神经网络的跌倒检测系统[J]. 智能系统学报, 2018, 13(3): 380–387. 英文引用格式：NIU Dejiao, LIU Yawen, CAI Tao, et al. Fall detection system based on recurrent neural network[J]. CAAI transactions on intelligent systems, 2018, 13(3): 380–387. Fall detection system based on recurrent neural network NIU Dejiao，LIU Yawen，CAI Tao，PENG Changsheng，ZHAN Yongzhao，LIANG Jun (School of Computer Science and Communication Engineering, Jiangsu University, Zhenjiang 212001, China) Abstract: The existing methods of fall detection have poor adaptability and limited functions. In this paper, a recurrent neural network based fall detection system is introduced to improve the performance of fall detection and to make it able to identify more dangerous near-falls by exploring the relationship of the position sensor data. Firstly, a serialization representation method on position sensor data, training and test data is designed as the basis for intrinsic relationship exploration. Then, the training algorithm for RNN based fall detection is proposed, where the fall detection is transformed into a classification problem of the input sequence. Finally, using the large-scale RNN system based on distributed neurons, the fall detection system is implemented on the Spark platform. Evaluations are carried out on Fall_adl_data. The experimental results prove that the proposed system can improve the precision and recall of fall detection effectively. Compared with the existing fall detection systems, F-measure has improved by 12% and 7%, respectively. Moreover, the system is also able to detect the near-fall behavior effectively which helps provide timely protective measures to reduce the damage caused by falls. Keywords: fall detection; near fall detection; sensor data; recurrent neural network; big data; fall detection algorithm; training algorithm; RNNFD 跌倒行为会对人体造成伤害，特别是对老人、 小孩和病人等群体造成的伤害尤其严重。如何对可 能出现的跌倒行为进行及时的预警，从而减少和避 免其带来的伤害就显得非常重要。当前国内外相关 收稿日期：2017−10−17. 网络出版日期：2018−04−09. 基金项目：江苏省科技厅重点研发计划产业前瞻与共性关键技术 项 目 (BE2015137) ；江苏省自然科学基金项 目 (BK20140570)；中国博士后基金项目 (2016M601737). 通信作者：牛德姣. E-mail：djniu@ujs.edu.cn. 第 13 卷第 3 期 智 能 系 统 学 报 Vol.13 No.3 2018 年 6 月 CAAI Transactions on Intelligent Systems Jun. 2018
第3期 牛德姣，等：基于递归神经网络的跌倒检测系统 ·381· 的研究主要包括用户自主启动型报警设备山、基于 证，相比在同一数据集上的其他算法1，基于RNN 视觉的跌倒检测系统和基于可穿戴设备的跌倒检 的跌倒检测系统的F值分别提高了12%与8%，并 测系统等类型。用户自主启动型报警设备对使用 能正确检测出接近跌倒行为，从而更好地提供预警 者和使用条件有很多限制，基于视觉的跌倒检测则 信息。 涉及用户隐私等问题，而基于可穿戴设备的跌倒检 测系统具有使用方便、个人隐私性好等优势，成为 1相关工作 当前跌倒检测研究和开发中的热点。 1.1跌倒检测 阈值法是最常用的跌倒检测算法，设定一个 Vaidehi等提出了基于人体静态特征的视频 或多个阈值，通过可穿戴设备传感器获取加速度和 检测方法，通过阈值法判断是否跌倒；Bosch等6通 角速度等信息进行分类：较低的时间与空间复杂度 过广角摄像头进行跌倒检测，采集人体倾斜角度的 是其最重要的优点，但如何确定阈值非常困难，同 变化速度等信息作为特征，通过支持向量机的方法 时在应用于差异较大的不同个体时存在准确度差等 进行跌倒判断，识别率达到97%；佟丽娜等叨利用 问题。近年来研究者开始将隐马尔可夫链66、动态 加速度信息作为时间序列.然后使用该时间序列作 朴素贝叶斯网络1、支持向量机8劉、随机森林和 为训练样本训练隐马尔可夫模型，通过分析当前的 K最近邻等方法应用到跌倒检测中，这些方法对 输入序列与模型的匹配程度进行跌倒预测并取得良 传感器采集的数据进行抽象后建模用于跌倒行为的 好的预测效果；R.M.Gibson等1比较了小波阈值 分类，具有较强的适应能力。但由于只是使用了传 下降强度检测法与PCA决策树两种不同的算法，得 感器数据的某个或某些特性用于检测，仍存在检测 出PCA决策树算法具有更好的准确性和鲁棒性：L 精度不足等问题。此外，为了提高准确率，大部分 Chen等利用贝叶斯网络来实现人体姿态预测，通 跌倒检测系统只是简单地判断未跌倒和跌倒两种状 过姿态预测结合识别算法来提高预测时间，之后又 态，未区分实用价值很高的接近跌倒状态叫。 通过支持向量机的方法进行摔倒识别，召回率与准 与传统建模或少量数据的训练不同，借助大数 确率分别达到96.2%与87.3%：D.Lu0等1提出了 据技术，通过大量数据的训练，神经网络模型能挖 基于随机森林的跌倒检测算法，最终获得95.2%的 掘和学习数据内部的复杂结构，从而极大提高分类 准确率、90.6%的敏感度和93.5%的特异性，并对 系统的适应能力和精度，因此基于大数据的神经网 比得出优于SVM和反向传播(BP)神经网络检测算 络已迅速成为当前研究与开发的热，点。与CNN通 法的结论；S.Z.Erdogan等1o利用数据挖掘中的 过滑动窗口保留部分历史输入不同，递归神经网络 K近邻的方法进行跌倒检测，也取得了不错的识别 (RNN)能保留所有的历史输入，通过抽象历史输入 效果。 之间的关联，具有很高的分类准确性，已被成功应 12递归神经网络的应用 用于自然语言处理领域中，取得了良好的效果。跌 递归神经网络是深度学习领域研究热点之一， 倒检测与自然语言处理具有很多相似之处，利用多 近年来，它在语音识别、机器翻译、文本语言处理等 个传感器的关联关系进行跌倒检测能有效提高检测 领域表现出了巨大的成功。它主要解决了如何 的准确性，减少个体差异的影响；本文将RNN引入 处理时间序列上的变化的问题。递归神经网络的应 到跌倒检测系统中，主要完成以下几个方面的工作。 用主要有3个方面：1)自然语言处理，包括语言模 I)根据RNN的特性，对可穿戴设备传感器获 型21、机器翻译2、语音识别21、会话模型26等； 取的数据进行重组，转变为适合RNN的输人序列。 2)计算机视觉方面，包括物体识别刃、视频跟踪2 2)借助RNN能够保存历史信息的特性，利用 视频分析2判等；3)自然语言处理与计算机视觉相结 其发现和抽象序列内在关系的能力，充分发掘位置 合，包括图片字幕3、视频字幕B11、视觉问题回 传感器数据之间的内在联系，设计了基于RNN的 答、机器人技术B等。 迭代算法，提高了跌倒检测的效果。 2基于RNN的跌倒检测算法 3)在Spark平台上，利用基于RNN的迭代算 法，实现了基于RNN的跌倒检测系统，除了与现有 与RNN使用效果较好的自然语言处理领域类 跌倒检测系统一样能区分正常和跌倒行为之外，还 似，个体的差异使得单个传感器数据对跌倒行为检 能准确识别出更具危险性的接近跌倒行为。 测非常有限，甚至会产生负面影响：由多个传感器 4)使用Fall adl data作为测试数据集进行验 获取不同数据序列之间的关联性是检测跌倒行为的
的研究主要包括用户自主启动型报警设备[1] 、基于 视觉的跌倒检测系统[2]和基于可穿戴设备的跌倒检 测系统[3]等类型。用户自主启动型报警设备对使用 者和使用条件有很多限制，基于视觉的跌倒检测则 涉及用户隐私等问题，而基于可穿戴设备的跌倒检 测系统具有使用方便、个人隐私性好等优势，成为 当前跌倒检测研究和开发中的热点。 阈值法[4]是最常用的跌倒检测算法，设定一个 或多个阈值，通过可穿戴设备传感器获取加速度和 角速度等信息进行分类；较低的时间与空间复杂度 是其最重要的优点，但如何确定阈值非常困难，同 时在应用于差异较大的不同个体时存在准确度差等 问题。近年来研究者开始将隐马尔可夫链[5-6] 、动态 朴素贝叶斯网络[7] 、支持向量机[8] 、随机森林[9]和 K 最近邻[10]等方法应用到跌倒检测中，这些方法对 传感器采集的数据进行抽象后建模用于跌倒行为的 分类，具有较强的适应能力。但由于只是使用了传 感器数据的某个或某些特性用于检测，仍存在检测 精度不足等问题。此外，为了提高准确率，大部分 跌倒检测系统只是简单地判断未跌倒和跌倒两种状 态，未区分实用价值很高的接近跌倒状态[11]。 与传统建模或少量数据的训练不同，借助大数 据技术，通过大量数据的训练，神经网络模型能挖 掘和学习数据内部的复杂结构，从而极大提高分类 系统的适应能力和精度，因此基于大数据的神经网 络已迅速成为当前研究与开发的热点。与 CNN 通 过滑动窗口保留部分历史输入不同，递归神经网络 (RNN) 能保留所有的历史输入，通过抽象历史输入 之间的关联，具有很高的分类准确性，已被成功应 用于自然语言处理领域中，取得了良好的效果。跌 倒检测与自然语言处理具有很多相似之处，利用多 个传感器的关联关系进行跌倒检测能有效提高检测 的准确性，减少个体差异的影响；本文将 RNN 引入 到跌倒检测系统中，主要完成以下几个方面的工作。 1) 根据 RNN 的特性，对可穿戴设备传感器获 取的数据进行重组，转变为适合 RNN 的输入序列。 2) 借助 RNN 能够保存历史信息的特性，利用 其发现和抽象序列内在关系的能力，充分发掘位置 传感器数据之间的内在联系，设计了基于 RNN 的 迭代算法，提高了跌倒检测的效果。 3) 在 Spark 平台上，利用基于 RNN 的迭代算 法，实现了基于 RNN 的跌倒检测系统，除了与现有 跌倒检测系统一样能区分正常和跌倒行为之外，还 能准确识别出更具危险性的接近跌倒行为。 4) 使用 Fall_adl_data[12]作为测试数据集进行验 证，相比在同一数据集上的其他算法[13-14] ，基于 RNN 的跌倒检测系统的 F 值分别提高了 12% 与 8%，并 能正确检测出接近跌倒行为，从而更好地提供预警 信息。 1 相关工作 1.1 跌倒检测 Vaidehi 等 [15]提出了基于人体静态特征的视频 检测方法，通过阈值法判断是否跌倒； Bosch 等 [16]通 过广角摄像头进行跌倒检测，采集人体倾斜角度的 变化速度等信息作为特征，通过支持向量机的方法 进行跌倒判断，识别率达到 97%；佟丽娜等[17]利用 加速度信息作为时间序列，然后使用该时间序列作 为训练样本训练隐马尔可夫模型，通过分析当前的 输入序列与模型的匹配程度进行跌倒预测并取得良 好的预测效果；R. M. Gibson 等 [18]比较了小波阈值 下降强度检测法与 PCA 决策树两种不同的算法，得 出 PCA 决策树算法具有更好的准确性和鲁棒性；L. Chen 等 [7]利用贝叶斯网络来实现人体姿态预测，通 过姿态预测结合识别算法来提高预测时间，之后又 通过支持向量机的方法进行摔倒识别，召回率与准 确率分别达到 96.2% 与 87.3%；D. Luo 等 [19]提出了 基于随机森林的跌倒检测算法，最终获得 95.2% 的 准确率、90.6% 的敏感度和 93.5% 的特异性，并对 比得出优于 SVM 和反向传播 (BP) 神经网络检测算 法的结论；S. Z. Erdogan 等 [10]利用数据挖掘中的 K 近邻的方法进行跌倒检测，也取得了不错的识别 效果。 1.2 递归神经网络的应用 递归神经网络是深度学习领域研究热点之一， 近年来，它在语音识别、机器翻译、文本语言处理等 领域表现出了巨大的成功[20-22]。它主要解决了如何 处理时间序列上的变化的问题。递归神经网络的应 用主要有 3 个方面：1) 自然语言处理，包括语言模 型 [23] 、机器翻译[24] 、语音识别[25] 、会话模型[26]等； 2) 计算机视觉方面，包括物体识别[27] 、视频跟踪[28] 、 视频分析[29]等；3) 自然语言处理与计算机视觉相结 合，包括图片字幕[ 3 0 ] 、视频字幕[ 3 1 ] 、视觉问题回 答 [32] 、机器人技术[33]等。 2 基于 RNN 的跌倒检测算法 与 RNN 使用效果较好的自然语言处理领域类 似，个体的差异使得单个传感器数据对跌倒行为检 测非常有限，甚至会产生负面影响；由多个传感器 获取不同数据序列之间的关联性是检测跌倒行为的 第 3 期 牛德姣，等：基于递归神经网络的跌倒检测系统 ·381·
·382· 智能系统学报 第13卷 关键，本文引入RNN来学习和表示这类内在关联 Y轴的坐标值，ZS表示该位置传感器在空间中Z轴 关系，设计新型的跌倒检测算法，主要包括传感器 的坐标值；由此将位置传感器所采集的空间位置信 数据序列化、RNN跌倒检测训练算法等部分。 息转为了一个由3个坐标值构成的数据序列。 2.1传感器数据的序列化 再定义行为训练序列组AS(SS1,…,SSn,action), 在设计RNN实现跌倒检测算法时，如何发挥 其中SS,…,SSn是n个位置传感器数据序列组，每 RNN在处理序列信息方面的优势是一个关键问 个SS包含3个传感器值；action表示当前行为的类 题。在跌倒检测中所使用的均是位置传感器，本文 型，0表示非跌倒，1表示跌倒，2表示接近跌倒。 定义位置传感器数据序列SS,包含XS、YS和ZS 图1给出了个体包含两个位置传感器时，分别处于 3个传感器值，其中X$表示该位置传感器在空间 非跌倒和跌倒状态时所对应行为训练序列组的示意 中X轴的坐标值，YS表示该位置传感器在空间中 图，其中AS,对应非跌倒状态，AS2对应跌倒状态。 个体1 SS,(XS YSZS 位置传感器1 广8s0XS2j二 AS (XSYSZSXSYS,ZS.,0) 位置传感器2 s,衣$s,2达 AS (XSYSIZSIXSYSZS1) SS.CXS77S 25)1 图1位置传感器序列产生行为训练序列组AS示意图 Fig.1 AS schematic of the position sensor sequence generates the behavior training sequence group 由此，由同一时刻的所有位置传感器所采集数 用式(I)更新隐藏层，其中f是sigmoid函数，计算 据和当前的行为类型构建了行为训练序列组，作为 方式如式(2)：sigmoid函数的作用是引入随机性，同 RNN的输人，利用RNN能发现和抽象输入序列中 时将结果的值映射到(0,1)。 各单元关联关系的优势，获取多个位置传感器之间 s:=f(Ux:+Ws-1) (1) 关联关系的抽象，为提高跌倒检测的准确率和适应 fz)=1/1+e) (2) 能力提供基础。 然后使用式(3)更新输出层，其中g是softmax 2.2用于跌倒检测的RNN训练算法 函数，计算方式如式(4)；softmax函数能使输出值 本文以AS为单位，将AS包含的每个SS中的 在(0,1)，且所有输出值的和为1，同时使得输出值 3个传感器数值以及action作为独立输入单元，然 向1或0靠近，从而为分类提供方便。 后将该独立输入单元作为输入层的输入用于跌倒检 yr=g(Vs,) (3) e 测的RNN的训练，输出层计算行为训练序列组当 g）=4e (4) 前的概率P,并统计每个AS的总概率P作为训练 用e。表示输出层的误差，对AS中的每个单元 和检测的依据。 使用式（⑤）进行计算，其中d,是AS对应的目标输 用于跌倒检测的RNN如图2所示，其中x,表 出向量，y,是当前用于跌倒检测RNN实际输出 示所有行为训练序列组AS中第1个输入项，y,表示 向量。 第1个输入所对应输出向量，U表示输入层与隐藏 e(①=d,-y (5) 层之间的权值矩阵，V表示隐藏层与输出层之间的 接着使用式(6)计算隐藏层的误差eh,其中d, 权值矩阵，W表示隐藏层与上一次隐藏层之间的权 使用式（⑦）进行计算。 值矩阵，P表示AS所对应的概率B en(t)=di(e(1)V,t) (6) AS☐输入层x d(x,t)=xs,(1-s) U V输人层总概率P (7) 隐藏层 在RNN的训练过程中，需要将隐藏层的误差 正一次 、隐藏层s- 保存上一次隐藏层 进行递归传递。在每个AS训练结束后，使用式(8) 递归反向传播误差，传播的长度与A$包含的单元 图2用于跌倒检测的RNN示意图 个数相等。 Fig.2 RNN schematic for fall detection en(t-T-1)=di(en(t-T)W,t-T-1) (8) 训练用于跌倒检测RNN之前，将1的值初始化 此外，针对AS中的每个输入单元，使用式(9) 为0，然后将y,的值也初始化为0，同时随机初始化 更新隐藏层与输出层之间的权重矩阵，使用式(10) U、V和W。 更新输入层与隐藏层之间的权重矩阵，使用式(11) 对行为训练序列组AS中每个输入单元x,使 更新上一次隐藏层与当前隐藏层之间的权重矩阵
关键，本文引入 RNN 来学习和表示这类内在关联 关系，设计新型的跌倒检测算法，主要包括传感器 数据序列化、RNN 跌倒检测训练算法等部分。 2.1 传感器数据的序列化 在设计 RNN 实现跌倒检测算法时，如何发挥 RNN 在处理序列信息方面的优势是一个关键问 题。在跌倒检测中所使用的均是位置传感器，本文 定义位置传感器数据序列 SS，包含 XS、YS 和 ZS 3 个传感器值，其中 XS 表示该位置传感器在空间 中 X 轴的坐标值，YS 表示该位置传感器在空间中 Y 轴的坐标值，ZS 表示该位置传感器在空间中 Z 轴 的坐标值；由此将位置传感器所采集的空间位置信 息转为了一个由 3 个坐标值构成的数据序列。 AS(SS1,··· ,SSn, action) SS1,··· ,SSn AS1 AS2 再定义行为训练序列组 ， 其中 是 n 个位置传感器数据序列组，每 个 SS 包含 3 个传感器值；action 表示当前行为的类 型，0 表示非跌倒，1 表示跌倒，2 表示接近跌倒。 图 1 给出了个体包含两个位置传感器时，分别处于 非跌倒和跌倒状态时所对应行为训练序列组的示意 图，其中 对应非跌倒状态， 对应跌倒状态。 由此，由同一时刻的所有位置传感器所采集数 据和当前的行为类型构建了行为训练序列组，作为 RNN 的输入，利用 RNN 能发现和抽象输入序列中 各单元关联关系的优势，获取多个位置传感器之间 关联关系的抽象，为提高跌倒检测的准确率和适应 能力提供基础。 2.2 用于跌倒检测的 RNN 训练算法 本文以 AS 为单位，将 AS 包含的每个 SS 中的 3 个传感器数值以及 action 作为独立输入单元，然 后将该独立输入单元作为输入层的输入用于跌倒检 测的 RNN 的训练，输出层计算行为训练序列组当 前的概率 pt，并统计每个 AS 的总概率 P 作为训练 和检测的依据。 用于跌倒检测的 RNN 如图 2 所示，其中 xt 表 示所有行为训练序列组 AS 中第 t 个输入项，yt 表示 第 t 个输入所对应输出向量，U 表示输入层与隐藏 层之间的权值矩阵，V 表示隐藏层与输出层之间的 权值矩阵，W 表示隐藏层与上一次隐藏层之间的权 值矩阵，P 表示 AS 所对应的概率[34]。 训练用于跌倒检测 RNN 之前，将 t 的值初始化 为 0，然后将 yt 的值也初始化为 0，同时随机初始化 U、V 和 W。 对行为训练序列组 AS 中每个输入单元 xt，使 用式 (1) 更新隐藏层，其中 f 是 sigmoid 函数，计算 方式如式 (2)；sigmoid 函数的作用是引入随机性，同 时将结果的值映射到 (0, 1)。 st = f(Uxt +W st−1) (1) f(z) = 1/(1+e −z ) (2) 然后使用式 (3) 更新输出层，其中 g 是 softmax 函数，计算方式如式 (4)；softmax 函数能使输出值 在 (0,1)，且所有输出值的和为 1，同时使得输出值 向 1 或 0 靠近，从而为分类提供方便。 yt = g(V st) (3) g(zm) = e zm ∑ k e zk (4) 用 eo 表示输出层的误差，对 AS 中的每个单元 使用式 (5) 进行计算，其中 dt 是 AS 对应的目标输 出向量，yt 是当前用于跌倒检测 RNN 实际输出 向量。 eo(t) = dt − yt (5) 接着使用式 (6) 计算隐藏层的误差 eh，其中 dh 使用式 (7) 进行计算。 eh(t) = dh(eo(t) TV,t) (6) dh(x,t) = xst(1− st) (7) 在 RNN 的训练过程中，需要将隐藏层的误差 进行递归传递。在每个 AS 训练结束后，使用式 (8) 递归反向传播误差，传播的长度与 AS 包含的单元 个数相等。 eh(t−τ−1) = dh(eh(t−τ) TW,t−τ−1) (8) 此外，针对 AS 中的每个输入单元，使用式 (9) 更新隐藏层与输出层之间的权重矩阵，使用式 (10) 更新输入层与隐藏层之间的权重矩阵，使用式 (11) 更新上一次隐藏层与当前隐藏层之间的权重矩阵。 ѹ㒚ьᙋஔ1 ѹ㒚ьᙋஔ2 AS1 (XS1 ,YS1 ,ZS1 ,XS2 ,YS2 ,ZS2 ,0) AS2 (XS1 ′,YS1 ′,ZS1 ′,XS2 ′,YS2 ′,ZS2 ′,1) SS1 (XS1 ,YS1 ,ZS1 ) SS2 (XS2 ,YS2 ,ZS2 ) SS1 ′(XS1 ′,YS1 ′,ZS1 ′) SS2 ′(XS2 ′,YS2 ′,ZS2 ′) ͖ѿ1 图 1 位置传感器序列产生行为训练序列组 AS 示意图 Fig. 1 AS schematic of the position sensor sequence generates the behavior training sequence group AS 上一次 隐藏层st−1 保存上一次隐藏层 输入层xt 隐藏层st 输入层yt 总概率P U W V 图 2 用于跌倒检测的 RNN 示意图 Fig. 2 RNN schematic for fall detection ·382· 智 能 系 统 学 报 第 13 卷
第3期 牛德姣，等：基于递归神经网络的跌倒检测系统 ·383· V(t+1)=V0+ae()·s,T-βV) (9) 2.3基于RNN的跌倒检测算法 Ut+1）=U0+2ae,e-2--BU0 在使用用于跌倒检测RNN判断用户行为时， (10) =0 本文把跌倒检测转化为一个分类问题，通过比较用 户行为为非跌倒、跌倒、接近跌倒这3种状态的概 w(+1)=w0+ 之e-as---w0 率，判断用户行为的类型。 式中：B是正规化参数，α是学习率，T是反向传播的 定义行为判断序列组DS(SS,·,SSn,type,其中 步数。当所有的A$组成的训练集被用于跌倒检测 SS,…,SSn是n个位置传感器数据序列组，每个 RNN训练后，调整学习率a,若当前训练误差小于 SS包含3个传感器值；type表示预测行为的类型， 给定阈值，则继续使用相同的α值进行训练：反之 0表示非跌倒，1表示跌倒，2表示接近跌倒。 则减小a的值进行训练。困惑度(PPL)是用于衡量 在使用用于跌倒检测RNN进行检测之前，首 跌倒检测RNN有效性的重要指标，在每完成一次 先使用某一时刻的个体所有位置传感器数据序列组 所有AS的训练后使用式(12)进行PPL的计算， 的数据，分别将type值设置为0、1和2，构建3个 PPL值越小，说明跌倒检测RNN的表现越好；当 对应的行为判断序列组。图3给出了个体包含两个 PPL值达到系统设置阈值时，结束跌倒检测RNN 位置传感器时，从一组位置传感器数据序列$S,和 的训练。 SS2所产生的3个行为判断序列组DS1、DS2和DS3, 其中DS,对应非跌倒状态，DS,对应跌倒状态，DS对 PPL (12) I=y(xx1…x-1） 应接近跌倒状态。由此构建了包含所有位置传感器 在以上的训练算法中，所有的历史数据通过隐 所采集数据和预测行为类型的行为判断序列组，作 藏层都得到了保存，因此可以全面利用每一条数据 为用于跌倒检测RNN判断行为类型的输入，利用 信息，进而为充分发掘位置传感器数据之间的内在 RNN能抽象和保存序列中各输人单元之间的关联 联系奠定了基础，从而在一定程度上提高了跌倒检 关系，通过判断多个位置传感器之间的关联关系， 测的效果。 提高跌倒检测的准确率和适应能力。 个体1 位置传感器1 SS(XS.YS.ZS,) DS(XS.YSZS,XS.YS:.ZS:0) DSa(XS.YSL.ZSXS2YS:ZS21) 位置传感器2 iSS,(XS,,YS,ZS,) DS:(XSLYSLZSL.XS2,YSZS22) 图3位置传感器序列产生行为检测序列组DS示意图 Fig.3 DS schematic of the position sensor sequence generates the behavior detection sequence group 接着将所产生的DS1、DS2和DS作为输入，送入 type之后得到该DS整体概率。 用于跌倒检测RNN,分别计算DS,、DS,和DS,所对 P,)=xk8i） (13) 应的概率值，并进行比较，选取概率值最大的一个 DS,根据其中type的值判断该状态下用户行为的类 3基于RNN的跌倒检测系统 型。本文在图4中以DS2为例，给出使用跌倒检测 在基于RNN跌倒检测算法的基础上，本文实 RNN进行检测的示意，P,是DS,整体的概率值。 现了基于RNN的跌倒检测系统(RNNFD),并构建 EIE四PPP. 了测试平台，使用跌倒检测的标准数据集进行了测 SSSS 试，依据通用评价指标进行分析。 S$SS✉SSyp) 3.1原型系统的实现 图4对行为训练序列组进行训练的示意图 RNN的训练时间开销非常大，本文利用之前所 Fig.4 Schematic diagram of a training sequence of behavi- 实现的基于分布式神经元的大规模RNN系统)， or training sequences 在Spark平台上实现基于RNN的跌倒检测系统 行为训练序列组当前的概率P使用式(13)进 (RNNFD),通过分布式内存计算平台减少RNNFD 的训练时间开销。 行计算，其中m表示该行为训练序列组中的第m个 RNNFD的隐藏层中神经元数量是决定跌倒检 单元，每个DS的训练相互独立，处理完DS中的 测准确率的关键因素，同样也是带来大量训练时间
V(t+1) = V(t)+αeo(t)·st T −βV(t) (9) U(t+1) = U(t)+ ∑T z=0 αeh(t−z)· x T t−z −βU(t) (10) W(t+1) = W(t)+ ∑T z=0 αeh(t−z)s(t−z−1)T −βW(t) (11) 式中：β 是正规化参数，α 是学习率，T 是反向传播的 步数。当所有的 AS 组成的训练集被用于跌倒检测 RNN 训练后，调整学习率 α，若当前训练误差小于 给定阈值，则继续使用相同的 α 值进行训练；反之 则减小 α 的值进行训练。困惑度 (PPL) 是用于衡量 跌倒检测 RNN 有效性的重要指标，在每完成一次 所有 AS 的训练后使用式 (12) 进行 PPL 的计算， PPL 值越小，说明跌倒检测 RNN 的表现越好；当 PPL 值达到系统设置阈值时，结束跌倒检测 RNN 的训练。 PPL = K √∏K i=1 1 y(xi |x1 ··· xi−1) (12) 在以上的训练算法中，所有的历史数据通过隐 藏层都得到了保存，因此可以全面利用每一条数据 信息，进而为充分发掘位置传感器数据之间的内在 联系奠定了基础，从而在一定程度上提高了跌倒检 测的效果。 2.3 基于 RNN 的跌倒检测算法 在使用用于跌倒检测 RNN 判断用户行为时， 本文把跌倒检测转化为一个分类问题，通过比较用 户行为为非跌倒、跌倒、接近跌倒这 3 种状态的概 率，判断用户行为的类型。 DS(SS1,··· ,SSn,type) SS1,··· ,SSn 定义行为判断序列组 ，其中 是 n 个位置传感器数据序列组，每个 SS 包含 3 个传感器值；type 表示预测行为的类型， 0 表示非跌倒，1 表示跌倒，2 表示接近跌倒。 SS1 SS2 DS1 DS2 DS3 DS1 DS2 DS3 在使用用于跌倒检测 RNN 进行检测之前，首 先使用某一时刻的个体所有位置传感器数据序列组 的数据，分别将 type 值设置为 0、1 和 2，构建 3 个 对应的行为判断序列组。图 3 给出了个体包含两个 位置传感器时，从一组位置传感器数据序列 和 所产生的 3 个行为判断序列组 、 和 ， 其中 对应非跌倒状态， 对应跌倒状态， 对 应接近跌倒状态。由此构建了包含所有位置传感器 所采集数据和预测行为类型的行为判断序列组，作 为用于跌倒检测 RNN 判断行为类型的输入，利用 RNN 能抽象和保存序列中各输入单元之间的关联 关系，通过判断多个位置传感器之间的关联关系， 提高跌倒检测的准确率和适应能力。 DS1 DS2 DS3 DS1 DS2 DS3 DS2 DS2 接着将所产生的 、 和 作为输入，送入 用于跌倒检测 RNN，分别计算 、 和 所对 应的概率值，并进行比较，选取概率值最大的一个 DS，根据其中 type 的值判断该状态下用户行为的类 型。本文在图 4 中以 为例，给出使用跌倒检测 RNN 进行检测的示意，P7 是 整体的概率值。 行为训练序列组当前的概率 P 使用式 (13) 进 行计算，其中 m 表示该行为训练序列组中的第 m 个 单元，每个 DS 的训练相互独立，处理完 DS 中的 type 之后得到该 DS 整体概率。 P(x1 , x2 ,··· , xm) = ∏m i=1 y(xi |x1 , x2 ,··· xi−1) (13) 3 基于 RNN 的跌倒检测系统 在基于 RNN 跌倒检测算法的基础上，本文实 现了基于 RNN 的跌倒检测系统 (RNNFD)，并构建 了测试平台，使用跌倒检测的标准数据集进行了测 试，依据通用评价指标进行分析。 3.1 原型系统的实现 RNN 的训练时间开销非常大，本文利用之前所 实现的基于分布式神经元的大规模 RNN 系统[22] ， 在 Spark 平台上实现基于 RNN 的跌倒检测系统 (RNNFD)，通过分布式内存计算平台减少 RNNFD 的训练时间开销。 RNNFD 的隐藏层中神经元数量是决定跌倒检 测准确率的关键因素，同样也是带来大量训练时间 位置传感器1 位置传感器2 个体1 SS1 (XS1 ,YS1 ,ZS1 ) SS2 (XS2 ,YS2 ,ZS2 ) DS1 (XS1 ,YS1 ,ZS1 ,XS2 ,YS2 ,ZS2 ,0) DS2 (XS1 ,YS1 ,ZS1 ,XS2 ,YS2 ,ZS2 ,1) DS3 (XS1 ,YS1 ,ZS1 ,XS2 ,YS2 ,ZS2 ,2) 图 3 位置传感器序列产生行为检测序列组 DS 示意图 Fig. 3 DS schematic of the position sensor sequence generates the behavior detection sequence group P1 P2 P3 P4 P5 P6 P7 st st st st st st st XS1 YS1 ZS1 XS2 YS2 ZS2 type(1) 图 4 对行为训练序列组进行训练的示意图 Fig. 4 Schematic diagram of a training sequence of behavior training sequences 第 3 期 牛德姣，等：基于递归神经网络的跌倒检测系统 ·383·
·384· 智能系统学报 第13卷 开销的重要因素，本文将神经元的数量设置为200， 为0.1。 正规化参数B设置为10，学习率α的初始值设置 RNNFD的示意图如图5所示。 构建行为 训练与 构建行为 训练序列组 验证 训练序列组 则试集 证 检测 结果 图5 RNNFD的示意图 Fig.5 Schematic diagram of RNNFD 在训练时，RNNFD首先将训练集中的位置传 后选择概率最高的行为测试序列组，根据其中的 感器数据转化为行为训练序列组，输入后进行训 type值，获得判断的行为类型。 练；训练完全部行为训练序列组后，使用验证集中 3.2测试环境与评价指标 的数据进行验证，决定是否需要继续训练。 3.2.1测试环境 RNNFD训练完成后，可以使用测试集中的位 本文使用3台服务器搭建了RNNFD的测试环 置传感器，转换为行为测试序列组后，输入RNNFD 境，服务器的配置如表1所示。 表1 RNNFD的测试环境配置 Table 1 RNNFD test environment configuration 配置 服务器1 服务器2 服务器3 CPU与核心数 48 core 48 core 48 core 内存 64 GB 64 GB 64GB 操作系统版本 Centos 6.7 Centos 6.7 Centos 6.7 Spark版本 RDMA-Spark-0.9.1 RDMA-Spark-0.9.1 RDMA-Spark-0.9.1 网络 40 GB Infiniband 40 GB Infiniband 40 GB Infiniband 通信协议 RDMA RDMA RDMA 使用Fall adl data数据集进行测试与分析，该 练数据的内在关联，并与现有算法比较在较大规模 数据集采集了18~51岁6名女性与36名男性的 的测试集上的准确率。 42个样本，他们的年龄、身高及体重的均值与方差 表2训练集的构建 分别为(24.1±5.7)岁，(172.2±6.7)cm和(69.7±13.1)kg Table 2 Training set construction 每个样本包含16万条位置传感器和状态数据，包括 样本 年龄/岁 身高/cm 体重/kg 性别 跌倒、接近跌倒、日常活动等状态，总计672万条数 样本1 23 174 75 男 据，能满足RNNFD的训练与测试要求。 在构建训练集时，本文选取了3个男性的样 样本2 19 168 84 男 本，具体信息如表2所示，体型特征包括正常、矮胖 样本3 21 185 82 男 和高瘦3种类型，具有一定的代表性。RNNFD的 此外，从余下的39个样本中随机抽取273条传 训练集包括476858条行为训练序列组，每条行为 感器数据构建了5个测试集用于测试，共计819条 训练序列组包含4个传感器数据和1个状态信息 行为检测序列组，包含10647个输入单元。 共13个独立输入单元，整个训练集共计包含6199154 3.2.2评价指标 个输入单元。同时，随机选取了训练集中的167953 使用以下几个量化指标评测基于RNN的跌倒 条行为训练序列组构建验证集，用于调整学习率， 检测系统。 共计2183389个输入单元。虽然仅选了3个男性 TP:能够检测出的跌倒次数。 样本构建训练集，但行为训练序列组的数量已经达 FP:误判为跌倒的次数。 到47万多条，能较好满足RNNFD的训练要求，避 TN:没有误判为跌倒的次数。 免样本个数较小带来的过拟合现象；而且，仅使用 FN:没有判断出来的跌倒次数。 3个男性样本进行训练，RNNFD就能够发现行为训 准确率：PP=TP/(TP+FP)
开销的重要因素，本文将神经元的数量设置为 200， 正规化参数 β 设置为 10-6，学习率 α 的初始值设置 为 0.1。 RNNFD 的示意图如图 5 所示。 在训练时，RNNFD 首先将训练集中的位置传 感器数据转化为行为训练序列组，输入后进行训 练；训练完全部行为训练序列组后，使用验证集中 的数据进行验证，决定是否需要继续训练。 RNNFD 训练完成后，可以使用测试集中的位 置传感器，转换为行为测试序列组后，输入 RNNFD 后选择概率最高的行为测试序列组，根据其中的 type 值，获得判断的行为类型。 3.2 测试环境与评价指标 3.2.1 测试环境 本文使用 3 台服务器搭建了 RNNFD 的测试环 境，服务器的配置如表 1 所示。 使用 Fall_adl_data 数据集进行测试与分析，该 数据集采集了 18~51 岁 6 名女性与 36 名男性的 42 个样本，他们的年龄、身高及体重的均值与方差 分别为 (24.1±5.7) 岁，(172.2±6.7) cm 和 (69.7±13.1) kg， 每个样本包含 16 万条位置传感器和状态数据，包括 跌倒、接近跌倒、日常活动等状态，总计 672 万条数 据，能满足 RNNFD 的训练与测试要求。 在构建训练集时，本文选取了 3 个男性的样 本，具体信息如表 2 所示，体型特征包括正常、矮胖 和高瘦 3 种类型，具有一定的代表性。RNNFD 的 训练集包括 476 858 条行为训练序列组，每条行为 训练序列组包含 4 个传感器数据和 1 个状态信息 共 13 个独立输入单元，整个训练集共计包含 6 199 154 个输入单元。同时，随机选取了训练集中的 167 953 条行为训练序列组构建验证集，用于调整学习率， 共计 2 183 389 个输入单元。虽然仅选了 3 个男性 样本构建训练集，但行为训练序列组的数量已经达 到 47 万多条，能较好满足 RNNFD 的训练要求，避 免样本个数较小带来的过拟合现象；而且，仅使用 3 个男性样本进行训练，RNNFD 就能够发现行为训 练数据的内在关联，并与现有算法比较在较大规模 的测试集上的准确率。 此外，从余下的 39 个样本中随机抽取 273 条传 感器数据构建了 5 个测试集用于测试，共计 819 条 行为检测序列组，包含 10 647 个输入单元。 3.2.2 评价指标 使用以下几个量化指标评测基于 RNN 的跌倒 检测系统。 TP：能够检测出的跌倒次数。 FP：误判为跌倒的次数。 TN：没有误判为跌倒的次数。 FN：没有判断出来的跌倒次数。 准确率： PP = TP/(TP+FP) 表 1 RNNFD 的测试环境配置 Table 1 RNNFD test environment configuration 配置 服务器 1 服务器 2 服务器 3 CPU 与核心数 48 core 48 core 48 core 内存 64 GB 64 GB 64 GB 操作系统版本 Centos 6.7 Centos 6.7 Centos 6.7 Spark 版本 RDMA-Spark-0.9.1 RDMA-Spark-0.9.1 RDMA-Spark-0.9.1 网络 40 GB Infiniband 40 GB Infiniband 40 GB Infiniband 通信协议 RDMA RDMA RDMA 表 2 训练集的构建 Table 2 Training set construction 样本 年龄/岁 身高/cm 体重/kg 性别 样本 1 23 174 75 男 样本 2 19 168 84 男 样本 3 21 185 82 男 RNNFD 䃙㏯䯲 侸䃭䯲 Ჰᐦ㵸ͦ 䃙㏯Ꮋ݃㏰ Ჰᐦ㵸ͦ 䃙㏯Ꮋ݃㏰ 䃙㏯̺ 侸䃭 ᷬ≷ ≷䄁䯲 ᷬ≷ ㏿ 图 5 RNNFD 的示意图 Fig. 5 Schematic diagram of RNNFD ·384· 智 能 系 统 学 报 第 13 卷
第3期 牛德姣，等：基于递归神经网络的跌倒检测系统 ·385· 召回率：R=TP/TP+FN) 表4不同跌倒检测算法的比较 准确率与召回率是用在信息检索、分类、识别 Table 4 Comparison of different falling detection al- 等领域的基本指标，用来评价结果的质量：准确率 gorithms 用来衡量一个系统的查准率，召回率用来衡量一个 算法 FY 系统的查全率。 LIET 79 F=(Y+1)PPxR Y2(PP+R) CHEN ETU31 83 式中：y是参数，PP与R分别是准确率与召回率，本 RNNFD 90 文取y=1,其值此时表示为F=(2×PP×R)/PP+R)。 从表4的结果可以发现，RNNFD相比文献 因此F值综合了准确率与召回率，是准确率与召回 [13]和[14]中的算法，能有效地提高F值，达到了 率的调和平均值，也是综合这二者指标的评估指 90%,相对文献[14]的F值提高了12%，相对文献 标，用于综合反映整体的指标；F值越高说明跌倒检 [13]的F值提高了7%。这说明，RNNFD相比现有 测方法越有效。 的跌倒检测算法具有更高的查准率与查全率。同时 33测试与分析 也说明，相比于其他算法RNNFD能够更加有效地 测试RNNFD检测跌倒行为的准确性并把结果 发现和抽象数据的内在关联，能更好地实现跌倒行 与相关算法进行比较，同时测试RNNFD检测接近 为的检测。 跌倒状态的结果。 3.3.3检测接近跌倒的结果 3.3.1检测跌倒行为的效果 再测试RNNFD识别接近跌倒行为检测序列组 使用5个测试集测试RNNFD识别跌倒行为的 效果，同样也使用5个测试集，测试结果如表5所示。 效果，结果如表3所示。 表5接近跌倒的检测情况 表3 RNNFD检测跌倒行为的测试结果 Table 5 The detection of near falls Table 3 RNNFD test results for falls behavior 总行为检测 接近跌倒行为预测正确准确率 测试集 TP FP TN FN PP/% R/% F/ 数据集 序列数组 检测序列数组 条数 % 测试集1 45310 5 93.75 90 91.84 测试集1 189 26 22 84.46 测试集2 131 9 2 92.86 87 89.66 测试集2 75 5 100 测试集3 20 218 2 90.1 90.1 90.1 测试集3 126 10 10 100 测试集4 43568 85.58 84.31 86.87 测试集4 126 30 24 80 测试集5 503217 94.54 90.91 92.59 测试集5 243 P f 100 总计 17114642492.4387.69 90 总计 819 79 69 87.34 从实验结果可以发现，RNNFD能保持较高的 从表5的结果中可以发现，RNNFD能有效地 准确率与F值，准确率的平均值在92%左右，F值 识别出接近跌倒的行为检测序列组，平均准确率达 的平均值在90%左右。同时，还可以通过增加隐藏 到了87.3%，这表明RNNFD在进行接近跌倒的行 层中神经元数量的方式，进一步提高识别跌倒行为 为检测时，也表现出了很强的适应性，能够有效地 的效果：此外，也可以通过增加训练样本的方式，提 高RNNFD的检测效果。这表明，RNNFD能在仅 利用检测的数据并且最大可能地发掘状态信息之间 使用少量个体样本数据进行训练时，就能在大其 的内在关联性；同时也说明，RNNFD具有比其他跌 10倍的测试数据集上取得较高的准确性，验证了 倒检测系统更强的检测能力，能识别出具有很大危 RNNFD具有很强的检测能力；同时在训练时仅使 险性同时也是很难区分出的接近跌倒状态，为提前 用了19~23岁的男性样本，但仍然能检验出测试集 采取相应防护措施提供了基础，从而能有效减少跌 中的18~51岁的女性和男性行为，说明RNNFD能 倒带来的危害。 有效地发掘行为训练序列组中4个传感器数据和 4结束语 1个状态信息的内在关联，具有良好的适应能力。 3.3.2与其他跌倒检测算法的比较 本文将RNN引入到跌倒检测的研究中，利用 本文将RNNFD与文献[13-14]中的跌倒检测算 RNN能发现和抽象序列中内在关联关系的特性，通 法进行比较，相应的F值如表4所示。 过发掘位置传感器数据之间内在关联关系，这些内
召回率： R= TP/(TP+FN) 准确率与召回率是用在信息检索、分类、识别 等领域的基本指标，用来评价结果的质量；准确率 用来衡量一个系统的查准率，召回率用来衡量一个 系统的查全率。 Fγ = (γ 2 +1)PP×R γ 2 (PP+R) γ γ = 1 F = (2×PP×R)/(PP+R) 式中： 是参数，PP 与 R 分别是准确率与召回率， 本 文取 ，其值此时表示为 。 因此 F 值综合了准确率与召回率，是准确率与召回 率的调和平均值，也是综合这二者指标的评估指 标，用于综合反映整体的指标；F 值越高说明跌倒检 测方法越有效。 3.3 测试与分析 测试 RNNFD 检测跌倒行为的准确性并把结果 与相关算法进行比较，同时测试 RNNFD 检测接近 跌倒状态的结果。 3.3.1 检测跌倒行为的效果 使用 5 个测试集测试 RNNFD 识别跌倒行为的 效果，结果如表 3 所示。 从实验结果可以发现，RNNFD 能保持较高的 准确率与 F 值，准确率的平均值在 92% 左右，F 值 的平均值在 90% 左右。同时，还可以通过增加隐藏 层中神经元数量的方式，进一步提高识别跌倒行为 的效果；此外，也可以通过增加训练样本的方式，提 高 RNNFD 的检测效果。这表明，RNNFD 能在仅 使用少量个体样本数据进行训练时，就能在大其 10 倍的测试数据集上取得较高的准确性，验证了 RNNFD 具有很强的检测能力；同时在训练时仅使 用了 19~23 岁的男性样本，但仍然能检验出测试集 中的 18~51 岁的女性和男性行为，说明 RNNFD 能 有效地发掘行为训练序列组中 4 个传感器数据和 1 个状态信息的内在关联，具有良好的适应能力。 3.3.2 与其他跌倒检测算法的比较 本文将 RNNFD 与文献[13-14]中的跌倒检测算 法进行比较，相应的 F 值如表 4 所示。 从表 4 的结果可以发现，RNNFD 相比文献 [13]和[14]中的算法，能有效地提高 F 值，达到了 90%，相对文献[14]的 F 值提高了 12%，相对文献 [13]的 F 值提高了 7%。这说明，RNNFD 相比现有 的跌倒检测算法具有更高的查准率与查全率。同时 也说明，相比于其他算法 RNNFD 能够更加有效地 发现和抽象数据的内在关联，能更好地实现跌倒行 为的检测。 3.3.3 检测接近跌倒的结果 再测试 RNNFD 识别接近跌倒行为检测序列组 效果，同样也使用 5 个测试集，测试结果如表 5 所示。 从表 5 的结果中可以发现，RNNFD 能有效地 识别出接近跌倒的行为检测序列组，平均准确率达 到了 87.3%，这表明 RNNFD 在进行接近跌倒的行 为检测时，也表现出了很强的适应性，能够有效地 利用检测的数据并且最大可能地发掘状态信息之间 的内在关联性；同时也说明，RNNFD 具有比其他跌 倒检测系统更强的检测能力，能识别出具有很大危 险性同时也是很难区分出的接近跌倒状态，为提前 采取相应防护措施提供了基础，从而能有效减少跌 倒带来的危害。 4 结束语 本文将 RNN 引入到跌倒检测的研究中，利用 RNN 能发现和抽象序列中内在关联关系的特性，通 过发掘位置传感器数据之间内在关联关系，这些内 表 3 RNNFD 检测跌倒行为的测试结果 Table 3 RNNFD test results for falls behavior 测试集 TP FP TN FN PP/% R/% F/% 测试集 1 45 3 10 5 93.75 90 91.84 测试集 2 13 1 9 2 92.86 87 89.66 测试集 3 20 2 18 2 90.1 90.1 90.1 测试集 4 43 5 6 8 85.58 84.31 86.87 测试集 5 50 3 21 7 94.54 90.91 92.59 总计 171 14 64 24 92.43 87.69 90 表 4 不同跌倒检测算法的比较 Table 4 Comparison of different falling detection algorithms 算法 F/% LI ET[14] 79 CHEN ET[13] 83 RNNFD 90 表 5 接近跌倒的检测情况 Table 5 The detection of near falls 数据集 总行为检测 序列数组 接近跌倒行为 检测序列数组 预测正确 条数 准确率 /% 测试集 1 189 26 22 84.46 测试集 2 75 5 5 100 测试集 3 126 10 10 100 测试集 4 126 30 24 80 测试集 5 243 8 8 100 总计 819 79 69 87.34 第 3 期 牛德姣，等：基于递归神经网络的跌倒检测系统 ·385·
·386· 智能系统学报 第13卷 在关联关系是难以用现有的方法准确表达出来的， 2013:1-4 通过以上方法提高跌倒检测的准确性。在分析跌倒 [8]Duan K B,Keerthi SS.Which is the best multiclass SVM 检测要求的基础上，针对RNN的特点，设计了序列 method?An empirical study[M]//Multiple Classifier Sys- 化的传感器数据、RNN训练与检测输入表示方法， tems.Springer Berlin Heidelberg,2005:278-285 给出了用于跌倒检测的RNN训练算法以及基于 [9]BREIMAN L.Random forest[J].Machine learning,2001, RNN的跌倒检测算法，将跌倒检测转换为输入序列 45(1):5-32. [10]SZ Erdogan,TT Bilgin,J Cho.Fall-down detection by us- 的分类问题；并在本文前期所实现的基于分布式神 ing K-nearest neighbor algorithm on WSN datalC]// 经元大规模RNN系统的基础上，在Spark平台上实 GLOBECOM Workshops.Houston,USA,2011: 现了基于RNN的跌倒检测系统，使用Fall adl data 2054-2058. 数据集进行了检测效果和对接近跌倒数据检测能力 [11]WU G.XUE S.Portable preimpact fall-down detector with 的测试与分析，验证了RNNFD能有效提高跌倒检 inertial sensors[J].IEEE Transactions on Neural Systems 测的准确率，F值相比现有跌倒检测系统能提高 Rehabilitation Engineering,2008,16(2):178-183. 12%和7%，并且能够检测出接近跌倒行为。 [12]OJETOLA O,GAURA E,BRUSEY J.Data set for fall- 下一步将进一步优化用于跌倒检测RNN down events and daily activities from inertial sensors 的训练方法，同时考虑使用LSTM减少时间开销，提 [C/ACM Multimedia Systems Conference.Oregon,USA, 2015:243-248. 高准确率。 [13]CHEN J,KWONG K,CHANG D,et al.Wearable sensors 参考文献： for reliable fall-down detection[Cl//International Confer- ence of the IEEE,NEW YORK,USA,2006:3551-3554. [1]吴天吴.基于3轴加速度传感器及陀螺仪的老年人摔倒 [14]LI Q,STANKOVIC J A,HANSON M A,et al.Accurate 识别D1.北京：北京工业大学，2013：2-3 fast fall-down detection using gyroscopes and acceleromet- WU Tianhao.Identification of old people's fall-downing er-derived posture information[C]//Sixth International based on 3-axis acceleration sensor and gyroscope[D]. Workshop on Wearable and Implantable Body Sensor Net- Beijing,China:Beijing University of Technology,2013: works.CA,USA,2009:138-143. 2-3. [15]VAIDEHI V,GANAPATHY K,MOHAN K,et al.Video [2]ROUGIER C,MEUNIER J,ST-ARNAUD A.3D head based automatic fall-down detection in indoor environ- tracking for fall-down detection using a single calibrated ment[Cl//International Conference on Recent Trends in In- camera[J].Image and Vision Computing,2013,31(3): formation Technology.Chennai,INDIA,2011:1016- 246-254 1020. [3]MUBASHIR M,SHAO L,SEED L.A survey on fall-down [16]BOSCH-JORGE M,SANCHEZ-SALMERON A J, detection:Principles and approaches[J].Neurocomputing, ANGEL VALERA,et al.Fall-down detection based on the 2013,100(2):144152, gravity vector using a wide-angle camera[J].Expert Sys- [4]MATHIE M J,BASILAKIS J,CELLER B G.A system for tems with Applications,2014,41(17):7980-7986. [1刀佟丽娜，宋全军，葛运建.基于时序分析的人体摔倒预测 monitoring posture and physical activity using acceleromet- 方法).模式识别与人工智能，2012,25(2少：273-279 ers[Cl/Interational Conference of the IEEE Engineering in TONG Linna,SONG Quanjun,GE Yunjian.Time series Medicine and Biology Society.Istanbul,Turkey,2001: analysis based human fall-down prediction method[J].Pat- 3654-3657 tern Recognition&Artificial Intelligence,2012,25(2): [5]卢先领，王洪斌，王莹莹，等.一种基于加速度传感器的人 273-279. 体跌倒识别方法[].计算机应用研究，2013,30(4)： [18]GIBSON R M,AMIRA A,CASASECA-DE-LA- 1109-1111 HIGUERA P,et al.An efficient user-customisable mul- LU Xianling,WANG Hongbin,WANG Yingying,et al.Hu- tiresolution classifier fall-down detection and diagnostic man fall-downing detection based on accelerometer[J]. system[C]//International Conference on Microelectronics. Computer Application Research,2013,30(4):1109-1111. Changchun,China,2015:228-231. [6]FANG-YIE LEU,CHIA-YIN KO,YI-CHEN LIN,et al. [19]LUO D.LUO H.SCHOOL I.Fall-down detection al- Smart Sensors Networks[M].United Kingdom:Mara Con- gorithm based on random forest[J].Journal of computer ner,2017:205-237. applications,.2015,35(11)3157-3160. [7]CHEN L,MA H T,LIU S,et al.Posture estimation by [20]胡二雷，冯瑞.基于深度学习的图像检索系统).计算机 Bayesian Network with Belief Propagation[C]//TENCON 系统应用，2017,26(3)：8-19. 2013-2013 IEEE Region 10 Conference.Xi'an,China, HU Erlei,FENG Rui.Image retrieval system based on
在关联关系是难以用现有的方法准确表达出来的， 通过以上方法提高跌倒检测的准确性。在分析跌倒 检测要求的基础上，针对 RNN 的特点，设计了序列 化的传感器数据、RNN 训练与检测输入表示方法， 给出了用于跌倒检测的 RNN 训练算法以及基于 RNN 的跌倒检测算法，将跌倒检测转换为输入序列 的分类问题；并在本文前期所实现的基于分布式神 经元大规模 RNN 系统的基础上，在 Spark 平台上实 现了基于 RNN 的跌倒检测系统，使用 Fall_adl_data 数据集进行了检测效果和对接近跌倒数据检测能力 的测试与分析，验证了 RNNFD 能有效提高跌倒检 测的准确率，F 值相比现有跌倒检测系统能提高 12% 和 7%，并且能够检测出接近跌倒行为。 下一步将进一步优化用于跌倒检测 RNN 的训练方法，同时考虑使用 LSTM 减少时间开销，提 高准确率。 参考文献： 吴天昊. 基于 3 轴加速度传感器及陀螺仪的老年人摔倒 识别[D]. 北京: 北京工业大学, 2013: 2–3. WU Tianhao. Identification of old people 's fall-downing based on 3-axis acceleration sensor and gyroscope[D]. Beijing, China: Beijing University of Technology, 2013: 2–3. [1] ROUGIER C, MEUNIER J, ST-ARNAUD A. 3D head tracking for fall-down detection using a single calibrated camera[J]. Image and Vision Computing, 2013, 31(3): 246–254. [2] MUBASHIR M, SHAO L, SEED L. A survey on fall-down detection: Principles and approaches[J]. Neurocomputing, 2013, 100(2): 144–152. [3] MATHIE M J, BASILAKIS J, CELLER B G. A system for monitoring posture and physical activity using accelerometers[C]//International Conference of the IEEE Engineering in Medicine and Biology Society. Istanbul, Turkey, 2001: 3654–3657. [4] 卢先领, 王洪斌, 王莹莹, 等. 一种基于加速度传感器的人 体跌倒识别方法[J]. 计算机应用研究, 2013, 30(4): 1109–1111. LU Xianling, WANG Hongbin, WANG Yingying, et al. Human fall-downing detection based on accelerometer[J]. Computer Application Research, 2013, 30(4): 1109–1111. [5] FANG-YIE LEU, CHIA-YIN KO, YI-CHEN LIN, et al. Smart Sensors Networks[M]. United Kingdom: Mara Conner, 2017: 205–237. [6] CHEN L, MA H T, LIU S, et al. Posture estimation by Bayesian Network with Belief Propagation[C]//TENCON 2013-2013 IEEE Region 10 Conference. Xi’an, China, [7] 2013: 1–4. Duan K B, Keerthi S S. Which is the best multiclass SVM method? An empirical study[M]// Multiple Classifier Systems. Springer Berlin Heidelberg, 2005:278–285. [8] BREIMAN L. Random forest[J]. Machine learning, 2001, 45(1): 5–32. [9] SZ Erdogan, TT Bilgin, J Cho. Fall-down detection by using K-nearest neighbor algorithm on WSN data[C]// GLOBECOM Workshops. Houston, USA, 2011: 2054–2058. [10] WU G, XUE S. Portable preimpact fall-down detector with inertial sensors[J]. IEEE Transactions on Neural Systems & Rehabilitation Engineering, 2008, 16(2): 178–183. [11] OJETOLA O, GAURA E, BRUSEY J. Data set for falldown events and daily activities from inertial sensors [C]//ACM Multimedia Systems Conference. Oregon, USA, 2015: 243–248. [12] CHEN J, KWONG K, CHANG D, et al. Wearable sensors for reliable fall-down detection[C]//International Conference of the IEEE, NEW YORK, USA, 2006: 3551–3554. [13] LI Q, STANKOVIC J A, HANSON M A, et al. Accurate fast fall-down detection using gyroscopes and accelerometer-derived posture information[C]//Sixth International Workshop on Wearable and Implantable Body Sensor Networks. CA, USA, 2009: 138–143. [14] VAIDEHI V, GANAPATHY K, MOHAN K, et al. Video based automatic fall-down detection in indoor environment[C]// International Conference on Recent Trends in Information Technology. Chennai, INDIA, 2011: 1016– 1020. [15] BOSCH-JORGE M, SÁNCHEZ-SALMERÓN A J, ÁNGEL VALERA, et al. Fall-down detection based on the gravity vector using a wide-angle camera[J]. Expert Systems with Applications, 2014, 41(17): 7980–7986. [16] 佟丽娜, 宋全军, 葛运建. 基于时序分析的人体摔倒预测 方法[J]. 模式识别与人工智能, 2012, 25(2): 273–279. TONG Linna, SONG Quanjun, GE Yunjian. Time series analysis based human fall-down prediction method[J]. Pattern Recognition & Artificial Intelligence, 2012, 25(2): 273–279. [17] GIBSON R M, AMIRA A, CASASECA-DE-LAHIGUERA P, et al. An efficient user-customisable multiresolution classifier fall-down detection and diagnostic system[C]//International Conference on Microelectronics. Changchun, China, 2015: 228–231. [18] LUO D, LUO H, SCHOOL I. Fall-down detection algorithm based on random forest[J]. Journal of computer applications, 2015, 35(11): 3157–3160. [19] 胡二雷, 冯瑞. 基于深度学习的图像检索系统[J]. 计算机 系统应用, 2017, 26(3): 8–19. HU Erlei, FENG Rui. Image retrieval system based on [20] ·386· 智 能 系 统 学 报 第 13 卷
第3期 牛德姣，等：基于递归神经网络的跌倒检测系统 ·387· deep learning[J].Computer systems and applications,2017, [30]ZHANG H,LI J,JI Y,et al.A character-level sequence-to- 26(38-19 sequence method for subtitle learning[C]//International [2]焦李成，杨淑媛，刘芳，等.神经网络七十年：回顾与展望 Conference on Industrial Informatics.Poitiers,France, ).计算机学报，2016,39(8)：1697-1716 2016:780-783 JIAO Licheng,YANG Shuyuan,LIU Fang,et al.Seventy [31]SHETTY R,LAAKSONEN J.Video captioning with re- years beyond neural networks:retrospect and prospect[J]. current networks based on frame-and video-level features Chinese Journal of Computers,2016,39(8):1697-1716. and visual content classification [C].Santiago,ICCV work- [22]DEJIAO NIU,RUI XUE,TAO CAI,HAI LI,EFFAH shop,2015. KINGSLEY.The new large-scale RNNLM system based [32]MALINOWSKI M.ROHRBACH M.FRITZ M.Ask your on distributed neuron[C]//Parallel and Distributed Pro- neurons:a deep learning approach to visual question an- cessing Symposium Workshops.Florida,USA,2017: swering[J].International Journal of Computer Vision, 433-436. 2017,125(1-3):110-135. [23]YONG Z,MENG J E,VENKATESAN R,et al.Sentiment [33]姜春福，余跃庆.基于状态延迟动态递归神经网络的机 classification using comprehensive attention recurrent 器人动态自适应跟踪辨识J几.自动化学报，2003,29(5)： models[C]//International Joint Conference on Neural Net- 741-747. works.Vancouver,Canada,2016:1562-1569. JIANG Chun-Fu,YU Yue-Qing.Sdidrnn based dynamical [24]CHO K,VAN MERRIENBOER B,GULCEHRE C,et al. adaptive tracking identification of robot manipulators]. Learning phrase representations using RNN Encoder-De- Proceedings of the CSU-EPSA.2003.29(5):741-747. coder for statistical machine translation[C]//Conference on [34]MIKOLOV T A.Statistical language models based on Empirical Methods in Natural Language Processing.Doha. neural networks[D].Brno,Czech Republic:Brno Uni- Qatar,2014:1724-1734. versity of Technology,2012:27-43. [25)张舸，张鹏远，潘接林，等.基于递归神经网络的语音识 作者简介： 别快速解码算法[J].电子与信息学报，2017,39(4)： 牛德姣，女，1978年生，副教授， 930-937. 博士，主要研究方向为神经网络、新型 ZHANG Ge,ZHANG Pengyuan,PAN Jielin,et al.Fast 非易失存储器。发表SCI和EI检素 decoding algorithm of speech recognition based on recurs- 论文10余篇。 ive neural network[J].Journal of Electronics Information Technology,.2017,39(4):930-937. 26]MEI H,BANSAL M,WALTER M R.Coherent dialogue with attention-based language models[Cl//Proceedings of 刘亚文，女，1994年生，硕士研究 the Thirty-First AAAI Conference on Artificial Intelli- 生，主要研究方向为神经网络、大数据 gence.San Francisco,America,2017:3252-3258. 计算。 [27]BAI J,WU Y.SAE-RNN Deep learning for RGB-D based object recognition[C]//International Conference on Intelli- gent Computing.Odisha,India.2014:235-240. [28]FAN H,LING H.Sanet:structure-aware network for visu- al tracking[C]//Computer Vision and Pattern Recognition 蔡涛，男，1976年生，副教授，博 Workshops.Honolulu,USA,2017:2217-2224. 土，CC℉会员，主要研究方向为面向大 [29蔡政.面向社交网络的GF视频情感标注与分析技术研 数据人工智能和新型非易失存储器。 究D1福建：厦门大学，2016：10-15. 发表SCI和EI检索论文30余篇。 CAI Zheng.Research on the emotional annotation and ana- lysis of GIF video for social network[D].Fujian:Xiamen University,2016:10-15
deep learning[J]. Computer systems and applications, 2017, 26(3): 8–19. 焦李成, 杨淑媛, 刘芳, 等. 神经网络七十年: 回顾与展望 [J]. 计算机学报, 2016, 39(8): 1697–1716. JIAO Licheng, YANG Shuyuan, LIU Fang, et al. Seventy years beyond neural networks: retrospect and prospect[J]. Chinese Journal of Computers, 2016, 39(8): 1697–1716. [21] DEJIAO NIU, RUI XUE, TAO CAI, HAI LI, EFFAH KINGSLEY. The new large-scale RNNLM system based on distributed neuron[C]//Parallel and Distributed Processing Symposium Workshops. Florida, USA, 2017: 433–436. [22] YONG Z, MENG J E, VENKATESAN R, et al. Sentiment classification using comprehensive attention recurrent models[C]//International Joint Conference on Neural Networks. Vancouver, Canada, 2016: 1562–1569. [23] CHO K, VAN MERRIENBOER B, GULCEHRE C, et al. Learning phrase representations using RNN Encoder-Decoder for statistical machine translation[C]//Conference on Empirical Methods in Natural Language Processing. Doha, Qatar, 2014: 1724–1734. [24] 张舸, 张鹏远, 潘接林, 等. 基于递归神经网络的语音识 别快速解码算法[J]. 电子与信息学报, 2017, 39(4): 930–937. ZHANG Ge, ZHANG Pengyuan, PAN Jielin, et al. Fast decoding algorithm of speech recognition based on recursive neural network[J]. Journal of Electronics Information Technology, 2017, 39(4): 930–937. [25] MEI H, BANSAL M, WALTER M R. Coherent dialogue with attention-based language models[C]//Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence. San Francisco, America, 2017: 3252–3258. [26] BAI J, WU Y. SAE-RNN Deep learning for RGB-D based object recognition[C]//International Conference on Intelligent Computing. Odisha, India, 2014: 235–240. [27] FAN H, LING H. Sanet: structure-aware network for visual tracking[C]//Computer Vision and Pattern Recognition Workshops. Honolulu, USA, 2017: 2217–2224. [28] 蔡政. 面向社交网络的 GIF 视频情感标注与分析技术研 究[D]. 福建: 厦门大学, 2016: 10–15. CAI Zheng. Research on the emotional annotation and analysis of GIF video for social network[D]. Fujian: Xiamen University, 2016: 10–15. [29] ZHANG H, LI J, JI Y, et al. A character-level sequence-tosequence method for subtitle learning[C]//International Conference on Industrial Informatics. Poitiers ,France, 2016: 780–783. [30] SHETTY R, LAAKSONEN J. Video captioning with recurrent networks based on frame- and video-level features and visual content classification [C]. Santiago, ICCV workshop, 2015. [31] MALINOWSKI M, ROHRBACH M, FRITZ M. Ask your neurons: a deep learning approach to visual question answering[J]. International Journal of Computer Vision, 2017, 125(1—3): 110–135. [32] 姜春福, 余跃庆. 基于状态延迟动态递归神经网络的机 器人动态自适应跟踪辨识[J]. 自动化学报, 2003, 29(5): 741–747. JIANG Chun-Fu, YU Yue-Qing. Sdidrnn based dynamical adaptive tracking identification of robot manipulators[J]. Proceedings of the CSU-EPSA, 2003, 29(5): 741–747. [33] MIKOLOV T A. Statistical language models based on neural networks[D]. Brno, Czech Republic: Brno University of Technology, 2012: 27–43. [34] 作者简介： 牛德姣，女，1978 年生，副教授， 博士，主要研究方向为神经网络、新型 非易失存储器。发表 SCI 和 EI 检索 论文 10 余篇。 刘亚文，女，1994 年生，硕士研究 生，主要研究方向为神经网络、大数据 计算。 蔡涛，男，1976 年生，副教授，博 士，CCF 会员，主要研究方向为面向大 数据人工智能和新型非易失存储器。 发表 SCI 和 EI 检索论文 30 余篇。 第 3 期 牛德姣，等：基于递归神经网络的跌倒检测系统 ·387·