《工程科学学报》：一种轻量型人体行为识别学习模型.pdf_大学文库

《工程科学学报》录用稿，htps:/doi.org/10.13374/i,issn2095-9389.2021.03.18.001©北京科技大学2020 工程科学学报 DOI: 111 Equation Chapter1 Section1一种轻量型人体行为识别学习模型南静”，建中华)，宁传峰”，代伟网 1)中国矿业大学信息与控制工程学院，徐州221116 ☒通信作者，E-mail:weidai@cumt.edu.cn 版稿摘要过去几十年，基于智能手机的人体行为识别已在智能建筑、医疗保健以及痒事等多个领域发挥了重要作用. 但智能手机CPU、存储空间等资源十分有限，因此开发一种轻量型人体行为识别学习模型成为一个研究热点.为了解决上述问题，本文提出一种基于近邻成分分析Neighbourhood Component Analysis,.NCA),L2正则化和随机配置网络(Stochastic configuration networks,.SCNs)的轻量型体行为换别学习模型.首先，针对人体行为特征集维数过高且可分性差的问题，利用NCA从特征集中选择高相关性特征手集，进而提高模型建模计算过程的轻量性和识别精度.其次，针对SCNs隐含层节点过多时容易出现过拟合的向题采用L,正则化方法增强SCNs的泛化能力，同时利用监督机制约束产生隐含层参数的方法，极大地提高了SCS模型的轻量性.最后，将所提NCA-L2-SCNs学习模型在 UCI HAR特征集上进行验证，实验结果表明，相比于其他模型，本文所提轻量型模型对于人体行为识别具有更好的识别精度和更快的建模速度关键词人体行为识别：智能手机：近邻成分分析：随机配置网络：轻量型分类号TP391.4 A lightweight human activity recognition learning model NAN Jing',JIAN Zhong-hud议，NIGN Chuan-feng,DAWe✉ 1)School of information and conrol engineering,China University of mining and technology,Xuzhou,221116,China Corresponding author,E-mail:weidai@cumt.edu.cn ABSTRACT In the past few decades,smartphone-based human activity recognition research has played an important role in many fields,including smart buildings,healthcare and the military.The CPU and storage space of smart phones,however,are very limited,so developing a lightweight human activity recognition leamning model has become a research focus and hot spot in this field.In order to address the abovementioned problems,this paper proposes a lightweight human activity recognition learning model based on near neighbor component analysis (NCA),L2 regularization and stochastic configuration networks(SCNs).In the proposed model,firstly,aiming at the problem that human activity data set exhibits high dimension and poor separability,NCA is used to select a subset of highly relevant data from the data set to improve the lightness of calculation by the learning algorithm in the modeling process and the recognition accuracy of the established model. Secondly,to prevent the occurrence of overfitting when there are too many hidden layer nodes in SCNs,L2 regularization

工程科学学报 DOI: 111Equation Chapter 1 Section 1一种轻量型人体行为识别学习模型南静 1)，建中华 1)，宁传峰 1)，代伟 1) 1) 中国矿业大学信息与控制工程学院，徐州 221116  通信作者，E-mail: weidai@cumt.edu.cn 摘要过去几十年, 基于智能手机的人体行为识别已在智能建筑、医疗保健以及军事等多个领域发挥了重要作用. 但智能手机 CPU、存储空间等资源十分有限, 因此开发一种轻量型人体行为识别学习模型成为一个研究热点. 为了解决上述问题，本文提出一种基于近邻成分分析(Neighbourhood Component Analysis, NCA), L2正则化和随机配置网络(Stochastic configuration networks, SCNs)的轻量型人体行为识别学习模型. 首先, 针对人体行为特征集维数过高且可分性差的问题, 利用 NCA 从特征集中选择高相关性特征子集, 进而提高模型建模计算过程的轻量性和识别精度. 其次, 针对 SCNs 隐含层节点过多时容易出现过拟合的问题，采用 L2正则化方法增强 SCNs 的泛化能力, 同时利用监督机制约束产生隐含层参数的方法, 极大地提高了 SCNs 模型的轻量性. 最后, 将所提 NCA-L2-SCNs 学习模型在 UCI HAR 特征集上进行验证, 实验结果表明, 相比于其他模型, 本文所提轻量型模型对于人体行为识别具有更好的识别精度和更快的建模速度. 关键词人体行为识别；智能手机；近邻成分分析；随机配置网络；轻量型分类号 TP391.4 A lightweight human activity recognition learning model NAN Jing1) , JIAN Zhong-hua1) , NIGN Chuan-feng1) , DAI Wei2)  1) School of information and control engineering, China University of mining and technology, Xuzhou, 221116, China  Corresponding author, E-mail: weidai@cumt.edu.cn ABSTRACT In the past few decades, smartphone-based human activity recognition research has played an important role in many fields, including smart buildings, healthcare and the military. The CPU and storage space of smart phones, however, are very limited, so developing a lightweight human activity recognition learning model has become a research focus and hot spot in this field. In order to address the abovementioned problems, this paper proposes a lightweight human activity recognition learning model based on near neighbor component analysis (NCA), L2 regularization and stochastic configuration networks (SCNs). In the proposed model, firstly, aiming at the problem that human activity data set exhibits high dimension and poor separability, NCA is used to select a subset of highly relevant data from the data set to improve the lightness of calculation by the learning algorithm in the modeling process and the recognition accuracy of the established model. Secondly, to prevent the occurrence of overfitting when there are too many hidden layer nodes in SCNs, L2 regularization 《工程科学学报》录用稿，https://doi.org/10.13374/j.issn2095-9389.2021.03.18.001 ©北京科技大学 2020 录用稿件，非最终出版稿

method is adopted to enhance the generalization ability of SCNs.At the'same time,the method of using the supervision mechanism to restrict the generation of hidden layer parameters greatly improves the lightness of the SCNs model.Finally. the proposed learning model and other learning models are verified experimentally on UCI human activity recognition dataset.The experimental results show that,compared with SCNs,the proposed L2-SCNs model reduces the lightness of the number of parameters by 20%and helps improve the accuracy of the model.The introduction of the NCA method has greatly facilitated the recognition accuracy and lightness (modeling time)of the L2-SCNs model,increasing by 3.41%and 70.24% respectively.In addition,compared with other state-of-the-art models such as support vector machine and long short memory network,the proposed model achieves the best recognition accuracy of 97.48%in the shortest time.To sum up,the model proposed in this paper is a lightweight human activity recognition model with better recognition accuracy and faster modeling speed KEY WORDS human activity recognition;smartphone;neighborhood components analysis,stochastic configuration networks;lightweight 随着微电子技术和计算机技术的快速发展，人体行为识别(Human activity recognition,.HAR)已经成为普适计算中一个重要研究方向.其在医疗保健、智能建筑和军事等领域发挥着极其重要的作用.例如：在医疗保健中，医生可以通过HAR系统对病人进行连续的观察，然后给出诊断和治疗方案)，进而提高医疗资源的利用率：在智能建筑中，物业人员可以利用居住者的行为信息来提高环境舒适度和实现能源的高效使用6在军事上，通过对军人体能训练的连续监测，可以防止由于过度疲劳而导致意外损伤) 事实上，人体行为识别研究的源头可以追潮到20世纪90年代末倒，发展至今日，其主要分为基于视频和基于可穿戴传感器这两大方向.基于视来织别人体行为具有一定的破坏性、成本昂贵和容易受环境影响（如：物体遮挡）等缺点，并且某些情况下容易侵犯用户的隐私.而基于可穿戴传感器的识别提供了一种快速、低成本、隐私性好且不易受环境影响的替代方案.文[9]首先使用可穿戴传感器收集人体行数据，其次分别利角随桃森林(Random Forests,RF)和朴素贝叶斯模型作为行为分类器.实验结果表明，随机森林模型实现最好的92%识别精度：文[10]将高斯随机投影方法引入极限学习机(Extreme Learning Machine,ELM)隐含层参数分配中，以加强模型的多样性，然后使用包含三轴加速度和陀螺仪传感器数据的2个真实数据集进行人体行为识别研究，结果表明该分类器在两个数据集上分别实现了9⑦，3%和98.88%的识别精度.由此可知，多传感器数据的使用有助于提高人体行为识别的识别性能但上述可穿戴传感器存在价格昂贵、部署繁琐等难题，不利于 HAR的广泛实际应用. 智能手机因内置众多传感器、价格低廉和普适性等特点成为它们的替代品，并吸引许多科研工作者开展基于智能手机的人体行为识别研究.由于智能手机传感器数据含有噪声，因此为分类模型提取一组鲁棒性特征是非常有必要的.而时频域特征是一种机器学习中广泛使用的鲁棒性特征.其中，时域特征包括评均值最大值和最小值等，它们一般被用来区分lying和standing等简单行为：而频域特征是指通过蒋原始数据转化到频域再提取的特征，它包括向量夹角和最大频率分量等.由于频域特征注重局部的数据变化，因此被用来区分模态相近的行为.但是，在时频域特征中往往含有一些不利于建模的特征，故需要进行特征选择.文[ll]首先使用主成分分析(Principal component analysis,PCA)从时频域特征集选择最优的特征子集，其次提出了隐马尔科夫模型(Continuous Hidden Markov Model,HMM)和SVM相结合的识别模型.比较实验的结果表明，HMM-SVM模型的识别性能远高于HMM和SVM.文[12]使用离线提取器从候选的时频域特征集中选择对传感器方向不敏感特征进行人体行为识别，并利用K近邻(K-nearest neighbors,K-NN)进行仿真实验，结果表明这种方法能够用更少的特征取得相近或更好的识别性能.然而上述特征选择技术仅仅关注了特征的冗余性，收稿日期：2021-03-16 基金项目：国家自然科学基金面上项目(61973306)，江苏省优秀青年基金项目(BK20200086)

method is adopted to enhance the generalization ability of SCNs. At the 1 same time, the method of using the supervision mechanism to restrict the generation of hidden layer parameters greatly improves the lightness of the SCNs model. Finally, the proposed learning model and other learning models are verified experimentally on UCI human activity recognition dataset. The experimental results show that, compared with SCNs, the proposed L2-SCNs model reduces the lightness of the number of parameters by 20% and helps improve the accuracy of the model. The introduction of the NCA method has greatly facilitated the recognition accuracy and lightness (modeling time) of the L2-SCNs model, increasing by 3.41% and 70.24% respectively. In addition, compared with other state-of-the-art models such as support vector machine and long short memory network, the proposed model achieves the best recognition accuracy of 97.48% in the shortest time. To sum up, the model proposed in this paper is a lightweight human activity recognition model with better recognition accuracy and faster modeling speed. KEY WORDS human activity recognition; smartphone; neighborhood components analysis; stochastic configuration networks; lightweight 随着微电子技术和计算机技术的快速发展，人体行为识别(Human activity recognition, HAR)已经成为普适计算中一个重要研究方向. 其在医疗保健、智能建筑和军事等领域发挥着极其重要的作用.例如：在医疗保健中，医生可以通过 HAR 系统对病人进行连续的观察，然后给出诊断和治疗方案[1-3]，进而提高医疗资源的利用率；在智能建筑中，物业人员可以利用居住者的行为信息来提高环境舒适度和实现能源的高效使用[4-6] . 在军事上，通过对军人体能训练的连续监测，可以防止由于过度疲劳而导致意外损伤[7] . 事实上，人体行为识别研究的源头可以追溯到 20 世纪 90 年代末[8]，发展至今日，其主要分为基于视频和基于可穿戴传感器这两大方向. 基于视频来识别人体行为具有一定的破坏性、成本昂贵和容易受环境影响（如：物体遮挡）等缺点，并且在某些情况下容易侵犯用户的隐私. 而基于可穿戴传感器的识别提供了一种快速、低成本、隐私性好且不易受环境影响的替代方案. 文[9]首先使用可穿戴传感器收集人体行数据，其次分别利用随机森林(Random Forests, RF)和朴素贝叶斯模型作为行为分类器. 实验结果表明，随机森林模型实现最好的 92%识别精度；文[10]将高斯随机投影方法引入极限学习机(Extreme Learning Machine, ELM)隐含层参数分配中，以加强模型的多样性，然后使用包含三轴加速度和陀螺仪传感器数据的 2 个真实数据集进行人体行为识别研究，结果表明该分类器在两个数据集上分别实现了 97.35%和 98.88%的识别精度. 由此可知，多传感器数据的使用有助于提高人体行为识别的识别性能. 但上述可穿戴传感器存在价格昂贵、部署繁琐等难题，不利于 HAR 的广泛实际应用. 智能手机因内置众多传感器、价格低廉和普适性等特点成为它们的替代品，并吸引许多科研工作者开展基于智能手机的人体行为识别研究. 由于智能手机传感器数据含有噪声，因此为分类模型提取一组鲁棒性特征是非常有必要的. 而时频域特征是一种机器学习中广泛使用的鲁棒性特征. 其中，时域特征包括平均值、最大值和最小值等，它们一般被用来区分 lying 和 standing 等简单行为；而频域特征是指通过将原始数据转化到频域再提取的特征，它包括向量夹角和最大频率分量等. 由于频域特征注重局部的数据变化，因此被用来区分模态相近的行为. 但是，在时频域特征中往往含有一些不利于建模的特征，故需要进行特征选择. 文[11]首先使用主成分分析(Principal component analysis, PCA)从时频域特征集选择最优的特征子集，其次提出了隐马尔科夫模型(Continuous Hidden Markov Model, HMM)和 SVM 相结合的识别模型. 比较实验的结果表明，HMM-SVM 模型的识别性能远高于 HMM 和 SVM. 文[12]使用离线提取器从候选的时频域特征集中选择对传感器方向不敏感特征进行人体行为识别, 并利用 K 近邻(K-nearest neighbors, K-NN)进行仿真实验, 结果表明这种方法能够用更少的特征取得相近或更好的识别性能. 然而上述特征选择技术仅仅关注了特征的冗余性， 1收稿日期: 2021-03-16 基金项目: 国家自然科学基金面上项目(61973306); 江苏省优秀青年基金项目(BK20200086) 录用稿件，非最终出版稿

缺少对特征相关性的考虑.最近，深度学习也被广泛用于人体行为识别.文[15]首先提出了利用卷积神经网络和递归神经网络分别提取空间域和时间域的特征的方法，其次使用长短期记忆网络模型基于所提特征进行行为识别建模和分类.结果表明，该方法实现93.7%的识别精度.文[16]首先利用递归框架从传感器数据中提取局部特征，然后使用长短期记忆网络模型识别人体行为，虽然深度学习模型在特征提取方面有很大的优势，但其也有两个主要缺点：建模时间过长和需要大样本集而智能手机资源(CPU,内存)的有限性使得基于智能手机进行人体行为识别建模的模型必须满足结构紧致，模型轻量和建模速度快等特性，因此，深度学习不适合此类研究近年来，Wang等提出一种具有建模速度快、实现简单和结构紧致等特点的单隐层前馈神经网络随机学习方法.即：随机配置网络(Stochastic configuration networks,.SCNs.SCNs作为一种增量式构建网络的学习模型，其首先在一个动态可调区间内根据不等式监督机制随机分配隐含层节点参数：然后，利用全局最小二乘来计算网络输出权值.这种网络构建方法不仅保证了网络模型的无限逼近性还减少了人为干预和增加了模型结构的紧致性.因此，可以说SCN酚种轻量模型.目前， SCNs已经被应用到赤铁矿磨矿过程1、光纤预警等众多领域.但SCNs在隐层节点过多时容易出现过拟合现象，极大地降低SCNs的泛化性，进而影响SCNs的实际应综上，针对上述问题，本文从以下两个创新点出发进行人体行为识别的研究： )针对原始人体行为特征集维数过高且可分性差，不利于建文轻量型以体行为识别模型问题本文提出基于近邻成分分析Neighbourhood Component Analysis,N)的特征选择技术对原始的人体行为识别特征集进行高相关性特征选择，提高特征集的可分性和降低特征集的维数，进而提高行为识别模型建模计算过程的轻量性： 2)针对随机配置网络隐含层节点过多时会导致模型过拟合问题.使用L2正则化优化模型结构，进而增强SCNs模型的泛化性和轻量性本文中所提的HAR学习模型流程图如图1所示史，采集的数据需由归一化后进行特征提取，以去除噪声的不利影响：进而利用NCA选择高相关性最优特征子集：最后采用Lz-SCNs建立HAR 模型录璃件 L-SCNs model Triaxial acceleration Te过ing se sensor Gyroscope sensor Data Normalization and collection Feature extraction 图1NCA-L2-SCNs模型的HAR流程图 Fig.1 HAR flow chart of NCA-L2-SCNs model 1NCA-L2-SCNs人体行为识别模型 1.1基于NCA的行为特性选择

缺少对特征相关性的考虑. 最近，深度学习也被广泛用于人体行为识别[13-14] . 文[15]首先提出了利用卷积神经网络和递归神经网络分别提取空间域和时间域的特征的方法，其次使用长短期记忆网络模型基于所提特征进行行为识别建模和分类. 结果表明，该方法实现 93.7%的识别精度. 文[16]首先利用递归框架从传感器数据中提取局部特征，然后使用长短期记忆网络模型识别人体行为. 虽然深度学习模型在特征提取方面有很大的优势，但其也有两个主要缺点：建模时间过长和需要大样本集. 而智能手机资源(CPU, 内存)的有限性使得基于智能手机进行人体行为识别建模的模型必须满足结构紧致，模型轻量和建模速度快等特性，因此，深度学习不适合此类研究. 近年来，Wang 等提出一种具有建模速度快、实现简单和结构紧致等特点的单隐层前馈神经网络随机学习方法. 即：随机配置网络[17](Stochastic configuration networks, SCNs). SCNs 作为一种增量式构建网络的学习模型，其首先在一个动态可调区间内根据不等式监督机制随机分配隐含层节点参数；然后，利用全局最小二乘来计算网络输出权值. 这种网络构建方法不仅保证了网络模型的无限逼近性还减少了人为干预和增加了模型结构的紧致性. 因此，可以说 SCNs 是一种轻量模型. 目前， SCNs 已经被应用到赤铁矿磨矿过程[18]、光纤预警[19]等众多领域. 但 SCNs 在隐含层节点过多时容易出现过拟合现象，极大地降低 SCNs 的泛化性，进而影响 SCNs 的实际应用. 综上，针对上述问题，本文从以下两个创新点出发进行人体行为识别的研究： 1) 针对原始人体行为特征集维数过高且可分性差，不利于建立轻量型人体行为识别模型问题. 本文提出基于近邻成分分析(Neighbourhood Component Analysis, NCA)的特征选择技术对原始的人体行为识别特征集进行高相关性特征选择，提高特征集的可分性和降低特征集的维数，进而提高行为识别模型建模计算过程的轻量性； 2) 针对随机配置网络隐含层节点过多时会导致模型过拟合问题. 使用 L2正则化优化模型结构，进而增强 SCNs 模型的泛化性和轻量性. 本文中所提的 HAR 学习模型流程图如图 1 所示. 其中，采集的数据需由归一化后进行特征提取，以去除噪声的不利影响；进而利用 NCA 选择高相关性最优特征子集；最后采用 L2-SCNs 建立 HAR 模型. Normalization and Feature extraction Testing set Training set Data collection Triaxial acceleration sensor Gyroscope sensor L2-SCNs model NCA Feature select 图 1 NCA-L2-SCNs 模型的 HAR 流程图 Fig. 1 HAR flow chart of NCA-L2-SCNs model 1 NCA-L2-SCNs 人体行为识别模型 1.1 基于 NCA 的行为特性选择录用稿件，非最终出版稿

特征选择结果的优劣直接关系到所建人体行为识别模型的轻量性和质量好坏[20]，过多冗余和不相关特征不仅对模型泛化性的提升不利，还容易增加建模难度和计算负荷. 因此，本文从行为特征之间相关性的角度出发，使用 NCA 从人体行为特征集中选择高相关性最优特征子集，进而提高行为识别模型计算过程的轻量性. NCA 是一种简单高效的距离度量算法[21-22] . 它通过最大化留一法的分类精度来选择对于人体行为识别模型最优的特征子集. 人体行为原始特征集为 S x f i n     i i , , 1,2,...,   % % ，其中 m i x R % 是第i 个行为特征， %f c i 1,2,...,  是第i 个行为特征的标签，c 为类别数， k 表示特征数. 行为特征 , i j x x %%之间的马氏距离为：       T , i j i j i j d x x Ax Ax Ax Ax % % % % % %    22\* MERGEFORMAT () 式中， A 为马氏距离变换矩阵，T 表示矩阵转置. 利用留一法最大化在人体行为特征集上的分类精度. 特征 i x%选择特征 j x%作为它参考点的概率为：     2 2 exp , 0 exp i j ij ii i q q i AX AX P P AX AX         % % % % 33\* MERGEFORMAT () 特征 i x%被正确分类的概率为： 1, k i ij ij j j i p p f     % 44\* MERGEFORMAT () 其中， i j % % f f  时， %f ij =0 ；否则 %f ij =1 . 目标函数是使得被正确分类的行为特征数目最大，因此，做如下定义：   i i f A p   55\* MERGEFORMAT () 利用共轭梯度法求解 A ： 2 i T T ij ij ij iq ij ij i q j f f A p x x p x x A               % %% %% 66\* MERGEFORMAT () 其中， ij i j x x x % % %   . 利用优化后的 A 得到 NCA 选择后的特征子集： X X A  %g 77\* MERGEFORMAT () 式中， X 表示 NCA 选择的特征子集. 1.2 基于 L2-SCNs 的行为识别模型 SCNs 作为一种先进的网络模型，其在模型结构紧致性、建模速度等方面的高性能已经被证实 [23-24]. SCNs 结构如图 2 所示. 本小节针对 SCNs 泛化性和轻量性不足问题，基于 L2正则化理论[25]，提出了 L2-SCNs 模型，录用稿件，非最终出版稿并将其应用于人体行为识别研究之中

Hidden node j+1 1 1 2 d 1 j m x y 图 2 SCNs 网络结构图 Fig. 2 SCNs network structure 假设通过 1.1 节获得最优特征子集为   , , , , 1,2,...,   k m X x f x f i N     i i i i ¡ ¡ ，其中 k , m 分别表示输入向量和输出向量的维数. 首先，基于如下监督机制为 L2-SCNs 随机分配隐含层节点参数: 2 1, , , , 1,2, , . L q L g L q e g b q m      88\* MERGEFORMAT () 其中，   2 T 1, 2 T , 1, 1 L q L L q L L q T L L e h r e h h           ， q m   1,2, , ， r 和 L 是收缩参数. 那么带有 L 个隐含层节点的 L2-SCNs 人体行为识别模型可以表示为：     1 L T L i i i i i f x g w x b      99\* MERGEFORMAT () 式中，   L f x 表示特征 x 的模型输出，   T 1 2 , ,...,     i i i im  是第i 个隐含层节点与输出层之间的输出权值向量， wL , L b 分别表示第i 个隐含层节点的输入权值和偏置. L2-SCNs 人体行为识别模型的最终目标是在 L2正则化的约束下使得模型输出   L f x 与真实输出 f 之间的残差为零，即： 2 2 1 1 min : + 2 2 L i i i i J f g       1010\* MERGEFORMAT () 式中， 表示正则化系数. 利用拉格朗日乘子法求解(9)式，进而得到网络的输出权值： 1 T T = , , , 1 2 L I     H H H f                    1111\* MERGEFORMAT () 式中，         T T 1 1 1 1 T T 1 1 L L N L N L N L g w x b g w x b H g w x b g w x b             L M O M L 为隐含层输出矩阵， T 1 T L N k f f f             M 为行为特征对应的真实输出矩阵， I 为单位矩阵，T 表示矩阵转置. 1.3 算法步骤 1. NCA 特征选择利用 NCA 从 UCI HAR 特征集 S x f i N     i i , , 1,2,...,   % % 选择出最优的特征子集录用稿件，非最终出版稿

X x f i N     i i , , 1,2,...,   . 2. L2-SCNs 模型参数初始化设定 L2-SCNs 最大节点数 Lmax ，当前残差 0 e ，期望残差 ，学习率 r ，最大分配次数Tmax ，动态参数    = : :  min max   . 3. 分配 L2-SCNs 隐含层节点参数在Tmax 内从可调区间中随机生成隐层参数( wL , L b )，进而得到候选的随机函数   T L L L L h g w x b   ，最后选择满足式(7)监督机制的节点. 4. 计算 L2-SCNs 输出权值使用式(10)计算 L2-SCNs 输出权值. 5. 验证 L2-SCNs 网络残差计算当前网络残差 L e 并更新 0 L e e  ，更新 L L  1直到满足 L L  max 或 0 e   条件，模型构建完成. 1.4 算法建模过程分析为了进一步体现本文所提算法在轻量型方面的优势，本文分别从建模计算复杂度和所需节点数 (隐含层的参数量)两个方面进行分析. 1.4.1 建模计算复杂度本文针对三种随机算法的计算复杂度进行了深入地分析，具体结果如表 1 所示. 通过观察该表可以看出，引入 NCA 和 L2正则化有助于提高模型的轻量性. 表 1 不同算法的计算复杂度对比 Table 1 Comparison of computational complexity of different algorithms 算法计算复杂度 SCNs   3 O m m    2 561 L2-SCNs   3 O L m 2 3( ) 2 561    NCA-L2-SCNs   3 O L m 2 3( ) 2 111    其中，561 表示原始数据集的特征数，111 表示经过 NCA 处理后数据集的特征数. 同时， L m = . 1.4.2 建模所需节点数为了能够进一步清楚地展示出所提算法在轻量性方面的优势，本文从建模过程所需节点数方面进行说明. 这里分别比较了 SCNs 和 L2-SCNs 在保证相同停止 RMSE 时两种模型的节点数，具体结果如图 3 所示. 该结果表明，L2正则化的引入使得模型的建模节点数从原来的 25 减少到 20，故有助于提高模型在参数量上的轻量性录用稿件，非最终出版稿

0.9 —SCNs 08 L2SCNs 月 03 2 10 15 Number of nodes 图3使用L2正则化前后SCNs的RMSE对比图 Fig.3 RMSE comparison of SCNS before and after L2 regulariza 2实验结果与分析为了验证所提行为识别学习模型的有效性，本文首先使用NCA技来在UCI HAR特征集上进行特征子集选择，并针对特征子集的最优与否问题进行了分析研宽集次利用L2-SCNs在特征子集上建立NCA-L2-SCNs人体行为识别模型：最后，将所提NCA-L2-SGNs与SCNs、SVM和LSTM等先进模型进行了实验对比，并对实验结果进行深入讨论 2.1实验设置本文所使用的特征集为UCI HAR特征集，该特症集是由30名年龄在19-48岁之间的志愿者组成，每人腰间佩戴智能手机（三星Galaxy S II)进你standing、sitting、upstairs、ying、walking以及downstairs等6项行为.它包括特征（时域和频域特）数为561的10299条人体行为数据，其中训练集为7209条，测试集为3090条2同时，本文所有实验仿真均是利用Matlab2019%,在CPU为 E3-1225v6,3.30GHz,内存为32GRAM的PC机上进行的.对于SVM,本文采用径向基函数(RBF) 为核函数.LSTM使用一个含有200个隐含层节点的LSTM层，一个大小为6的全连接层，最后使用 softmax层进行预测.而对于SCNs和L2-SCNs,激活函数和Lmax分别为sigmoid和500，其余参数为： 1=1:110,s=0.05和Tx=20SCNS中参数a,使用网格搜索方法在得到a=2.注：本文中呈现的所有模型的实验结果皆是执行孓30次后的统计结果. 2.2实验结果对比与分析本文利用NCA特征选择技术从UCI HAR特征集（包含561个特征）选择高相关性特征子集用于实验仿真研究，图4展示不U心HAR特征集中561个特征的权重系数.为了获得利用NCA技术选择最优特征子集，金文给出了在原始特征集和使用NCA选择后的特征子集上利用La-SCNs模型实验仿真的结果，如表2所示.通过观察表2可知，L2-SCNs在原始特征集上用29.85s实现了94.27%的平均识别精度，在利用CA技术选择含有11个特征的特征子集上用18.03s实现了97.48%的平均识别精度：利用NCA技术选择含有94个特征的特征子集上用19.88s实现了97.19%的平均识别精度.通过上述实验结果可知，若不使用NCA选择最优特征子集，那么模型的实验结果不仅耗时而且很差.此外，对NCA(111)和NCA(94)两个特征子集结果的分析可知，特征子集的维数和实验结果没有固定的比例关系，只有在包含最详细人体行为信息且维度适当的特征集才能使模型达到轻量型的要求.因此，本文选择NCA(I11)作为所提学习模型的最优特征子集

0 5 10 15 20 25 Number of nodes 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 Stop R MSE SCNs L 2 -SCNs 图 3 使用 L2正则化前后 SCNs 的 RMSE 对比图 Fig. 3 RMSE comparison of SCNS before and after L2 regularization 2 实验结果与分析为了验证所提行为识别学习模型的有效性，本文首先使用 NCA 技术在 UCI HAR 特征集上进行特征子集选择，并针对特征子集的最优与否问题进行了分析研究；其次利用 L2-SCNs 在特征子集上建立 NCA-L2-SCNs 人体行为识别模型；最后，将所提 NCA-L2-SCNs 与 SCNs、SVM 和 LSTM 等先进模型进行了实验对比，并对实验结果进行深入讨论. 2.1 实验设置本文所使用的特征集为 UCI HAR 特征集，该特征集是由 30 名年龄在 19-48 岁之间的志愿者组成，每人腰间佩戴智能手机（三星 Galaxy S II）进行 standing、sitting、upstairs、lying、walking 以及 downstairs 等 6 项行为. 它包括特征(时域和频域特征)数为 561 的 10299 条人体行为数据，其中训练集为 7209 条，测试集为 3090 条[26] . 同时，本文所有实验仿真均是利用 Matlab 2019b，在 CPU 为 E3-1225 v6，3.30GHz，内存为 32G RAM 的 PC 机上进行的.对于 SVM, 本文采用径向基函数(RBF) 为核函数.LSTM 使用一个含有 200 个隐含层节点的 LSTM 层，一个大小为 6 的全连接层，最后使用 softmax 层进行预测. 而对于 SCNs 和 L2-SCNs，激活函数和 Lmax 分别为 sigmoid 和 500，其余参数为：  1:1:10 ，  0.05 和 max T  20 . L2-SCNs 中参数 ，使用网格搜索方法在得到 6  2   . 注: 本文中呈现的所有模型的实验结果皆是执行了 30 次后的统计结果. 2.2 实验结果对比与分析本文利用 NCA 特征选择技术从 UCI HAR 特征集(包含 561 个特征)选择高相关性特征子集用于实验仿真研究，图 4 展示了 UCI HAR 特征集中 561 个特征的权重系数. 为了获得利用 NCA 技术选择最优特征子集，本文给出了在原始特征集和使用 NCA 选择后的特征子集上利用 L2-SCNs 模型实验仿真的结果，如表 2 所示.通过观察表 2 可知，L2-SCNs 在原始特征集上用 29.85s 实现了 94.27%的平均识别精度；在利用 NCA 技术选择含有 111 个特征的特征子集上用 18.03s 实现了 97.48%的平均识别精度；在利用 NCA 技术选择含有 94 个特征的特征子集上用 19.88s 实现了 97.19%的平均识别精度. 通过上述实验结果可知，若不使用 NCA 选择最优特征子集，那么模型的实验结果不仅耗时而且很差. 此外，对 NCA(111)和 NCA(94)两个特征子集结果的分析可知，特征子集的维数和实验结果没有固定的比例关系，只有在包含最详细人体行为信息且维度适当的特征集才能使模型达到轻量型的要求. 因此，本文选择 NCA(111)作为所提学习模型的最优特征子集. 录用稿件，非最终出版稿

15 1.0 100 200 300 400 500 600 Feature index 图4特征权重分析图 Fig.4 Analysis chart of feature weight 表2使用NCA特征选择前后L-SCNs模型结果对批 Table 2 Comparison of La-SCNs model results before and after using NCA feature selection Feature dimension Modeling time/s Average accuracy/% Minimum accuracy Maximum accuracy/% UCI feature set(561) 29.85 94.27 94.10 94.30 NCA(111) 18.03 97.48 .05 97.93 NCA(94) 19.88 97.19 96.61 97.49 表2 三种方法在C工特征集上的对比 Table 2 Comparison of three methods on UCI feature set Model Average accuracy/% Maximum accuracy/% Minimum accuracy% Modeling time/s SVM 92.77 19.41 LSTM 93.35 94.88 9257 529 SCNs 94.18 94.27 94.06 60.59 L2-SCNs 942 94.30 94.10 29.85 NCA-L:-SCNs 97.48 97.93 97.05 18.03 本文将所提的NCA-L-SCNS学习模型与SVM、LSTM、SCNs和L2-SCNs这几种模型进行了实验对比.结果如表2示，值得注意：由于SVM模型不涉及参数的随机分配，因此，其多次运行后识别精度一致，这使得它在多次运行后具有相同的精度.本文使用MATLAB中libsvm工具箱进行 SVM模型的仿真实验而LSTM模型虽然实现比SVM更好的识别精度，但其建模时间却最长达到了529s,远超洋他棋型.这主要是因为LSTM是一种深度学习模型，其为了实现好的识别精度需要进行模型参数的寻优而LSTM模型参数众多，因此建模时间较长.事实上，这也说明LSTM并不是一种轻量型模型，而这与资源有限条件下人体行为识别模型必须保持轻量性相背.因此，LSTM 模型并不适合这种基于智能手机开展的人体行为识别研究.而对于SCNs和L2-SCNs而言，由于L2 正则化的存在，L2-SCNs模型有着更好的性能：识别精度上从94.18%提升到97.27%：建模时间上从60.59s下降到29.85s.造成建模时间大幅度下降的主要原因是SCNs中在求解输出权值时使用了 Moore-Penrose广义逆方法，而L2-SCNs使用的是普通的求逆方法.从数学角度看，Moore-.Penrose广义逆的计算复杂度远远高于普通求逆方法，故计算过程比较耗时.此外，本文所提NCA-L2-SCNs模型，在可接受的建模时间内，对于人体行为识别研究能够实现最好的识别精度

0 100 200 300 400 500 600 Feature index 0.5 1.0 1.5 Feature weight 图 4 特征权重分析图 Fig. 4 Analysis chart of feature weight 表 2 使用 NCA 特征选择前后 L2-SCNs 模型结果对比 Table 2 Comparison of L2-SCNs model results before and after using NCA feature selection Feature dimension Modeling time/s Average accuracy/% Minimum accuracy/% Maximum accuracy/% UCI feature set(561) 29.85 94.27 94.10 94.30 NCA(111) 18.03 97.48 97.05 97.93 NCA(94) 19.88 97.19 96.61 97.49 表 2 三种方法在 UCI 特征集上的对比 Table 2 Comparison of three methods on UCI feature set Model Average accuracy/% Maximum accuracy/% Minimum accuracy/% Modeling time/s SVM 92.77 - - 19.41 LSTM 93.35 94.88 92.57 529 SCNs 94.18 94.27 94.06 60.59 L2-SCNs 94.27 94.30 94.10 29.85 NCA-L2-SCNs 97.48 97.93 97.05 18.03 本文将所提的 NCA-L2-SCNs 学习模型与 SVM、LSTM、SCNs 和 L2-SCNs 这几种模型进行了实验对比. 结果如表 2 所示，值得注意：由于 SVM 模型不涉及参数的随机分配，因此，其多次运行后识别精度一致，这使得它在多次运行后具有相同的精度. 本文使用 MATLAB 中 libsvm 工具箱进行 SVM 模型的仿真实验. 而 LSTM 模型虽然实现比 SVM 更好的识别精度，但其建模时间却最长达到了 529s，远超于其他模型. 这主要是因为 LSTM 是一种深度学习模型，其为了实现好的识别精度需要进行模型参数的寻优而 LSTM 模型参数众多，因此建模时间较长. 事实上，这也说明 LSTM 并不是一种轻量型模型，而这与资源有限条件下人体行为识别模型必须保持轻量性相背. 因此，LSTM 模型并不适合这种基于智能手机开展的人体行为识别研究. 而对于 SCNs 和 L2-SCNs 而言，由于 L2 正则化的存在，L2-SCNs 模型有着更好的性能：识别精度上从 94.18%提升到 97.27%；建模时间上从 60.59s 下降到 29.85s. 造成建模时间大幅度下降的主要原因是 SCNs 中在求解输出权值时使用了 Moore-Penrose 广义逆方法，而 L2-SCNs 使用的是普通的求逆方法. 从数学角度看，Moore-Penrose 广义逆的计算复杂度远远高于普通求逆方法，故计算过程比较耗时. 此外，本文所提 NCA-L2-SCNs 模型，在可接受的建模时间内，对于人体行为识别研究能够实现最好的识别精度. 录用稿件，非最终出版稿

0 50 100 150 200 250 300 350 400 450 500 Hidden node 0.1 0.15 0.2 0.25 0.3 0.35 0.4 R MSE NCA-L2 -SCNs L2 -SCNs 图 5 使用 NCA 前后 L2-SCNs 收敛曲线图 Fig. 5 L2-SCNs convergence curve before and after NCA Target Class 1 2 3 4 5 6 Output Class Confusion Matrix 494 16.8% 1 0.0% 0 0.0% 1 0.0% 0 0.0% 0 0.0% 99.6% 0.4% 12 0.4% 451 15.3% 4 0.1% 4 0.1% 0 0.0% 0 0.0% 95.8% 4.2% 0 0.0% 4 0.1% 414 14.0% 0 0.0% 2 0.1% 0 0.0% 98.6% 1.4% 0 0.0% 2 0.1% 0 0.0% 463 15.7% 25 0.8% 1 0.0% 94.3% 5.7% 0 0.0% 0 0.0% 0 0.0% 5 0.2% 527 17.9% 0 0.0% 99.1% 0.9% 0 0.0% 0 0.0% 0 0.0% 0 0.0% 1 0.0% 536 18.2% 99.8% 0.2% 97.6% 2.4% 98.5% 1.5% 99.0% 1.0% 97.9% 2.1% 95.0% 5.0% 99.8% 0.2% 97.9% 2.1% 图 6 NCA-SCNs 模型识别结果混淆矩阵 Fig. 6 Confusion matrix of NCA-SCNs model recognition results 注:其中 1 至 6 分别表示 walking，upstairs，downstairs，sitting，standing，lying. 为了研究 NCA 特征选择提高 L2-SCNs 模型性能的本质，本文绘制了使用 NCA 前后 SCNs 模型的收敛曲线图，如图 5 所示. 通过观察图 5 可知，随着 L2-SCNs 隐含层节点数的逐渐增加，NCA-L2- SCNs 的 RMSE 由一开始高于 SCNs 到 98 个节点后低于 L2-SCNs 直至最后建模完成. 造成这一结果的主要原因是未经过 NCA 选择的特征集中含有大量低相关性特征，而这些特征能够在 L2-SCNs 人体行为识别模型构建初期增强模型的非线性映射能力，进而获得较低的 RMSE. 此外，为了分析哪些数据被错误分类，本文在测试集上计算了 NCA-L2-SCNs 学习模型的预测行为(输出类)和实际行为(目标类)的混淆矩阵. 该模型的混淆矩阵如图 6 所示. 其中，矩阵的行和列分别是实际行为标签和预测行为标签. 除对角线以外的非零元素皆表示被错误分类成某类的总数. 可以观察到所有模型的错误分类主要发生在 sitting 和 standing 之间. 其中 sitting 有 25 条数据被误分为 standing，而 standing 中有 5 条数据被误分为 sitting. 造成这一结果的主要是因为两种行为的模态比较相近，而且在收集这类行为的传感器数据时，陀螺仪传感器的数据几乎全部为 0，同时仅仅利用录用稿件，非最终出版稿

三轴加速度传感器数据去识别各种行为时会出现模型识别能力低下的问题.其他的错误发生在 upstairs和walking之间.行为模态的相似性使得upstairs的l2条数据被错误地分成了walking. 3结论 (1)针对人体行为识别研究中资源有限问题，本文提出了一种轻量型NCA-L-SCNs人体行为识别学习模型： (2)NCA特征选择方法能够提高人体行为识别特征集的可分性和轻量性，进而达到提高模型的识别精度和降低模型建模过程计算复杂度： (3)使用L2正则化技术解决SCNs由于隐含层节点过多导致的过拟合问题，增强SCNs模型结构的紧致性，进而提高模型的泛化性和轻量性： (4)在UCI HAR特征集上的实验结果表明，在可接受的时间内，本文所提NCA-L2-SCNs学习模型相比于其他模型具有更好的识别精度，且计算复杂度更低.因此，模型更轻量参考文献 [1]Mukherjee D,Mondal R,Singh P K,et al.EnsemConvNet:a deep learning approach for human activity recognition using smartphone sensors for healthcare applications.Multimedia Tools and Applieations,2020,79(Part 2):1-28. [2]Zhuang Z D,Yang X.Sport-Related Human Activity Detection and Recognition Using a Smartwatch.Sensors (Basel,Switzerland),2019,19(22). [3]Ibrahim AA,Ame K,Ganer H,et al.Inertial sensor-based gait parameters reflect patient-reported fatigue in multiple sclerosis.Journal of NeuroEngineering and Rehabilitation,202017(1) [4]Hassan MM,Ullah S,Hossain M S,et al.An end-to-end deep-learning model for human activity recognition from highly sparse body sensor data in Internet of Medical Things environment.The Journal of Supercomputing,2020(4). [5]Igwe O M,Wang Y,Giakos G C,et al.Human activity recognition in smart environments employing margin setting algorithm.Journal of Ambient Intelligence and Humanized Computing,2020. [6]Fang H,Tang P.Si H.Feature Selections Using Minimal Redundancy Maximal Relevance Algorithm for Human Activity Recognition in Smart Home Environments.Journal of Healthcare Engineering,2020,2020(1):1-13. [7]Heinrich K M,Spencer V,Fehl N,ta Mission essential fitness:comparison of functional circuit training to traditional Army physical training for active duty military.Military Medicine,2012,177(10):1125-30. [8]Foerster F,Smeja M,Fahrenbef Detection of posture and motion by accelerometry:a validation study in ambulatory monitoring.Comput Hum Behay:Computers in Human Behavior,1999,15(5):571-583. [9]Bharti P.Complex activity recognition with multi-modal multi-positional body sensing.Journal of Biometrics Biostatistics,201708(5). [10]Chen Z,Jiang C.Xie L.A Novel Ensemble ELM for Human Activity Recognition Using Smartphone Sensors.IEEE transactions on industrial informatics,201915(5):691-2699. [11]Abidine M B./Fergani B,Menhour I.Activity Recognition from Smartphones Using Hybrid Classifier PCA-SVM- HMM//2019 International Conference on Wireless Networks and Mobile Communications (WINCOM).2019. [12]Mohammad Y,Matsumoto K,Hoashi K.Selecting Orientation-Insensitive Features for Activity Recognition from Accelerometers.IEICE Transactions on Information and Systems,2019,E102.D(1):104-115. [13]Sansano E,Montoliu R,Fernandez S B.A study of deep neural networks for human activity recognition.Computational Intelligence,2020,36(6). [14]Abbaspour S,Fotouhi F,Sedaghatbaf A,et al.A Comparative Analysis of Hybrid Deep Learning Models for Human Activity Recognition.Sensors,2020,20(5707). [15]Zou Q,Wang Y,Wang Q,et al.Deep Learning-Based Gait Recognition Using Smartphones in the Wild.IEEE

三轴加速度传感器数据去识别各种行为时会出现模型识别能力低下的问题 . 其他的错误发生在 upstairs 和 walking 之间. 行为模态的相似性使得 upstairs 的 12 条数据被错误地分成了 walking. 3 结论 (1) 针对人体行为识别研究中资源有限问题，本文提出了一种轻量型 NCA-L2-SCNs 人体行为识别学习模型； (2) NCA 特征选择方法能够提高人体行为识别特征集的可分性和轻量性，进而达到提高模型的识别精度和降低模型建模过程计算复杂度； (3) 使用 L2正则化技术解决 SCNs 由于隐含层节点过多导致的过拟合问题，增强 SCNs 模型结构的紧致性，进而提高模型的泛化性和轻量性； (4) 在 UCI HAR 特征集上的实验结果表明，在可接受的时间内，本文所提 NCA-L2-SCNs 学习模型相比于其他模型具有更好的识别精度，且计算复杂度更低. 因此，模型更加轻量. 参考文献 [1] Mukherjee D, Mondal R, Singh P K, et al. EnsemConvNet: a deep learning approach for human activity recognition using smartphone sensors for healthcare applications. Multimedia Tools and Applications, 2020, 79(Part 2):1-28. [2] Zhuang Z D, Yang X. Sport-Related Human Activity Detection and Recognition Using a Smartwatch. Sensors (Basel,Switzerland), 2019, 19(22). [3] Ibrahim A A, Arne K, Ganer H, et al. Inertial sensor-based gait parameters reflect patient-reported fatigue in multiple sclerosis. Journal of NeuroEngineering and Rehabilitation, 2020, 17(1). [4] Hassan M M, Ullah S, Hossain M S, et al. An end-to-end deep learning model for human activity recognition from highly sparse body sensor data in Internet of Medical Things environment. The Journal of Supercomputing, 2020(4). [5] Igwe O M, Wang Y, Giakos G C, et al. Human activity recognition in smart environments employing margin setting algorithm. Journal of Ambient Intelligence and Humanized Computing, 2020. [6] Fang H, Tang P, Si H. Feature Selections Using Minimal Redundancy Maximal Relevance Algorithm for Human Activity Recognition in Smart Home Environments. Journal of Healthcare Engineering, 2020, 2020(1):1-13. [7] Heinrich K M, Spencer V, Fehl N, et al. Mission essential fitness: comparison of functional circuit training to traditional Army physical training for active duty military. Military Medicine, 2012, 177(10):1125-30. [8] Foerster F, Smeja M, Fahrenberg J. Detection of posture and motion by accelerometry: a validation study in ambulatory monitoring. Comput Hum Behav. Computers in Human Behavior, 1999, 15(5):571-583. [9] Bharti P. Complex activity recognition with multi-modal multi-positional body sensing. Journal of Biometrics & Biostatistics, 2017, 08(5). [10] Chen Z, Jiang C, Xie L. A Novel Ensemble ELM for Human Activity Recognition Using Smartphone Sensors. IEEE transactions on industrial informatics, 2019, 15(5):2691-2699. [11] Abidine M B, Fergani B, Menhour I. Activity Recognition from Smartphones Using Hybrid Classifier PCA-SVMHMM// 2019 International Conference on Wireless Networks and Mobile Communications (WINCOM). 2019. [12] Mohammad Y, Matsumoto K, Hoashi K. Selecting Orientation-Insensitive Features for Activity Recognition from Accelerometers. IEICE Transactions on Information and Systems, 2019, E102.D(1):104-115. [13] Sansano E, Montoliu R, Fernández S B. A study of deep neural networks for human activity recognition. Computational Intelligence, 2020, 36(6). [14] Abbaspour S, Fotouhi F, Sedaghatbaf A, et al. A Comparative Analysis of Hybrid Deep Learning Models for Human Activity Recognition. Sensors, 2020, 20(5707). [15] Zou Q, Wang Y, Wang Q, et al. Deep Learning-Based Gait Recognition Using Smartphones in the Wild. IEEE 录用稿件，非最终出版稿