·1226 工程科学学报，第43卷，第9期 作.二维卷积神经网络(2DCNN)由于其出色的自 动特征提取功能已经成功应用于图像分类2-2] 为了同时从空间和时间维度提取特征，针对三 维监控视频数据的三维卷积神经网络(3DCNN) i 被提出用来进行人类动作识别在我们的研 (a,b) 究中，心跳信号本质上是一维信号，为了避免从 一维到二维的转换，保留数据的原始结构，我们设 计了一种针对心跳信号的一维卷积神经网络(1D CNN). Input layer Hidden layer Output layer 在ID CNN中，卷积层的一维卷积操作用来从 图1ELM的基本结构 局部邻域提取特征.特征映射的实现过程是由卷 Fig.1 Basic structure of an extreme learning machine(ELM) 积核扫描其输入，然后将其结果存储到相应的特 分布随机生成，那么隐含层输出矩阵H可以由如 征映射的位置，卷积核大小相对于前一层的特征 下公式计算得到 映射往往较小，而且卷积层会有多个卷积核，每一 g(a1"x1+b1)·g(aL·x1+bL) 个都有不同的参数，这样可以提取多个局部特征， H= (2) 组成一系列的特征映射.假设在第i层的第j个特 g(a1…xN+b1)· 8(aL-XN+bL) INXL 征映射，在位置1的单元的值表示为其由下式 其中，g)为激活函数，a和b:为隐含层中第i个节 计算 点的参数.原始数据从输入层到隐含层的传播实 D ReLU (1) 际上是将数据从n维空间映射到了L维空间.隐 ==0 含层输出矩阵和网络输出矩阵之间的关系写成矩 其中，ReLU()为线性整流单元(Rectified linear 阵形式为 unit);bj为对于第j个特征映射的偏置；D为第 HB=T (3) i-1)层的通道数；d为通道的序号；wm为第i层 其中， 第j个特征映射的卷积核在位置s处的值，且该卷 积核连接到第-1)层的第m个特征映射；S;为卷 B 、 BLI .. BLm ILxm INI ..INm INxm 积核的大小 (4) 在卷积神经网络的子采样层中，特征映射的 在实际中训练数据的数量与隐含层节点数量 大小由对上一个卷积层的特征映射的局部邻域进 往往不相等，也就是说，隐含层输出矩阵H并不是 行池化而减少.CNN结构通过多个卷积和子采样 一个方阵，因此等式(3)的最小二乘解不唯一 堆叠而成 Bartlett指出，对于前馈神经网络，网络权重越小， 1.2超限学习机 该网络的泛化性能越好阿因此，输出参数β的最 ELM是一个具有单隐含层的前馈神经网络， 小范数的最小二乘解为 它包含输入层、隐含层、输出层共三层，其基本结 构如图1所示.ELM隐含层参数是随机生成的，输 A-HT (5) 出层参数基于最小二乘法解析得到.这种训练方 其中，H为H的Moore--Penrose广义逆矩阵 式是免迭代的，避免了常规反向传播训练会陷入 为了避免病态问题，根据岭回归理论，添加一 局部最优的缺点.黄广斌等)证明了ELM具有万 个正数C到矩阵HTH或者HHT的对角线可解决 能逼近能力.具体地，给定任何有界非常数的分段 这样，ELM的求解问题变为 连续激活函数，一个隐含层参数随机生成的网络， Minimize :=C (6) 仅仅通过调整其输出参数就能够以任意小的误差 逼近目标函数 然后，对B求偏导，并让其等于零，那么ELM的 假定我们有N个已标注的样本，其中 输出参数即可由下式求得 i=1,2,…,N且x:∈R”.对于有L个隐含层神经元的 (7) 广义SLFN,由于隐含层参数是根据任意连续概率作. 二维卷积神经网络（2D CNN）由于其出色的自 动特征提取功能已经成功应用于图像分类[22−23] . 为了同时从空间和时间维度提取特征，针对三 维监控视频数据的三维卷积神经网络（3D CNN） 被提出用来进行人类动作识别[24] . 在我们的研 究中，心跳信号本质上是一维信号，为了避免从 一维到二维的转换，保留数据的原始结构，我们设 计了一种针对心跳信号的一维卷积神经网络（1D CNN）. v t i j 在 1D CNN 中，卷积层的一维卷积操作用来从 局部邻域提取特征. 特征映射的实现过程是由卷 积核扫描其输入，然后将其结果存储到相应的特 征映射的位置. 卷积核大小相对于前一层的特征 映射往往较小，而且卷积层会有多个卷积核，每一 个都有不同的参数，这样可以提取多个局部特征， 组成一系列的特征映射. 假设在第 i 层的第 j 个特 征映射，在位置 t 的单元的值表示为 ，其由下式 计算 v t i j = ReLU   bi j + ∑ D d=1 ∑ S i s=0 w s i jmv t+s (i−1)d   （1） ReLU(·) bi j (i−1) w s i jm (i−1) S i 其 中 ， 为 线 性 整 流 单 元 （ Rectified  linear unit） ； 为对于第 j 个特征映射的偏置 ； D 为第 层的通道数；d 为通道的序号； 为第 i 层 第 j 个特征映射的卷积核在位置 s 处的值，且该卷 积核连接到第 层的第 m 个特征映射； 为卷 积核的大小. 在卷积神经网络的子采样层中，特征映射的 大小由对上一个卷积层的特征映射的局部邻域进 行池化而减少. CNN 结构通过多个卷积和子采样 堆叠而成. 1.2    超限学习机 ELM 是一个具有单隐含层的前馈神经网络， 它包含输入层、隐含层、输出层共三层，其基本结 构如图 1 所示. ELM 隐含层参数是随机生成的，输 出层参数基于最小二乘法解析得到. 这种训练方 式是免迭代的，避免了常规反向传播训练会陷入 局部最优的缺点. 黄广斌等[21] 证明了 ELM 具有万 能逼近能力. 具体地，给定任何有界非常数的分段 连续激活函数，一个隐含层参数随机生成的网络， 仅仅通过调整其输出参数就能够以任意小的误差 逼近目标函数. xi i = 1,2,··· ,N xi ∈ R n 假 定 我 们 有 N 个 已 标 注 的 样 本 ， 其 中 且 . 对于有 L 个隐含层神经元的 广义 SLFN，由于隐含层参数是根据任意连续概率 分布随机生成，那么隐含层输出矩阵 H 可以由如 下公式计算得到 H =   g(a1 · x1 +b1) · · · g(aL · x1 +bL) . . . . . . . . . g(a1 · xN +b1) · · · g(aL · xN +bL)   N×L （2） 其中， g(·) 为激活函数， ai 和 bi 为隐含层中第 i 个节 点的参数. 原始数据从输入层到隐含层的传播实 际上是将数据从 n 维空间映射到了 L 维空间. 隐 含层输出矩阵和网络输出矩阵之间的关系写成矩 阵形式为 Hβ = T （3） 其中， β =   β11 ... β1m . . . . . . . . . βL1 ... βLm   L×m , T =   t11 ... t1m . . . . . . . . . tN1 ... tNm   N×m （4） β 在实际中训练数据的数量与隐含层节点数量 往往不相等，也就是说，隐含层输出矩阵 H 并不是 一个方阵 ，因此等式（ 3）的最小二乘解不唯一. Bartlett 指出，对于前馈神经网络，网络权重越小， 该网络的泛化性能越好[25] . 因此，输出参数 的最 小范数的最小二乘解为 ∧ β = H †T （5） 其中， H† 为 H 的 Moore−Penrose 广义逆矩阵. C HTH HHT 为了避免病态问题，根据岭回归理论，添加一 个正数 到矩阵 或者 的对角线可解决. 这样，ELM 的求解问题变为 Minimize : l = 1 2 ||β||2 + 1 2 C||T − Hβ||2 （6） 然后，对 β 求偏导，并让其等于零，那么 ELM 的 输出参数即可由下式求得 β = ( I C + H TH )−1 H TT （7） 1 1 i L 1 m Input layer Hidden layer Output layer n x1 xn βL βi β1 tm t1 (ai , bi ) 图 1    ELM 的基本结构 Fig.1    Basic structure of an extreme learning machine (ELM) · 1226 · 工程科学学报，第 43 卷，第 9 期