第4期 李伯涵，等：基于分割注意力机制残差网络的城市区域客流量预测 ·843· 在每个相互独立的基组中，又把输入分成了 Sk= 1 多个分支，每个分支的注意力层能够提供捕捉特 xw名台6刀 征相关性的网络机制，通过引入自注意力机制实 把每个基数组的输出拼接在一起，又经过一 现特征分支间的权重分配，如图4所示。 层1×1的卷积层，最终输出一个与输人同为h、 (h,e,c） w、c维度的特征矩阵Xx,并传递给下一模块。 输入1 输人r 2.1.3参数矩阵融合 使用下述方法融合图1中3个主要模块的输出： (h,m,c） XRes WoX(2)+WoX(2+WoXu+2) 全局池化 式中：“。”是阿达玛乘法（即元素间相乘），参数 (c) W、W,和W,分别表征了邻近性、周期性和趋势性 全连接c+归一化+ReLU 的影响程度。 (c) 2.2融合外部特征的客流量预测 全连接c 全连接c 在外部因素模块中，本文把与时空数据时间 (C.) 相对应的完整外部数据（天气数据和节假日数 n-Softmax 据)输入到一个两层的全连接神经网络中，以获 (c)1 (h,w,c) (8 取天气和节假日特征对区域客流量的影响。 .84 用E,表示预测时间节点1的外部因素特征向 图4组群中的注意力机制分支 量，包括了天气、节假日、工作日等信息。与时空 Fig.4 Branches of Split-attention in groups 数据预测方式相似，使用1一1时刻的数据近似预 此处涉及了第二个超参数R,将特征分成了 测1时刻的外部因素情况。输出的E,需要经过两 若干基组的组内分支(Radix分支)，后文简称为 个全连接层，第一层可以理解为每个子因素的嵌 “组内分支”，使得模型能进一步地提取具有多元 入层，后面连接一个激活函数。第二层则可以理 化属性的特征。 解为是将低维向量映射到高维空间。 在组内分支中首先将特征求和并进行全局池 最终把外部因素模块和主要的模块进行融 化操作，然后使用卷积等操作进行权重系数的分 合，如图1框架图所示。预测得到1时间的区域 配。第一组卷积的输出维度为4维，作为缩放系 客流量预测值义，： 数用于减少参数量；第二组卷积的输出维度通道 &Tanh(Xges XEx) 数乘以组内分支数，保持了与组内分支特征层相 式中的Tanh为双曲线切线函数，保证了输出的范 对应的维度。为了确保组内分支间特征层的权重 围在-1到1之间。 独立分布，使用n-Softmax对各组内分支的权重分 2.3ST-SANet模型训练过程 别计算，最后将各组对应的特征层与注意力系数 算法1ST-SANet模型 相乘再求和。 输入流入、流出量数据Xs、预测时间点真 上文提到的超参数R描述了基数组内的分支 模块数目，因此特征组的总数为G=K×R 实数据Xea,外部特征数据Xa 输出经过训练得到各项模型参数。 并应用一系列变换{F,F2,…,Fc}得到每个单 1)按照距离预测时间点的时间间隔划分数 独的组，各组的中间量表示为： 据集； w=F(X),i∈{1,2，…，G} 基组可以通过多个组内分支逐元素求和来获 XRes→Xclose、Xperiod、Xrend 得，其中第k个基数组表示为 2)将流入流出量数据通过预卷积层： heose =conv2d(Xelse,64,(7.7),(1,1)) hperiod =conv2d(Xperiod.(7,7),(1,1)) =k-1+1 huend =conv2d(Xuend,(7,7),(1,1)) 超参数R代表了分支数量，h、w和c分别是 3)外部特征数据经过两层全连接后得到结 模块输出特征图的维度参数。可以使用全局平 果E,: 均池化来收集嵌入式通道(embedded channel- E,fullyconnected(Xex)) wise)中全局上下文信息B0。第c个分量S的计算 4)将预卷积层结果输入到ResNeSt模块： 公式为 邻近性模块：在每个相互独立的基组中，又把输入分成了 多个分支，每个分支的注意力层能够提供捕捉特 征相关性的网络机制，通过引入自注意力机制实 现特征分支间的权重分配，如图 4 所示。 + × × × ... ... (h, w, c) (h, w, c) (h, w, c) (c) (c') (c,) (c,) 输入 1 全局池化 全连接 c'+ 归一化 +ReLU n-Softmax 输入 r 全连接 c 全连接 c 图 4 组群中的注意力机制分支 Fig. 4 Branches of Split-attention in groups 此处涉及了第二个超参数 R，将特征分成了 若干基组的组内分支（Radix 分支），后文简称为 “组内分支”，使得模型能进一步地提取具有多元 化属性的特征。 在组内分支中首先将特征求和并进行全局池 化操作，然后使用卷积等操作进行权重系数的分 配。第一组卷积的输出维度为 4 维，作为缩放系 数用于减少参数量；第二组卷积的输出维度通道 数乘以组内分支数，保持了与组内分支特征层相 对应的维度。为了确保组内分支间特征层的权重 独立分布，使用 n-Softmax 对各组内分支的权重分 别计算，最后将各组对应的特征层与注意力系数 相乘再求和。 G = K ×R 上文提到的超参数 R 描述了基数组内的分支 模块数目，因此特征组的总数为 并应用一系列变换 {F1,F2,··· ,FG} 得到每个单 独的组，各组的中间量表示为 u： ui = Fi(X),i ∈ {1,2,··· ,G} 基组可以通过多个组内分支逐元素求和来获 得，其中第 k 个基数组表示为 U k = ∑Rk i=R(k−1)+1 ui 超参数 R 代表了分支数量，h、w 和 c 分别是 模块输出特征图的维度参数。可以使用全局平 均池化来收集嵌入式通道（embedded channel￾wise）中全局上下文信息[30]。第 c 个分量 S 的计算 公式为 S k c = 1 h×w ∑h i=1 ∑w j=1 U k c (i, j) X w×h×c 把每个基数组的输出拼接在一起，又经过一 层 1×1 的卷积层，最终输出一个与输入同为 h、 w、c 维度的特征矩阵 ，并传递给下一模块。 2.1.3 参数矩阵融合 使用下述方法融合图 1 中 3 个主要模块的输出： XRes = Wc ◦ X (L+2) c + Wp ◦ X (L+2) p + Wq ◦ X (L+2) q ◦ Wc Wp Wq 式中：“ ”是阿达玛乘法（即元素间相乘），参数 、 和 分别表征了邻近性、周期性和趋势性 的影响程度。 2.2 融合外部特征的客流量预测 在外部因素模块中，本文把与时空数据时间 相对应的完整外部数据（天气数据和节假日数 据）输入到一个两层的全连接神经网络中，以获 取天气和节假日特征对区域客流量的影响[31]。 Et Et 用 表示预测时间节点 t 的外部因素特征向 量，包括了天气、节假日、工作日等信息。与时空 数据预测方式相似，使用 t−1 时刻的数据近似预 测 t 时刻的外部因素情况。输出的 需要经过两 个全连接层，第一层可以理解为每个子因素的嵌 入层，后面连接一个激活函数。第二层则可以理 解为是将低维向量映射到高维空间。 Xˆ t 最终把外部因素模块和主要的模块进行融 合，如图 1 框架图所示。预测得到 t 时间的区域 客流量预测值 ： Xˆ t = Tanh(XRes + XExt) 式中的 Tanh 为双曲线切线函数，保证了输出的范 围在−1 到 1 之间。 2.3 ST-SANet 模型训练过程 算法 1 ST-SANet 模型 输入 流入、流出量数据 XRes、预测时间点真 实数据 XReal，外部特征数据 XExt。 输出 经过训练得到各项模型参数。 1) 按照距离预测时间点的时间间隔划分数 据集； XRes → Xclose、Xperiod、Xtrend 2) 将流入流出量数据通过预卷积层： hclose = conv2d(Xclose,64,(7,7),(1,1)) hperiod = conv2d(Xperiod,(7,7),(1,1)) htrend = conv2d(Xtrend,(7,7),(1,1)) 3) 外部特征数据经过两层全连接后得到结 果 Et ： Et = fullyconnected(XExt)) 4) 将预卷积层结果输入到 ResNeSt 模块： 邻近性模块： 第 4 期 李伯涵，等：基于分割注意力机制残差网络的城市区域客流量预测 ·843·