邓飞跃等：一种基于轻量级神经网络的高铁轮对轴承故障诊断方法 ·1485 示能力.为此，我们通过C$技术对输入层特征进 题.基于残差块结构，Zhang等2]构建了如图6(a) 行混洗操作，将不同组输入特征重新分组，打破各 所示的ShuffleNet单元.从图中可知.ShuffleNet单 组之间的约束，过程如图4(b)所示.假设输出层特 元采用了跨层恒等映射连接的两分支结构，主分 征图分为G组，每组包含w个通道输入特征，CS 支上首先是逐点GC,然后进行CS,之后是卷积核 具体实现步骤如下： 大小为3×3的DWConv和逐点GC操作，两分支输 (a)Input (b)Input 出特征线性叠加后即为最后输出特征.这里需要 指出的是主分支最后的逐点GC可以看做是一个 GCI GCI 分组的PWConv过程，因此3x3 DWConv和1×1GC Output Output 操作结合其实是一个DSC操作.图6(b)是一个降 采样后的ShuffleNet单元，与图6(a)相比主要有两 GC2 GC2 点不同：一是在辅分支上加入了步长为2、尺寸大 小为3×3的平均池化(AVG pool),相应主分支上 图4(a)通道孤立与(b)通道混洗的区别 的3x3 DWConv步长也由1改为2；二是ShuffleNet Fig.4 Differencebetween(a)channel isolation and (b)channel shuffle 单元最终输出为两个分支的通道级联而线性叠 步骤一：将具有Gxw通道的输出特征reshape 加.通道级联设计使得ShuffleNet单元最终输出特 为(G,w)格式； 征通道数为输入特征的2倍，通过扩大输出特征 步骤二：将(G,w)格式的输出特征转置为(w,G) 的宽度，进一步增强网络模型的特征学习能力.需 格式； 要说明的是，ShuffleNet单元中每一个卷积层后都 步骤三：对(w,G)格式的输出特征进行平坦化 加入了批量归一化操作(Batch normalization,BN) 处理，再次分为G组，作为下一层输入特征 来防止梯度消失、加快训练速度，在部分层后还加 为了能更清楚地描述CS过程，假设G=w=3, 人了使用激活函数ReLU的激活层 CS操作过程如图5所示.从图中可知，输出特征 层虽然分为了3组.但GS后组与组之间的约束被 (a) (b) Input 打破，不同组之间的特征通道是关联的，每组内包 含了不同通道的特征信息.在本文分析过程中，为 1×1GC 1×1GC BN+ReLU BN+ReLU 保证通道混洗的效果，设置G与w数值相同， CS B×3 AVG Pool Stride=2 etp BN BN IxI GC 1×IGC BN BN Add Concat ReLU Setp 2: utpu 图6 ShuffleNet单元结构.(a)ShuffleNet单元l;(b)ShuffleNet单元2 Fig.6 Architecture ofShuffleNetunit:(a)ShuffleNet unit 1:(b)ShuffleNet Setp 3: unit 2 2.2 ShuffleNet网络模型 因5通道混洗操作 基于模块化设计思想，本文以ShuffleNet单元 Fig.5 Channel shuffle operation 为基本模块，构建轻量级ShuffleNet网络模型，如 2 ShuffleNet模型 图7所示.由于所分析数据格式是一维的，无法与 所提二维网络模型兼容，本文参考文献[24]中的 2.1 ShuffleNet单元 方法，将一维数据转化为二维图像格式后再输入 残差网络(ResNets)由He等2mI在20l5年首次 网络.网络首层采用了一个尺寸大小为3×3的标 提出.ResNets在残差块中通过引入跨层恒等映射 准卷积操作，然后是4个ShuffleNet单元.ShuffleNet 连接，有效解决了网络层数增加时的梯度消失问 单元数量过少会无法充分提取数据特征信息，而示能力. 为此，我们通过 CS 技术对输入层特征进 行混洗操作，将不同组输入特征重新分组，打破各 组之间的约束，过程如图 4（b）所示. 假设输出层特 征图分为 G 组，每组包含 w 个通道输入特征，CS 具体实现步骤如下： Input GC1 Output GC2 (a) Input GC1 Output GC2 (b) 图 4    （a）通道孤立与（b）通道混洗的区别 Fig.4    Differencebetween (a) channel isolation and (b) channel shuffle 步骤一：将具有 G×w 通道的输出特征 reshape 为（G, w）格式； 步骤二：将（G, w）格式的输出特征转置为（w, G） 格式； 步骤三：对（w, G）格式的输出特征进行平坦化 处理，再次分为 G 组，作为下一层输入特征. 为了能更清楚地描述 CS 过程，假设 G=w=3， CS 操作过程如图 5 所示. 从图中可知，输出特征 层虽然分为了 3 组，但 GS 后组与组之间的约束被 打破，不同组之间的特征通道是关联的，每组内包 含了不同通道的特征信息. 在本文分析过程中，为 保证通道混洗的效果，设置 G 与 w 数值相同. Setp 1: Setp 2: Setp 3: 图 5    通道混洗操作 Fig.5    Channel shuffle operation 2    ShuffleNet 模型 2.1    ShuffleNet 单元 残差网络（ResNets）由 He 等[22] 在 2015 年首次 提出. ResNets 在残差块中通过引入跨层恒等映射 连接，有效解决了网络层数增加时的梯度消失问 题. 基于残差块结构，Zhang 等[23] 构建了如图 6（a） 所示的 ShuffleNet 单元. 从图中可知，ShuffleNet 单 元采用了跨层恒等映射连接的两分支结构，主分 支上首先是逐点 GC，然后进行 CS，之后是卷积核 大小为 3×3 的 DWConv 和逐点 GC 操作，两分支输 出特征线性叠加后即为最后输出特征. 这里需要 指出的是主分支最后的逐点 GC 可以看做是一个 分组的 PWConv 过程，因此 3×3DWConv 和 1×1GC 操作结合其实是一个 DSC 操作. 图 6（b）是一个降 采样后的 ShuffleNet 单元，与图 6（a）相比主要有两 点不同：一是在辅分支上加入了步长为 2、尺寸大 小为 3×3 的平均池化（AVG pool），相应主分支上 的 3×3DWConv 步长也由 1 改为 2；二是 ShuffleNet 单元最终输出为两个分支的通道级联而线性叠 加. 通道级联设计使得 ShuffleNet 单元最终输出特 征通道数为输入特征的 2 倍，通过扩大输出特征 的宽度，进一步增强网络模型的特征学习能力. 需 要说明的是，ShuffleNet 单元中每一个卷积层后都 加入了批量归一化操作（Batch normalization, BN） 来防止梯度消失、加快训练速度，在部分层后还加 入了使用激活函数 ReLU 的激活层. 3×3 DSC BN 1×1 GC 1×1 GC Add CS Input BN+ReLU BN+ReLU BN Concat CS Input Output Output ReLU RelU BN BN (a) (b) 3×3 AVG Pool Stride=2 1×1 GC 3×3 DSC Stride=2 1×1 GC 图 6    ShuffleNet 单元结构. （a）ShuffleNet 单元 1; （b）ShuffleNet 单元 2 Fig.6    Architecture of ShuffleNetunit: (a) ShuffleNet unit 1; (b) ShuffleNet unit 2 2.2    ShuffleNet 网络模型 基于模块化设计思想，本文以 ShuffleNet 单元 为基本模块，构建轻量级 ShuffleNet 网络模型，如 图 7 所示. 由于所分析数据格式是一维的，无法与 所提二维网络模型兼容，本文参考文献 [24] 中的 方法，将一维数据转化为二维图像格式后再输入 网络. 网络首层采用了一个尺寸大小为 3×3 的标 准卷积操作，然后是 4 个 ShuffleNet 单元. ShuffleNet 单元数量过少会无法充分提取数据特征信息，而 邓飞跃等： 一种基于轻量级神经网络的高铁轮对轴承故障诊断方法 · 1485 ·