8 智能系统学报 第10卷 配合Visual Studio使用，也可以单独使用。 超大型神经网络的训练，正是得益于两块GU的强 5计算智能领域应用 大计算能力。 Stanford大学的研究人员提出了基于GPU阵列 GPU通用计算已经进入高性能计算的主流行 和分布式运算加速神经网络的计算框架21)。这个 列，被用于流体模拟、物理仿真、图像和信号处理、数 由16个GPU组成的GPU阵列，能够训练比1000 值计算等诸多，并取得了良好的加速效果。文献[1- CPU的Google集群大6.5倍规模的深度神经网络。 2]和[17]给出了GPU在许多关键领域和问题上的 巨大的实用性使得基于GPU的人工神经网络受到 重要应用。本节主要回顾GPU在计算智能领域的 科研机构和T企业的重视，是GPU能用计算研究 应用。 热点。 计算智能算法一般具备并行性的特点，因此，特 5.2群体智能优化算法 别适用利用GPU平台进行高效的并行化实现。 群体智能优化算法是一类基于群体的启发式随 5.1人工神经网络 机优化算法，在工程和科学领域有着广泛的应用。 人工神经网络(artificial neural network,ANN), 然而，群体算法优化过程中需要对目标函数进行大 模仿生物神经网络的结构和功能，通过联结大量的人 量的评估，这也极大的限制了群体算法在某些问题 工神经元进行计算。由于出色的特征学习能力，深度 中的应用。群体算法的内在并行性，使得它们可以 神经网络已经在图像识别、语言识别等领域取得了突 很好地利用GPU多核心、高度并行的特性。 破性进展。图11展示了深层卷积神经网络在学习图 Zhou等[21最早利用GPU进行PS0算法的加 像的低阶和高阶特征上表现出的良好性能8] 速工作，在当时的硬件条件下，取得了8X倍的加速 比。随后，基于GPU的PSO变种及多目标群体算 也相继被提出[2324]。 作为典型的基于GPU的群体智能优化方法实 现，Ding等5]提出了基于GPU并行加速的烟花算 法(GPU-FWA)I]。图12示意了烟花算法基于 GPU实现的基本流程。 (a)低阶特征 (b)高阶特征 CPU GPU 图11 通过深度神经网络学习到的低阶和高阶特征可 设定算 Fig.11 Low level and high level features learned by DNNI 法参数 核函数调用 随着深度学习](deep learning)研究的不断深 核函数返可】 初始化种群 入，人工神经网络的规模越来越大，计算复杂性不断 核函数调用 目标函数评价 膨胀。通常，深度神经网络包含上百万甚至上亿个 核函数返回 自由参数，需要在海量的数据集上进行学习。因此， 返回 结束心 加速深度神经网络的训练速度是工程和科学领域的 结果 存 核函数调用 重要研究内容，直接关系到对深度神经网络的研究 核函数返可 计算爆炸半径 以及其在实际中的应用。 核函数调用 核函数返可 FWA搜索 共享 超级计算机和大规模集群的成本高昂，个人和 内存 核函数调用 中小型研究机和企业构难于负担。GPU通用计算， 核函数返可 Ar变异 极大地降低了深度神经网络的研究和应用的门槛。 2012,Krizhevsky等[2o】,搭建了一个深度神经 图12基于GPU的烟花算法实现示意图 网络并用于图像识别。这个神经网络含有6000万 Fig.12 Diagram of GPU-FWA 个参数，650000个神经元。这个神经网络在Ima- GPU-FWA充分利用了GPU内存层级结构，主 geNet测试集（共有1000个类别）上，取得了17%的 要数据通讯被限制在共享内存之间，从而减少了数 Top5分类错误率，取得了突破性的进展。而这个 据传输开销。同时，GPU-FWA通过一种改进后的配合 灾蚤泽怎葬造 杂贼怎凿蚤燥 使用袁也可以单独使用遥 缘摇 计算智能领域应用 郧孕哉 通用计算已经进入高性能计算的主流行 列袁被用于流体模拟尧物理仿真尧图像和信号处理尧数 值计算等诸多袁并取得了良好的加速效果遥 文献咱员鄄 圆暂和咱员苑暂给出了 郧孕哉 在许多关键领域和问题上的 重要应用遥 本节主要回顾 郧孕哉 在计算智能领域的 应用遥 计算智能算法一般具备并行性的特点袁因此袁特 别适用利用 郧孕哉 平台进行高效的并行化实现遥 缘援员摇 人工神经网络 人工神经网络渊 葬则贼蚤枣蚤糟蚤葬造 灶藻怎则葬造 灶藻贼憎燥则噪袁 粤晕晕冤袁 模仿生物神经网络的结构和功能袁通过联结大量的人 工神经元进行计算遥 由于出色的特征学习能力袁深度 神经网络已经在图像识别尧语言识别等领域取得了突 破性进展遥 图 员员 展示了深层卷积神经网络在学习图 像的低阶和高阶特征上表现出的良好性能咱 员愿 暂 遥 图 员员摇 通过深度神经网络学习到的低阶和高阶特征咱圆苑暂 云蚤早援员员摇 蕴燥憎 造藻增藻造 葬灶凿 澡蚤早澡 造藻增藻造 枣藻葬贼怎则藻泽 造藻葬则灶藻凿 遭赠 阅晕晕咱 圆苑 暂 随着深度学习咱员怨 暂渊 凿藻藻责 造藻葬则灶蚤灶早冤研究的不断深 入袁人工神经网络的规模越来越大袁计算复杂性不断 膨胀遥 通常袁深度神经网络包含上百万甚至上亿个 自由参数袁需要在海量的数据集上进行学习遥 因此袁 加速深度神经网络的训练速度是工程和科学领域的 重要研究内容袁直接关系到对深度神经网络的研究 以及其在实际中的应用遥 超级计算机和大规模集群的成本高昂袁个人和 中小型研究机和企业构难于负担遥 郧孕哉 通用计算袁 极大地降低了深度神经网络的研究和应用的门槛遥 圆园员圆袁 运则蚤扎澡藻增泽噪赠 等咱圆园 暂 袁搭建了一个深度神经 网络并用于图像识别遥 这个神经网络含有 远 园园园 万 个参数袁远缘园 园园园 个神经元遥 这个神经网络在 陨皂葬鄄 早藻晕藻贼 测试集渊共有 员 园园园 个类别冤上袁取得了 员苑豫的 栽燥责 缘 分类错误率袁取得了突破性的进展遥 而这个 超大型神经网络的训练袁正是得益于两块 郧孕哉 的强 大计算能力遥 杂贼葬灶枣燥则凿 大学的研究人员提出了基于 郧孕哉 阵列 和分布式运算加速神经网络的计算框架咱 圆员 暂 遥 这个 由 员远 个 郧孕哉 组成的 郧孕哉 阵列袁能够训练比 员 园园园 悦孕哉 的 郧燥燥早造藻 集群大 远援缘 倍规模的深度神经网络遥 巨大的实用性使得基于 郧孕哉 的人工神经网络受到 科研机构和 陨栽 企业的重视袁是 郧孕哉 能用计算研究 热点遥 缘援圆摇 群体智能优化算法 群体智能优化算法是一类基于群体的启发式随 机优化算法袁在工程和科学领域有着广泛的应用遥 然而袁群体算法优化过程中需要对目标函数进行大 量的评估袁这也极大的限制了群体算法在某些问题 中的应用遥 群体算法的内在并行性袁使得它们可以 很好地利用 郧孕哉 多核心尧高度并行的特性遥 在澡燥怎 等咱圆圆 暂最早利用 郧孕哉 进行 孕杂韵 算法的加 速工作袁在当时的硬件条件下袁取得了 愿载 倍的加速 比遥 随后袁基于 郧孕哉 的 孕杂韵 变种及多目标群体算 也相继被提出咱圆猿 鄄圆源 暂 遥 作为典型的基于 郧孕哉 的群体智能优化方法实 现袁阅蚤灶早 等咱 圆缘 暂提出了基于 郧孕哉 并行加速的烟花算 法渊 郧孕哉鄄云宰粤冤 咱 圆远 暂 遥 图 员圆 示意了烟花算法基于 郧孕哉 实现的基本流程遥 图 员圆摇 基于 郧孕哉 的烟花算法实现示意图 云蚤早援员圆摇 阅蚤葬早则葬皂 燥枣 郧孕哉鄄云宰粤 摇 摇 郧孕哉鄄云宰粤 充分利用了 郧孕哉 内存层级结构袁主 要数据通讯被限制在共享内存之间袁从而减少了数 据传输开销遥 同时袁郧孕哉鄄云宰粤 通过一种改进后的 窑愿窑 智 能 系 统 学 报摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇 第 员园 卷