第1期 丁科，等：GPU通用计算及其在计算智能领域的应用 .9 交互机制，进一步提高了运行速度。在对经典基准 以及人们对于语音、视频等多媒体资源需要的不断 测试函数上的测试表明，GPU-WA相对于传统基 高涨，GPU也在这是相对新兴的领域得到广泛应 于CPU的烟花算法，加速近200倍。 用。未来，GPU通用计算也很有可能在这些领域发 群体智能优化方法也在大量实际问题获得良好 挥重要影响，有望在这一领域带来一场计算变革。 应用。Rymut等[2n]实现的GPU版本的基于PS0的 而这些非传统的计算设备往往具有低功耗和嵌入式 体追踪算法提速20~40倍。Mussi等[28]实现的基于 的特点，这也给GPU计算带来了新的挑战[0，]。 异步PSO的人体追踪算法，将原程序由CPU端的几 互联网的日新月异，大数据的来势汹汹，也为大 分钟，提升到了几秒钟内完成，实现了跟踪的实时性， 规模服务器端计算带来了巨大的挑战。将GPU用 提高的算法的实用性。Nobile等9]将GPU多种群 于服务器将是应对挑战的一种潜在的应对方案。由 PS0应用于生物系统的参数估计，运行时间从6h缩 于GPU缺乏CPU的通用性和灵活性，选择合适的 减到14min,大大加快了参数选择过程。利用GPU 组织方式便尤为重要。一种可能的方案是将GPU 加速群体算法，不仅提高了原有应用的速度，而且也 和CPU按照一定的比例组合（例如，一个计算结点 扩展了群体优化方法的应用范围。新的基于GU的 配置若干数量的CPU和GPU)。目前，针对GPU阵 群体算法的应用在不断的出现，成研究的热点。 列或分布式集群，已经有一些硬件连接解决方案和 中间件支持。然而，这CPU和GPU之间的通信可 6分析与讨论 能带来潜在的性能瓶颈。混合架构是另一种可能的 6.1GPU通用计算的缺点 选择方案。例如，AMD等硬件厂商提出HSA(heter 首先，并非所有的计算任务都适合利用GPU进 ogeneous system architecture)概念，试图将GPU和 行计算。GPU适用于存在大量的数据并行性并且 CPU在物理架构上进行深度整合，通过共享物理内 数据之间无复杂逻辑依赖的计算任务（典型的如矩 存方式减小通信开销。由于基于HAS这一新型体 阵计算)。对于存在复杂逻辑和随机读写的应用场 系结构的硬件还未大规模面世，因此其性能还有待 景，GPU可能并不是最佳的选择。 在理论和实践中进一步检验。 其次，GPU对于算数运算的支持还有待提高。 虽然现在主流GPU都支持符合EEE标准的浮点运 7结束语 算，但在对双精度浮点的支持上还有待提高。例如， 在计算领域，已经从多核时代跨向众核时代，具 经验表明，对于同样的网络结构和训练方法，使用单 有众核架构的GPU已经进入高性能计算的主流行 精度运算的出错概率要明显高于双精度运算。同时， 列。目前，GPU通用编程的软硬件平台已经相对成 普通消费级别的GPU不支持ECC校验，这一点在开 熟，成为了计算领域的重要力量。GPU能以相对低 发对运算可靠性要求较高的应用时需要特别注意。 廉的价格提供巨大的计算能力，从而获得了广泛的 同常规的并行编程一样，GPU的高度并行性也 应用。GPU通用计算的普及，使个人和小型机构能 使得程序的调试工作较为困难。虽然已有大量工具 有机会获得以往昂贵的大型、超级计算机才能提供 可以用来辅助调试，但对于逻辑错误等的调试依然 的计算能力。可以说，GPU在一定程度上改变了计 是一项艰巨的挑战。 算领域的格局和编程开发模式。 另外，目前基于GPU开发的程序在可移植上还 GPU高度并行的特点使得GPU能够高效地实 存在不足。CUDA由于其简易性和相对完善的生 现计算智能算法，以应对大规模复杂问题，并且已经 态，在GPGPU领域处于绝对的领先地位，然而它仅 在人工神经网络和群体智能优化算法等方面获得了 仅支持NVIDIA的GPU。基于开放标准的OpenCL 大量的成功应用。GPU已经成为深度学习领域中 的程序虽然具有移植性，但是移植性能情况取决于 事实上的标准计算平台，在图像、语音自然语言处理 硬件平台OpenCL驱动性能。目前，OpenCL的流行 等领域发挥着不可替代的作用。基于多GPU和 度正在不断提升，软硬件厂商对OpenCL支持力度 GPU集群的深度网络实现与训练，也是深度学习领 也在不断增大。在未来几年，GPU编程的可移植性 域的研究热点。群体智能优化方法以其内在并行 有望逐渐改善。 性，在GPU平台获得了良好的加速效果，从而扩大 6.2GPU通用计算发展趋势 了群体算法求解问题的规模和范围。随着多目标优 由于智能手机、平板电脑和可穿戴设备的普及， 化应用和研究的日益广泛，基于GPU的多目标群体交互机制袁进一步提高了运行速度遥 在对经典基准 测试函数上的测试表明袁郧孕哉鄄云宰粤 相对于传统基 于 悦孕哉 的烟花算法袁加速近 圆园园 倍遥 群体智能优化方法也在大量实际问题获得良好 应用遥 砸赠皂怎贼 等咱 圆苑 暂实现的 郧孕哉 版本的基于 孕杂韵 的 体追踪算法提速 圆园 耀 源园 倍遥 酝怎泽泽蚤 等咱 圆愿 暂实现的基于 异步 孕杂韵 的人体追踪算法袁将原程序由 悦孕哉 端的几 分钟袁提升到了几秒钟内完成袁实现了跟踪的实时性袁 提高的算法的实用性遥 晕燥遭蚤造藻 等咱 圆怨 暂 将 郧孕哉 多种群 孕杂韵 应用于生物系统的参数估计袁运行时间从 远 澡 缩 减到 员源 皂蚤灶袁大大加快了参数选择过程遥 利用 郧孕哉 加速群体算法袁不仅提高了原有应用的速度袁而且也 扩展了群体优化方法的应用范围遥 新的基于 郧孕哉 的 群体算法的应用在不断的出现袁成研究的热点遥 远摇 分析与讨论 远援员摇 郧孕哉 通用计算的缺点 首先袁并非所有的计算任务都适合利用 郧孕哉 进 行计算遥 郧孕哉 适用于存在大量的数据并行性并且 数据之间无复杂逻辑依赖的计算任务渊典型的如矩 阵计算冤 遥 对于存在复杂逻辑和随机读写的应用场 景袁郧孕哉 可能并不是最佳的选择遥 其次袁郧孕哉 对于算数运算的支持还有待提高遥 虽然现在主流 郧孕哉 都支持符合 陨耘耘耘 标准的浮点运 算袁但在对双精度浮点的支持上还有待提高遥 例如袁 经验表明袁对于同样的网络结构和训练方法袁使用单 精度运算的出错概率要明显高于双精度运算遥 同时袁 普通消费级别的 郧孕哉 不支持 耘悦悦 校验袁这一点在开 发对运算可靠性要求较高的应用时需要特别注意遥 同常规的并行编程一样袁郧孕哉 的高度并行性也 使得程序的调试工作较为困难遥 虽然已有大量工具 可以用来辅助调试袁但对于逻辑错误等的调试依然 是一项艰巨的挑战遥 另外袁目前基于 郧孕哉 开发的程序在可移植上还 存在不足遥 悦哉阅粤 由于其简易性和相对完善的生 态袁在 郧孕郧孕哉 领域处于绝对的领先地位袁然而它仅 仅支持 晕灾陨阅陨粤 的 郧孕哉遥 基于开放标准的 韵责藻灶悦蕴 的程序虽然具有移植性袁但是移植性能情况取决于 硬件平台 韵责藻灶悦蕴 驱动性能遥 目前袁韵责藻灶悦蕴 的流行 度正在不断提升袁软硬件厂商对 韵责藻灶悦蕴 支持力度 也在不断增大遥 在未来几年袁郧孕哉 编程的可移植性 有望逐渐改善遥 远援圆摇 郧孕哉 通用计算发展趋势 由于智能手机尧平板电脑和可穿戴设备的普及袁 以及人们对于语音尧视频等多媒体资源需要的不断 高涨袁郧孕哉 也在这是相对新兴的领域得到广泛应 用遥 未来袁郧孕哉 通用计算也很有可能在这些领域发 挥重要影响袁有望在这一领域带来一场计算变革遥 而这些非传统的计算设备往往具有低功耗和嵌入式 的特点袁这也给 郧孕哉 计算带来了新的挑战咱 猿园袁猿员 暂 遥 互联网的日新月异袁大数据的来势汹汹袁也为大 规模服务器端计算带来了巨大的挑战遥 将 郧孕哉 用 于服务器将是应对挑战的一种潜在的应对方案遥 由 于 郧孕哉 缺乏 悦孕哉 的通用性和灵活性袁选择合适的 组织方式便尤为重要遥 一种可能的方案是将 郧孕哉 和 悦孕哉 按照一定的比例组合渊例如袁一个计算结点 配置若干数量的 悦孕哉 和 郧孕哉冤 遥 目前袁针对 郧孕哉 阵 列或分布式集群袁已经有一些硬件连接解决方案和 中间件支持遥 然而袁这 悦孕哉 和 郧孕哉 之间的通信可 能带来潜在的性能瓶颈遥 混合架构是另一种可能的 选择方案遥 例如袁粤酝阅 等硬件厂商提出 匀杂粤渊 澡藻贼藻则鄄 燥早藻灶藻燥怎泽 泽赠泽贼藻皂 葬则糟澡蚤贼藻糟贼怎则藻冤 概念袁试图将 郧孕哉 和 悦孕哉 在物理架构上进行深度整合袁通过共享物理内 存方式减小通信开销遥 由于基于 匀粤杂 这一新型体 系结构的硬件还未大规模面世袁因此其性能还有待 在理论和实践中进一步检验遥 苑摇 结束语 在计算领域袁已经从多核时代跨向众核时代袁具 有众核架构的 郧孕哉 已经进入高性能计算的主流行 列遥 目前袁郧孕哉 通用编程的软硬件平台已经相对成 熟袁成为了计算领域的重要力量遥 郧孕哉 能以相对低 廉的价格提供巨大的计算能力袁从而获得了广泛的 应用遥 郧孕哉 通用计算的普及袁使个人和小型机构能 有机会获得以往昂贵的大型尧超级计算机才能提供 的计算能力遥 可以说袁郧孕哉 在一定程度上改变了计 算领域的格局和编程开发模式遥 郧孕哉 高度并行的特点使得 郧孕哉 能够高效地实 现计算智能算法袁以应对大规模复杂问题袁并且已经 在人工神经网络和群体智能优化算法等方面获得了 大量的成功应用遥 郧孕哉 已经成为深度学习领域中 事实上的标准计算平台袁在图像尧语音自然语言处理 等领域发挥着不可替代的作用遥 基于多 郧孕哉 和 郧孕哉 集群的深度网络实现与训练袁也是深度学习领 域的研究热点遥 群体智能优化方法以其内在并行 性袁在 郧孕哉 平台获得了良好的加速效果袁从而扩大 了群体算法求解问题的规模和范围遥 随着多目标优 化应用和研究的日益广泛袁基于 郧孕哉 的多目标群体 第 员 期摇摇摇摇摇摇摇摇摇摇摇摇摇摇 丁科袁等院郧孕哉 通用计算及其在计算智能领域的应用 窑怨窑