第10卷第1期 智能系统学报 Vol.10No.1 2015年2月 CAAI Transactions on Intelligent Systems Feb.2015 D0I:10.3969/j.issn.1673-4785.201403072 网络出版地址：http://www.cnki.net/kcms/doi/10.3969/j.issn.1673-4785.201403072.html GPU通用计算及其在计算智能领域的应用 丁科2，谭营12 (1.北京大学机器感知与智能教育部重点实验室，北京100871：2.北京大学信息科学技术学院，北京100871) 摘要：在日趋复杂的图形处理任务的推动下，GPU已经演化成为具有众多计算核心、计算能力强大的通用计算设备， 并被越来越多地应用于图形处理之外的计算领域。GU具有高并行、低能耗和低成本的特点，在数据并行度高的计算 任务中，相比与传统的CPU平台有着显著的优势。随着GPU体系结构的不断演进以及开发平台的逐步完善，GPU已 经进入到高性能计算的主流行列。GPU通用计算的普及，使个人和小型机构能有机会获得以往昂贵的大型、超级计算 机才能提供的计算能力，并一定程度上改变了科学计算领域的格局和编程开发模式。GPU提供的强大计算能力极大 地推动了计算智能的发展，并且已经在深度学习和群体智能优化方法等子领域获得了巨大的成功，更是在图像、语音等 领域取得了突破性的进展。随着人工智能技术和方法的不断进步，GPU将在更多的领域获得更加广泛的应用。 关键词：计算智能：群体智能；演化算法；机器学习；深度学习；图形处理器；GPU通用计算：异构计算：高性能计算 中图分类号：TP301文献标志码：A文章编号：1673-4785(2015)01-0001-11 中文引用格式：丁科，谭营.GP0通用计算及其在计算智能领域的应用[J].智能系统学报，2015,10(1)：111. 英文引用格式：DING Ke,TAN Ying.A review on general purpose computing on GPUs and its applications in computational intelli- gence[J].CAAI Transactions on Intelligent Systems,2015,10(1):1-11. A review on general purpose computing on GPUs and its applications in computational intelligence DING Ke'2,TAN Ying'2 (1.Key Laboratory of Machine Perception(MOE),Peking University,Beijing 100871,China;2.School of Electronics Engineering and Computer Science,Peking University,Beijing 100871,China) Abstract:The GPU enjoys the characteristics of high parallelism,low energy consumption and cheap price.Com- pared with the traditional CPU platform,it is especially suitable for tasks with high data parallelism.GPU compu- ting has come into the mainstream of high performance computation(HPC)due to the emerging of development platforms like CUDA and OpenCL.The GPU's enormous computational power greatly promotes computational intel- ligence.A great success has been achieved in the fields such as deep learning and swarm intelligence optimization, and several breakthroughs have been seen in image,and speech recognition because of GPU.Though suffering some drawbacks,GPUs provide common people and small institutions with enormous computing power.This has changed the set-up of scientific computing and programming model because it could only be provided by expensive super- computers.To help researchers in the field of computational intelligence better utilize GPUs,a detailed survey of GPGPU is given in this paper.First,the characteristics and advantages of GPUs against CPUs are presented.Then we briefly review the development of GPU hardware followed by a survey of the evolution of development tools for GPGPU;special attention is drawn to two major platforms,CUDA and OpenCL.We end this paper with our per- spectives of the challenges and trends of GPGPU.We point out that embedding and cluster are two major trends for GPGPU and as both academia and industry continue to see increasing progress in artificial intelligence,the GPU will be more widely used in more domains. Keywords:computational intelligence;swarm intelligence;evolutionary algorithms;machine learning;deep learn- ing;graphics processing unit(GPU);general purpose computing on GPUs;heterogonous computing;high per- formance computing (HPC) 收稿日期：2014-12-18.网络出版日期：2015-01-13. GPU通用计算(general purpose computing on 基金项目：国家自然科学基金资助项目(61375119,61170057， 60875080). GPUs,GPGPU)是一种利用图形处理器(graphics 通信作者：谭营.E-mail:ytan@pku.edu.cn.第 员园 卷第 员 期摇摇摇摇摇 摇摇 摇摇摇 摇摇摇 智 能 系 统 学 报摇摇摇摇摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 灾燥造援员园翼援员 圆园员缘 年 圆 月摇摇摇摇摇摇摇摇摇摇摇 悦粤粤陨 栽则葬灶泽葬糟贼蚤燥灶泽 燥灶 陨灶贼藻造造蚤早藻灶贼 杂赠泽贼藻皂泽 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 云藻遭援 圆园员缘 阅韵陨院员园援猿怨远怨 辕 躁援蚤泽泽灶援员远苑猿鄄源苑愿缘援圆园员源园猿园苑圆 网络出版地址院澡贼贼责院 辕 辕 憎憎憎援糟灶噪蚤援灶藻贼 辕 噪糟皂泽 辕 凿燥蚤 辕 员园援猿怨远怨 辕 躁援蚤泽泽灶援员远苑猿鄄源苑愿缘援圆园员源园猿园苑圆援澡贼皂造 郧孕哉 通用计算及其在计算智能领域的应用 丁科员袁圆 袁谭营员袁圆 渊员援北京大学 机器感知与智能教育部重点实验室袁北京 员园园愿苑员曰 圆援北京大学 信息科学技术学院袁北京 员园园愿苑员冤 摘 要院在日趋复杂的图形处理任务的推动下袁郧孕哉 已经演化成为具有众多计算核心尧计算能力强大的通用计算设备袁 并被越来越多地应用于图形处理之外的计算领域遥 郧孕哉 具有高并行尧低能耗和低成本的特点袁在数据并行度高的计算 任务中袁相比与传统的 悦孕哉 平台有着显著的优势遥 随着 郧孕哉 体系结构的不断演进以及开发平台的逐步完善袁郧孕哉 已 经进入到高性能计算的主流行列遥 郧孕哉 通用计算的普及袁使个人和小型机构能有机会获得以往昂贵的大型尧超级计算 机才能提供的计算能力袁并一定程度上改变了科学计算领域的格局和编程开发模式遥 郧孕哉 提供的强大计算能力极大 地推动了计算智能的发展袁并且已经在深度学习和群体智能优化方法等子领域获得了巨大的成功袁更是在图像尧语音等 领域取得了突破性的进展遥 随着人工智能技术和方法的不断进步袁郧孕哉 将在更多的领域获得更加广泛的应用遥 关键词院计算智能曰群体智能曰演化算法曰机器学习曰深度学习曰图形处理器曰郧孕哉 通用计算曰异构计算曰高性能计算 中图分类号院栽孕猿园员摇 文献标志码院粤摇 文章编号院员远苑猿鄄源苑愿缘渊圆园员缘冤园员鄄园园园员鄄员员 中文引用格式院丁科袁谭营援 郧孕哉 通用计算及其在计算智能领域的应用咱允暂援 智能系统学报袁 圆园员缘袁 员园渊员冤 院 员鄄员员援 英文引用格式院阅陨晕郧 运藻袁栽粤晕 再蚤灶早援 粤 则藻增蚤藻憎 燥灶 早藻灶藻则葬造 责怎则责燥泽藻 糟燥皂责怎贼蚤灶早 燥灶 郧孕哉泽 葬灶凿 蚤贼泽 葬责责造蚤糟葬贼蚤燥灶泽 蚤灶 糟燥皂责怎贼葬贼蚤燥灶葬造 蚤灶贼藻造造蚤鄄 早藻灶糟藻咱允暂援 悦粤粤陨 栽则葬灶泽葬糟贼蚤燥灶泽 燥灶 陨灶贼藻造造蚤早藻灶贼 杂赠泽贼藻皂泽袁 圆园员缘袁 员园渊员冤 院 员鄄员员援 粤 则藻增蚤藻憎 燥灶 早藻灶藻则葬造 责怎则责燥泽藻 糟燥皂责怎贼蚤灶早 燥灶 郧孕哉泽 葬灶凿 蚤贼泽 葬责责造蚤糟葬贼蚤燥灶泽 蚤灶 糟燥皂责怎贼葬贼蚤燥灶葬造 蚤灶贼藻造造蚤早藻灶糟藻 阅陨晕郧 运藻员袁圆 袁 栽粤晕 再蚤灶早员袁圆 渊员援 运藻赠 蕴葬遭燥则葬贼燥则赠 燥枣 酝葬糟澡蚤灶藻 孕藻则糟藻责贼蚤燥灶 渊酝韵耘冤 袁 孕藻噪蚤灶早 哉灶蚤增藻则泽蚤贼赠袁 月藻蚤躁蚤灶早 员园园愿苑员袁 悦澡蚤灶葬曰 圆援 杂糟澡燥燥造 燥枣 耘造藻糟贼则燥灶蚤糟泽 耘灶早蚤灶藻藻则蚤灶早 葬灶凿 悦燥皂责怎贼藻则 杂糟蚤藻灶糟藻袁 孕藻噪蚤灶早 哉灶蚤增藻则泽蚤贼赠袁 月藻蚤躁蚤灶早 员园园愿苑员袁 悦澡蚤灶葬冤 粤遭泽贼则葬糟贼院栽澡藻 郧孕哉 藻灶躁燥赠泽 贼澡藻 糟澡葬则葬糟贼藻则蚤泽贼蚤糟泽 燥枣 澡蚤早澡 责葬则葬造造藻造蚤泽皂袁 造燥憎 藻灶藻则早赠 糟燥灶泽怎皂责贼蚤燥灶 葬灶凿 糟澡藻葬责 责则蚤糟藻援 悦燥皂鄄 责葬则藻凿 憎蚤贼澡 贼澡藻 贼则葬凿蚤贼蚤燥灶葬造 悦孕哉 责造葬贼枣燥则皂袁 蚤贼 蚤泽 藻泽责藻糟蚤葬造造赠 泽怎蚤贼葬遭造藻 枣燥则 贼葬泽噪泽 憎蚤贼澡 澡蚤早澡 凿葬贼葬 责葬则葬造造藻造蚤泽皂援 郧孕哉 糟燥皂责怎鄄 贼蚤灶早 澡葬泽 糟燥皂藻 蚤灶贼燥 贼澡藻 皂葬蚤灶泽贼则藻葬皂 燥枣 澡蚤早澡 责藻则枣燥则皂葬灶糟藻 糟燥皂责怎贼葬贼蚤燥灶 渊 匀孕悦冤 凿怎藻 贼燥 贼澡藻 藻皂藻则早蚤灶早 燥枣 凿藻增藻造燥责皂藻灶贼 责造葬贼枣燥则皂泽 造蚤噪藻 悦哉阅粤 葬灶凿 韵责藻灶悦蕴援 栽澡藻 郧孕哉鸳泽 藻灶燥则皂燥怎泽 糟燥皂责怎贼葬贼蚤燥灶葬造 责燥憎藻则 早则藻葬贼造赠 责则燥皂燥贼藻泽 糟燥皂责怎贼葬贼蚤燥灶葬造 蚤灶贼藻造鄄 造蚤早藻灶糟藻援 粤 早则藻葬贼 泽怎糟糟藻泽泽 澡葬泽 遭藻藻灶 葬糟澡蚤藻增藻凿 蚤灶 贼澡藻 枣蚤藻造凿泽 泽怎糟澡 葬泽 凿藻藻责 造藻葬则灶蚤灶早 葬灶凿 泽憎葬则皂 蚤灶贼藻造造蚤早藻灶糟藻 燥责贼蚤皂蚤扎葬贼蚤燥灶袁 葬灶凿 泽藻增藻则葬造 遭则藻葬噪贼澡则燥怎早澡泽 澡葬增藻 遭藻藻灶 泽藻藻灶 蚤灶 蚤皂葬早藻袁 葬灶凿 泽责藻藻糟澡 则藻糟燥早灶蚤贼蚤燥灶 遭藻糟葬怎泽藻 燥枣 郧孕哉援 栽澡燥怎早澡 泽怎枣枣藻则蚤灶早 泽燥皂藻 凿则葬憎遭葬糟噪泽袁 郧孕哉泽 责则燥增蚤凿藻 糟燥皂皂燥灶 责藻燥责造藻 葬灶凿 泽皂葬造造 蚤灶泽贼蚤贼怎贼蚤燥灶泽 憎蚤贼澡 藻灶燥则皂燥怎泽 糟燥皂责怎贼蚤灶早 责燥憎藻则援 栽澡蚤泽 澡葬泽 糟澡葬灶早藻凿 贼澡藻 泽藻贼原怎责 燥枣 泽糟蚤藻灶贼蚤枣蚤糟 糟燥皂责怎贼蚤灶早 葬灶凿 责则燥早则葬皂皂蚤灶早 皂燥凿藻造 遭藻糟葬怎泽藻 蚤贼 糟燥怎造凿 燥灶造赠 遭藻 责则燥增蚤凿藻凿 遭赠 藻曾责藻灶泽蚤增藻 泽怎责藻则鄄 糟燥皂责怎贼藻则泽援 栽燥 澡藻造责 则藻泽藻葬则糟澡藻则泽 蚤灶 贼澡藻 枣蚤藻造凿 燥枣 糟燥皂责怎贼葬贼蚤燥灶葬造 蚤灶贼藻造造蚤早藻灶糟藻 遭藻贼贼藻则 怎贼蚤造蚤扎藻 郧孕哉泽袁 葬 凿藻贼葬蚤造藻凿 泽怎则增藻赠 燥枣 郧孕郧孕哉 蚤泽 早蚤增藻灶 蚤灶 贼澡蚤泽 责葬责藻则遥 云蚤则泽贼袁 贼澡藻 糟澡葬则葬糟贼藻则蚤泽贼蚤糟泽 葬灶凿 葬凿增葬灶贼葬早藻泽 燥枣 郧孕哉泽 葬早葬蚤灶泽贼 悦孕哉泽 葬则藻 责则藻泽藻灶贼藻凿援 栽澡藻灶 憎藻 遭则蚤藻枣造赠 则藻增蚤藻憎 贼澡藻 凿藻增藻造燥责皂藻灶贼 燥枣 郧孕哉 澡葬则凿憎葬则藻 枣燥造造燥憎藻凿 遭赠 葬 泽怎则增藻赠 燥枣 贼澡藻 藻增燥造怎贼蚤燥灶 燥枣 凿藻增藻造燥责皂藻灶贼 贼燥燥造泽 枣燥则 郧孕郧孕哉曰 泽责藻糟蚤葬造 葬贼贼藻灶贼蚤燥灶 蚤泽 凿则葬憎灶 贼燥 贼憎燥 皂葬躁燥则 责造葬贼枣燥则皂泽袁 悦哉阅粤 葬灶凿 韵责藻灶悦蕴援 宰藻 藻灶凿 贼澡蚤泽 责葬责藻则 憎蚤贼澡 燥怎则 责藻则鄄 泽责藻糟贼蚤增藻泽 燥枣 贼澡藻 糟澡葬造造藻灶早藻泽 葬灶凿 贼则藻灶凿泽 燥枣 郧孕郧孕哉援 宰藻 责燥蚤灶贼 燥怎贼 贼澡葬贼 藻皂遭藻凿凿蚤灶早 葬灶凿 糟造怎泽贼藻则 葬则藻 贼憎燥 皂葬躁燥则 贼则藻灶凿泽 枣燥则 郧孕郧孕哉 葬灶凿 葬泽 遭燥贼澡 葬糟葬凿藻皂蚤葬 葬灶凿 蚤灶凿怎泽贼则赠 糟燥灶贼蚤灶怎藻 贼燥 泽藻藻 蚤灶糟则藻葬泽蚤灶早 责则燥早则藻泽泽 蚤灶 葬则贼蚤枣蚤糟蚤葬造 蚤灶贼藻造造蚤早藻灶糟藻袁 贼澡藻 郧孕哉 憎蚤造造 遭藻 皂燥则藻 憎蚤凿藻造赠 怎泽藻凿 蚤灶 皂燥则藻 凿燥皂葬蚤灶泽援 运藻赠憎燥则凿泽院糟燥皂责怎贼葬贼蚤燥灶葬造 蚤灶贼藻造造蚤早藻灶糟藻曰 泽憎葬则皂 蚤灶贼藻造造蚤早藻灶糟藻曰 藻增燥造怎贼蚤燥灶葬则赠 葬造早燥则蚤贼澡皂泽曰 皂葬糟澡蚤灶藻 造藻葬则灶蚤灶早曰 凿藻藻责 造藻葬则灶鄄 蚤灶早曰 早则葬责澡蚤糟泽 责则燥糟藻泽泽蚤灶早 怎灶蚤贼 渊郧孕哉冤 曰 早藻灶藻则葬造 责怎则责燥泽藻 糟燥皂责怎贼蚤灶早 燥灶 郧孕哉泽曰 澡藻贼藻则燥早燥灶燥怎泽 糟燥皂责怎贼蚤灶早曰 澡蚤早澡 责藻则鄄 枣燥则皂葬灶糟藻 糟燥皂责怎贼蚤灶早 渊匀孕悦冤 收稿日期院圆园员源鄄员圆鄄员愿援摇 网络出版日期院圆园员缘鄄园员鄄员猿援 基金 项 目院 国家自然科学基金资助项目 渊 远员猿苑缘员员怨袁 远员员苑园园缘苑袁 远园愿苑缘园愿园冤援 通信作者院谭营援 耘鄄皂葬蚤造院赠贼葬灶岳 责噪怎援藻凿怎援糟灶援 摇 摇 郧孕哉 通用计算 渊 早藻灶藻则葬造 责怎则责燥泽藻 糟燥皂责怎贼蚤灶早 燥灶 郧孕哉泽袁 郧孕郧孕哉冤 是一种利用图形处理器渊 早则葬责澡蚤糟泽