第15卷第2期 智能系统学报 Vol.15 No.2 2020年3月 CAAI Transactions on Intelligent Systems Mar.2020 D0:10.11992/tis.202001030 网络出版地址：http:/kns.cnki.net/kcms/detail/23.1538.TP.20200327.1336.002.html 当前人工智能技术创新特征和演进趋势 李修全 (中国科学技术发晨战略研究院，北京100038) 摘要：近年来，全球人工智能发展进入新一轮技术创新活跃期，新的理论、模型、算法快速迭代。本文从模型 算法、软硬件实现以及技术形态等角度分析了当前全球人工智能技术的主要特征，总结了国内外人工智能前沿 研究的一些创新热点和新动向，并从基础理论突破、底层计算模式创新、模型算法演进等方面，展望和探讨了 未来人工智能技术进一步突破的几个可能趋势。 关键词：人工智能：技术形态：创新特征；发展趋势；软硬件协同；技术融合：模型轻量化 中图分类号：TP18 文献标志码：A文章编号：1673-4785(2020)02-0409-04 中文引用格式：李修全.当前人工智能技术创新特征和演进趋势J.智能系统学报，2020,15(2)：409-412. 英文引用格式：LI Xiuquan.Main features and development trend in current artificial intelligence technology innovation[J].CAAl transactions on intelligent systems,2020,15(2):409-412. Main features and development trend in current artificial intelligence technology innovation LI Xiuquan (Chinese Academy of Science and Technology for Development,Beijing 100038,China) Abstract:In recent years,the development of global artificial intelligence(AI)has entered a new round of active period, with the rapid iteration of new theories,models,and algorithms.This study analyzes the main features of the current Al technology innovation from the perspective of model algorithms,software and hardware implementations,and intelli- gent system forms.It summarizes some of the innovation hotspots in the domestic as well as international frontier re- search of AI.Furthermore,in terms of the breakthroughs in basic theory,innovation of underlying computing models, and evolution of model algorithms,several possible trends in the future development of AI technology are discussed. Keywords:Artificial intelligence;technical form;innovation feature;development trend;software-hardware collabora- tion;technology fusion;lightweight model 近年来人工智能在全球蓬勃发展，很大程度1当前人工智能技术创新的几点特征 上得益于信息技术群进入一个密集成熟期，人工 智能算法得以向并行化、规模化、复杂化发展。 大数据+深度学习正在成为当前人工智能各 基于大数据和深度学习的人工智能技术路线引发 领域研究的最重要范式，也是当前人工智能产业 了这一轮的发展高潮，并使感知智能率先达到商 化的主要驱动力量。在这一主流技术路线引领 用化门槛，成为人工智能产业化的突破口。同 下，全球人工智能技术创新正在表现出以下特点。 时，全球人工智能技术创新活跃，正在体现出一 1)深度学习模型和方法持续创新。现在深度 些新特点，孕育着一些新趋势。 学习仍有很多问题没有解决，包括模型知识表示 能力、可解释性、网络结构设计、训练优化方法问 收稿日期：2020-01-21.网络出版日期：2020-03-27. 题等，还在困扰着深度学习性能和在一些领域的 通信作者：李修全.E-mail:lixq@casted..org.cn 产业化应用。近年来，学术界产业界在深度学习
DOI: 10.11992/tis.202001030 网络出版地址: http://kns.cnki.net/kcms/detail/23.1538.TP.20200327.1336.002.html 当前人工智能技术创新特征和演进趋势 李修全 （中国科学技术发展战略研究院，北京 100038） 摘 要：近年来，全球人工智能发展进入新一轮技术创新活跃期，新的理论、模型、算法快速迭代。本文从模型 算法、软硬件实现以及技术形态等角度分析了当前全球人工智能技术的主要特征，总结了国内外人工智能前沿 研究的一些创新热点和新动向，并从基础理论突破、底层计算模式创新、模型算法演进等方面，展望和探讨了 未来人工智能技术进一步突破的几个可能趋势。 关键词：人工智能；技术形态；创新特征；发展趋势；软硬件协同；技术融合；模型轻量化 中图分类号：TP18 文献标志码：A 文章编号：1673−4785(2020)02−0409−04 中文引用格式：李修全. 当前人工智能技术创新特征和演进趋势 [J]. 智能系统学报, 2020, 15(2): 409–412. 英文引用格式：LI Xiuquan. Main features and development trend in current artificial intelligence technology innovation[J]. CAAI transactions on intelligent systems, 2020, 15(2): 409–412. Main features and development trend in current artificial intelligence technology innovation LI Xiuquan (Chinese Academy of Science and Technology for Development, Beijing 100038, China) Abstract: In recent years, the development of global artificial intelligence (AI) has entered a new round of active period, with the rapid iteration of new theories, models, and algorithms. This study analyzes the main features of the current AI technology innovation from the perspective of model algorithms, software and hardware implementations, and intelligent system forms. It summarizes some of the innovation hotspots in the domestic as well as international frontier research of AI. Furthermore, in terms of the breakthroughs in basic theory, innovation of underlying computing models, and evolution of model algorithms, several possible trends in the future development of AI technology are discussed. Keywords: Artificial intelligence; technical form; innovation feature; development trend; software-hardware collaboration; technology fusion; lightweight model 近年来人工智能在全球蓬勃发展，很大程度 上得益于信息技术群进入一个密集成熟期，人工 智能算法得以向并行化、规模化、复杂化发展。 基于大数据和深度学习的人工智能技术路线引发 了这一轮的发展高潮，并使感知智能率先达到商 用化门槛，成为人工智能产业化的突破口。同 时，全球人工智能技术创新活跃，正在体现出一 些新特点，孕育着一些新趋势。 1 当前人工智能技术创新的几点特征 大数据+深度学习正在成为当前人工智能各 领域研究的最重要范式，也是当前人工智能产业 化的主要驱动力量。在这一主流技术路线引领 下，全球人工智能技术创新正在表现出以下特点。 1) 深度学习模型和方法持续创新。现在深度 学习仍有很多问题没有解决，包括模型知识表示 能力、可解释性、网络结构设计、训练优化方法问 题等，还在困扰着深度学习性能和在一些领域的 产业化应用。近年来，学术界产业界在深度学习 收稿日期：2020−01−21. 网络出版日期：2020−03−27. 通信作者：李修全. E-mail：lixq@casted.org.cn. 第 15 卷第 2 期 智 能 系 统 学 报 Vol.15 No.2 2020 年 3 月 CAAI Transactions on Intelligent Systems Mar. 2020
·410· 智能系统学报 第15卷 领域的方法创新都非常活跃，谷歌大脑团队提出 在深度学习大算力需求的特征也使得智能系统严 的概念激活向量方法，尝试度量模型输出结果对 重依赖云平台的支撑，人工智能发展与云计算发 概念的相关性，在模型可解释性方面进行了有意 展正在实现交汇融通，AI云化和云平台AI化成 义的探索山。在近年来大热的自动机器学习方 为趋势。平台化发展的人工智能系统成为末端深 面，2018年谷歌推出了AutoML Natural Language 入物理世界，云端集超级算力和海量数据的超级 和AutoML Translation等产品，试图使深度学习的 大脑。平台化是AI企业人工智能能力输出的主 模型设计能够自动化进行，减少对专业知识的依 要方式，通过平台开放接口的方式输出算法能力 赖，把深度学习工具向非人工智能领域的专家和 和算力资源。平台化也是加速数据资源汇集加速 工程师推广。关于图网络的研究正在将深度学习 技术迭代的重要推动要素，在产业化应用方面体 能够处理的数据结构类型从象素类数据、时间序 现出“平台+场景应用”的产品形态。 列数据向图数据结构进一步拓展，把端到端学习 4)开源化成为AI技术迭代的重要模式。大 与归纳推理相结合，尝试改进深度学习无法进行 模型的特征也使开源文化在人工智能领域更加繁 关系推理的问题。 荣兴盛。随着模型越来越复杂，从头开发一个模 深度学习方法也在不同领域结合其特点向前 型的难度和出错的可能性越来越大，也很难做到 演化发展。比如在自然语言处理领域，原来 与底层硬件的最优化设计。通过开源框架和开源 TextCNN对文本浅层特征的抽取能力很强，但在 算法复用可大大提升研发人员开发效率，活跃的 长距离建模方面能力受限1.2018年以来，以 使用者贡献者又进一步促进了开源框架开源算法 ELMo模型、BERT模型为代表预训练模型快 的快速更新和完善。Tensorflow成为近年来深度 速兴起，通过融人上下文信息实现了对多义词、 学习开源框架的引领者，脸书发布的PyTorch 句法结构、语义角色等更高层文本概念的建模， 近年来快速崛起o。PyTorch更有利于研究人员 推动自然语言处理领域实现了长足进步。 对小规模项目快速做出原型，而TensorFlow更适 2)模型复杂度和算力需求门槛越来越高。 合大规模部署，特别是需要跨平台和嵌入式工业 2012年，Hinton团队在ImageNet比赛中首次使用 化部署，所以目前也出现学术界和工业界一定程 深度学习用于图像分类任务，当时的神经网络层 度上的选择性分化。在深度学习方法创新方面的 数还只有个位数I6;2015年来自微软的ResNet做 演化和进步，包括解释性、知识建模、机器学习自 到152层m;现在很多团队都在做上万层的深度 动化等突破，也孕育着深度学习框架的革新和全 学习模型。模型深度的增加有可能带来表达能力 球开源框架格局的新变化。 的进一步拓展和突破，但同时也带来了模型复杂 5)软硬协同优化驱动智能计算效率提升。深 度的飞升。BERT模型的标准版本有1亿的参数 度学习带来的计算负荷增长需求已经远超摩尔定 量，数亿参数的模型已经很常见。根据马萨诸塞 律。各类云端、设备端智能加速芯片适应深度学 大学Strubell等⑧I近期对不同模型算力需求的评 习的算法特征，进行矩阵元操作的并行化加速， 估研究，Transformer、.GPT-2等流行的深度神经网 或进行针对特定智能计算任务的精简优化，都是 络模型的性能提升带来了不成比例的计算量和碳 当前智能计算得以不断提升效率的重要驱动力 排放增加。 量。谷歌把Tensorflow与TPU绑定式设计协同 2019年国外多个人工智能研究团队通过德州 优化，英伟达的CUDA将GPU与上层软件优化 扑克、星际争霸等不同的游戏场景，展示了人工 衔接，充分挖掘和发挥GPU的硬件潜力。软硬 智能在开放信息博弈等复杂任务下的巨大潜力， 件协同正成为当前人工智能发展的新特征，初步 同时这些系统大部分都是由大模型、大计算支撑 显现接棒智能时代的“新摩尔定律”的重要 的。据估算DeepMind为星际争霸做的AI- 潜能。 phaStar使用了1万多块TPU,价值数亿元，这就 2 未来人工智能技术创新的几点新 带来了算力门槛的提高，对于很多大学、研究机 趋势 构的中小团队很难获得这种算力科研条件。模型 性能提升如何摆脱对模型复杂度和算力依赖也越 人工智能具有多层次的技术体系，从当前全 来越成为人工智能模型和算法研究中值得关注的 球人工智能创新趋势来看，不论底层计算、认知 问题。 模型到智能算法，目前在各个层面上的理论和技 3)“平台+场景应用”成为主流产品形态。现 术都充满创新机遇，这些方向上的同步推进和渐
领域的方法创新都非常活跃，谷歌大脑团队提出 的概念激活向量方法，尝试度量模型输出结果对 概念的相关性，在模型可解释性方面进行了有意 义的探索[1]。在近年来大热的自动机器学习方 面，2018 年谷歌推出了 AutoML Natural Language 和 AutoML Translation 等产品，试图使深度学习的 模型设计能够自动化进行，减少对专业知识的依 赖，把深度学习工具向非人工智能领域的专家和 工程师推广。关于图网络的研究正在将深度学习 能够处理的数据结构类型从象素类数据、时间序 列数据向图数据结构进一步拓展，把端到端学习 与归纳推理相结合，尝试改进深度学习无法进行 关系推理的问题[2]。 深度学习方法也在不同领域结合其特点向前 演化发展。比如在自然语言处理领域，原 来 TextCNN 对文本浅层特征的抽取能力很强，但在 长距离建模方面能力受限[ 3 ]。2018 年以来，以 ELMo 模型[4] 、BERT 模型[5] 为代表预训练模型快 速兴起，通过融入上下文信息实现了对多义词、 句法结构、语义角色等更高层文本概念的建模， 推动自然语言处理领域实现了长足进步。 2) 模型复杂度和算力需求门槛越来越高。 2012 年，Hinton 团队在 ImageNet 比赛中首次使用 深度学习用于图像分类任务，当时的神经网络层 数还只有个位数[6] ；2015 年来自微软的 ResNet 做 到 152 层 [7] ；现在很多团队都在做上万层的深度 学习模型。模型深度的增加有可能带来表达能力 的进一步拓展和突破，但同时也带来了模型复杂 度的飞升。BERT 模型的标准版本有 1 亿的参数 量，数亿参数的模型已经很常见。根据马萨诸塞 大学 Strubell 等 [8] 近期对不同模型算力需求的评 估研究，Transformer、GPT-2 等流行的深度神经网 络模型的性能提升带来了不成比例的计算量和碳 排放增加。 2019 年国外多个人工智能研究团队通过德州 扑克、星际争霸等不同的游戏场景，展示了人工 智能在开放信息博弈等复杂任务下的巨大潜力， 同时这些系统大部分都是由大模型、大计算支撑 的。据估 算 DeepMin d 为星际争霸做 的 A lphaStar 使用了 1 万多块 TPU，价值数亿元，这就 带来了算力门槛的提高，对于很多大学、研究机 构的中小团队很难获得这种算力科研条件。模型 性能提升如何摆脱对模型复杂度和算力依赖也越 来越成为人工智能模型和算法研究中值得关注的 问题。 3)“平台+场景应用”成为主流产品形态。现 在深度学习大算力需求的特征也使得智能系统严 重依赖云平台的支撑，人工智能发展与云计算发 展正在实现交汇融通，AI 云化和云平台 AI 化成 为趋势。平台化发展的人工智能系统成为末端深 入物理世界，云端集超级算力和海量数据的超级 大脑。平台化是 AI 企业人工智能能力输出的主 要方式，通过平台开放接口的方式输出算法能力 和算力资源。平台化也是加速数据资源汇集加速 技术迭代的重要推动要素，在产业化应用方面体 现出“平台+场景应用”的产品形态。 4) 开源化成为 AI 技术迭代的重要模式。大 模型的特征也使开源文化在人工智能领域更加繁 荣兴盛。随着模型越来越复杂，从头开发一个模 型的难度和出错的可能性越来越大，也很难做到 与底层硬件的最优化设计。通过开源框架和开源 算法复用可大大提升研发人员开发效率，活跃的 使用者贡献者又进一步促进了开源框架开源算法 的快速更新和完善。Tensorflow 成为近年来深度 学习开源框架的引领者[9] ，脸书发布的 PyTorch 近年来快速崛起[10]。PyTorch 更有利于研究人员 对小规模项目快速做出原型，而 TensorFlow 更适 合大规模部署，特别是需要跨平台和嵌入式工业 化部署，所以目前也出现学术界和工业界一定程 度上的选择性分化。在深度学习方法创新方面的 演化和进步，包括解释性、知识建模、机器学习自 动化等突破，也孕育着深度学习框架的革新和全 球开源框架格局的新变化。 5) 软硬协同优化驱动智能计算效率提升。深 度学习带来的计算负荷增长需求已经远超摩尔定 律。各类云端、设备端智能加速芯片适应深度学 习的算法特征，进行矩阵元操作的并行化加速， 或进行针对特定智能计算任务的精简优化，都是 当前智能计算得以不断提升效率的重要驱动力 量。谷歌把 Tensorflow 与 TPU 绑定式设计协同 优化[11] ；英伟达的 CUDA 将 GPU 与上层软件优化 衔接，充分挖掘和发挥 GPU 的硬件潜力[12]。软硬 件协同正成为当前人工智能发展的新特征，初步 显现接棒智能时代的 “ 新摩尔定律 ” 的重要 潜能。 2 未来人工智能技术创新的几点新 趋势 人工智能具有多层次的技术体系，从当前全 球人工智能创新趋势来看，不论底层计算、认知 模型到智能算法，目前在各个层面上的理论和技 术都充满创新机遇，这些方向上的同步推进和渐 ·410· 智 能 系 统 学 报 第 15 卷
第2期 李修全：当前人工智能技术创新特征和演进趋势 ·411· 次突破，将为人工智能未来发展不断注人新的 技术的能力瓶颈，助力人工智能产业化落地向工 活力。 业制造、L4级以上的自动驾驶等要求更高的领域 1)智能计算前移与云边端混合架构。现在各 推进。多技术综合应用、结合场景的产品技术创 类深度学习计算主要依赖后端算力，也就不可避 新，将为经济社会智能化变革持续赋能。 免地需要承担通信时延导致的系统整体性能损 4)多学科交叉驱动理论突破。人工智能具有 失。在人工智能平台化发展的基础上，智能计算 多学科综合的天然属性，学科交叉将是下一步理 前移也正在成为当前人工智能发展的新趋势。在 论创新的重要驱动力。数学、物理学、逻辑学、神 智能手机、安防监控、可穿戴设备以及智能驾驶 经科学、社会科学等都是人工智能学术研究的紧 等各领域，定制化、低功耗、低成本的嵌入式产 密联动学科，将为人工智能未来发展提供不可缺 品，正在将很多智能处理迁移到前端。业界已经 少的理论来源。尤其是当前支撑深度学习模型发 研发了多种类型的前端AI处理器，不仅可以直接 展的数学基础还比较薄弱，网络规模和结构设 运行像贝叶斯、决策树等一些轻量级机器学习算 计、训练优化等方面还需要形成有理论支撑的普 法，而且辅以轻量级推理引擎，能够使训练好的 适性方法，新的数学理论和方法将进一步加速深 深度学习模型很方便地在前端进行推理运算。将 度学习能力突破。 视觉智能芯片嵌入摄像头，可把很多针对图像的 神经科学领域也是未来人工智能学科交叉的 智能处理迁移到前端，直接在前端进行过滤降 另一高地。人工智能发展历程中大量里程碑式成 噪，或是对视频、图像进行针对特定任务的信息 就都得益于神经科学、认知科学的理论支撑和原 处理，只需将结果信息上传云端。同时，在前端 理启发。在下一步突破认知智能过程中，更加需 还可以通过智能算法进行注意力选择操作，把摄 要借助神经科学和认知科学的启发，创造一大批 像头资源更多聚集到视觉目标上，并能把一些涉 新的方法，建立认知智能的方法体系。 及隐私的细节信息屏蔽掉，适度采集适度上传， 5)底层计算模式创新孕育体系性换代机遇。 更好地保护公众隐私。针对不同应用场景，未来 硬件层面类脑计算的基本理念是通过模拟人脑神 智能计算任务将在设备端、边缘端、云端进行更 经元行为方式，设计类似人脑神经处理机理的存 加优化和协同配置。 算一体新型计算模式，构造更接近人脑物理结构 2)技术融合驱动智能算法创新。人工智能经 和工作模式的高效能智能计算系统。BM、英特 历数十年发展在不同技术路线下已经形成很多优 尔等公司在这方面都在快速探索，已经形成 秀方法。AlphaGo创新性地融合了深度学习、增 TrueNorth和Pohoiki Beach等初期产品，在稀疏编 强学习和启发式搜索等不同技术的优势，解决了 码、图搜索等方面表现出一定潜力41。清华大 围棋这一难点问题1。不同方法各有所长，对于 学近期研发出一款基于忆阻器阵列的“天机”芯 解决认知和推理类任务，符号主义学派的很多方 片，不仅能够支持传统架构机器学习算法和神经 法可能更为有成效，旧的算法也可能在新的信息 形态计算模型的独立部署，还能够支持两者的异 技术环境下重焕光辉。未来加强数据驱动和知识 构建模6 驱动融合，将为智能算法创新开辟广阔空间。比 近期全球量子计算领域发展也非常快，未来 如目前深度学习存在缺乏知识和理解的局限，融 量子计算机有可能对智能计算的能力和速度带来 入经验表示、知识处理方法，不仅能够简化模型， 指数级提升，特定功能的量子芯片和量子人工智 降低计算量，也能形成知识建模推理能力，拓展 能处理器也有望融合传统架构，推动混合计算架 深度学习的适用范围。在自然语言理解领域也是 构的演进发展。这些方向上的底层创新难度都很 如此，也需要将基于语料的知识抽取、谓词逻辑 大，需要更长的时间，但都在人工智能底层计算 表达和推理等知识库方法与深度学习方法相 架构甚至整体计算范式方面孕育着新的机遇。 融合。 3思考与启示 3)新兴信息技术群持续赋能产品创新。智能 化不只是人工智能，在大数据、互联网、云计算等 近年来，全球人工智能技术创新发展迅猛，未 技术群的共同支撑下，人工智能技术才开始走向 来将深刻影响经济形态，造福人们生活。总体上 产业化落地。未来，工业物联网、5G高速移动通 看，人工智能的发展还处于早期阶段，面临大量 信、VR、区块链等新兴信息技术与人工智能将相 理论和技术难题需要攻克。人工智能未来的持续 互促进、相互成就，通过技术融合突破现有智能 发展还需要各国的通力合作，协同攻克智能科学
次突破，将为人工智能未来发展不断注入新的 活力。 1) 智能计算前移与云边端混合架构。现在各 类深度学习计算主要依赖后端算力，也就不可避 免地需要承担通信时延导致的系统整体性能损 失。在人工智能平台化发展的基础上，智能计算 前移也正在成为当前人工智能发展的新趋势。在 智能手机、安防监控、可穿戴设备以及智能驾驶 等各领域，定制化、低功耗、低成本的嵌入式产 品，正在将很多智能处理迁移到前端。业界已经 研发了多种类型的前端 AI 处理器，不仅可以直接 运行像贝叶斯、决策树等一些轻量级机器学习算 法，而且辅以轻量级推理引擎，能够使训练好的 深度学习模型很方便地在前端进行推理运算。将 视觉智能芯片嵌入摄像头，可把很多针对图像的 智能处理迁移到前端，直接在前端进行过滤降 噪，或是对视频、图像进行针对特定任务的信息 处理，只需将结果信息上传云端。同时，在前端 还可以通过智能算法进行注意力选择操作，把摄 像头资源更多聚集到视觉目标上，并能把一些涉 及隐私的细节信息屏蔽掉，适度采集适度上传， 更好地保护公众隐私。针对不同应用场景，未来 智能计算任务将在设备端、边缘端、云端进行更 加优化和协同配置。 2) 技术融合驱动智能算法创新。人工智能经 历数十年发展在不同技术路线下已经形成很多优 秀方法。AlphaGo 创新性地融合了深度学习、增 强学习和启发式搜索等不同技术的优势，解决了 围棋这一难点问题[13]。不同方法各有所长，对于 解决认知和推理类任务，符号主义学派的很多方 法可能更为有成效，旧的算法也可能在新的信息 技术环境下重焕光辉。未来加强数据驱动和知识 驱动融合，将为智能算法创新开辟广阔空间。比 如目前深度学习存在缺乏知识和理解的局限，融 入经验表示、知识处理方法，不仅能够简化模型， 降低计算量，也能形成知识建模推理能力，拓展 深度学习的适用范围。在自然语言理解领域也是 如此，也需要将基于语料的知识抽取、谓词逻辑 表达和推理等知识库方法与深度学习方法相 融合。 3) 新兴信息技术群持续赋能产品创新。智能 化不只是人工智能，在大数据、互联网、云计算等 技术群的共同支撑下，人工智能技术才开始走向 产业化落地。未来，工业物联网、5G 高速移动通 信、VR、区块链等新兴信息技术与人工智能将相 互促进、相互成就，通过技术融合突破现有智能 技术的能力瓶颈，助力人工智能产业化落地向工 业制造、L4 级以上的自动驾驶等要求更高的领域 推进。多技术综合应用、结合场景的产品技术创 新，将为经济社会智能化变革持续赋能。 4) 多学科交叉驱动理论突破。人工智能具有 多学科综合的天然属性，学科交叉将是下一步理 论创新的重要驱动力。数学、物理学、逻辑学、神 经科学、社会科学等都是人工智能学术研究的紧 密联动学科，将为人工智能未来发展提供不可缺 少的理论来源。尤其是当前支撑深度学习模型发 展的数学基础还比较薄弱，网络规模和结构设 计、训练优化等方面还需要形成有理论支撑的普 适性方法，新的数学理论和方法将进一步加速深 度学习能力突破。 神经科学领域也是未来人工智能学科交叉的 另一高地。人工智能发展历程中大量里程碑式成 就都得益于神经科学、认知科学的理论支撑和原 理启发。在下一步突破认知智能过程中，更加需 要借助神经科学和认知科学的启发，创造一大批 新的方法，建立认知智能的方法体系。 5) 底层计算模式创新孕育体系性换代机遇。 硬件层面类脑计算的基本理念是通过模拟人脑神 经元行为方式，设计类似人脑神经处理机理的存 算一体新型计算模式，构造更接近人脑物理结构 和工作模式的高效能智能计算系统。IBM、英特 尔等公司在这方面都在快速探索，已经形 成 TrueNorth 和 Pohoiki Beach 等初期产品，在稀疏编 码、图搜索等方面表现出一定潜力[14-15]。清华大 学近期研发出一款基于忆阻器阵列的“天机”芯 片，不仅能够支持传统架构机器学习算法和神经 形态计算模型的独立部署，还能够支持两者的异 构建模[16]。 近期全球量子计算领域发展也非常快，未来 量子计算机有可能对智能计算的能力和速度带来 指数级提升，特定功能的量子芯片和量子人工智 能处理器也有望融合传统架构，推动混合计算架 构的演进发展。这些方向上的底层创新难度都很 大，需要更长的时间，但都在人工智能底层计算 架构甚至整体计算范式方面孕育着新的机遇[17]。 3 思考与启示 近年来，全球人工智能技术创新发展迅猛，未 来将深刻影响经济形态，造福人们生活。总体上 看，人工智能的发展还处于早期阶段，面临大量 理论和技术难题需要攻克。人工智能未来的持续 发展还需要各国的通力合作，协同攻克智能科学 第 2 期 李修全：当前人工智能技术创新特征和演进趋势 ·411·
·412· 智能系统学报 第15卷 领域的诸多难题。 policy considerations for deep learning in NLP[C]//Pro- 同时，当前人工智能理论到技术转换快、创 ceedings of the 57th Conference of the Association for 新周期短的特征越来越明显，产学研协同创新尤 Computational Linguistics.Florence,Italy,2019. 为重要。当前出现的像算力门槛、数据共享等问 [9]ABADI M,AGARWAL A,BARHAM P,et al.Tensor- 题可能对人工智能协同创新带来不利影响。加强 flow:Large-scale machine learning on heterogeneous dis- 学术界和产业界的合作，强化研发链的衔接，促 tributed systems[EB/OL].https://arxiv.org/abs/1603. 04467v1. 进开源开放，必将有助于进一步加速学术创新和 [10]PASZKE A,GROSS S,MASSA F,et al.PyTorch:An 技术成果产业化落地。 imperative style,high-performance deep learning 参考文献： library[EB/OL].https://arxiv.org/abs/1912.01703?con- text=cs.LG. [1]KIM B.WATTENBERG M,GILMER J,et al.Interpretab- [11]JOUPPI N P,YOUNG C,PATIL N,et al.In-datacenter ility beyond feature attribution:quantitative Testing with performance analysis of a tensor processing unit[C]//Pro- Concept Activation Vectors (TCAV)[C]//Proceedings of ceedings of the 44th Annual International Symposium on the 35th International Conference on Machine Learning Computer Architecture (ISCA).Toronto,Canada,2017: 2018.Stockholm,Sweden,2018:2673-2682. 1-12. [2]BATTAGLIA P W.HAMRICK J B.BAPST V.et al.Re- [12]NVIDIA.GPU-based deep learning inference:a perform- lational inductive biases,deep learning,and graph net- ance and power analysis[EB/OL].California:NVIDIA. works[EB/OL].https://arxiv.org/abs/1806.0126 2015.(2015-11)[2020-03-25].https:/www.nvidia.com/ [3]KIM Y.Convolutional neural networks for sentence classi- content/tegra/embedded-systems/pdf/jetson_txI fication[Cl//Proceedings of the 2014 Conference on Empir- whitepaper.pdf. ical Methods in Natural Language Processing(EMNLP). [13]SILVER D,HUANG A,MADDISON C J,et al.Master- Doha,Qatar,,2014:1746-1751. ing the game of Go with deep neural networks and tree [4]PETERS M E,NEUMANN M,IYYER M,et al.Deep search[J.Nature,2016,529(7587):484-489 contextualized word representations[C]//Proceedings of the [14]ULLMAN S.Using neuroscience to develop artificial in- 2018 Conference of the North American Chapter of the As- telligence[J].Science,2019,363(6428):692-693 sociation for Computational Linguistics (NAACL).Louisi- [15]ROY K.JAISWAL A,PANDA P.Towards spike-based ana,USA.2018. machine intelligence with neuromorphic computing[J]. [5]DEVLIN J,CHANG Mingwei,LEE K,et al.BERT:Pre- Nature,2019,575(7784):607-617. training of deep bidirectional transformers for language un- [16]PEI Jing,DENG Lei,SONG Sen,et al.Towards artificial derstanding[C]//Proceedings of the 2019 Conference of the general intelligence with hybrid Tianjic chip North American Chapter of the Association for Computa- architecture[J].Nature,2019,572(7767):106-111. tional Linguistics (NAACL).Minneapolis,MN,USA, [17]YING Mingsheng.Quantum computation,quantum the- 2019. ory and AI[J].Artificial intelligence,2010,174(2): [6]KRIZHEVSKY A.SUTSKEVER I,HINTON G.ImageN- 162-176 et classification with deep convolutional neural 作者简介： networks[C]//Proceedings of the 26th Annual Conference on Neural Information Processing Systems(NIPS).Lake 李修全，研究员，工学博土，硕士 生导师，兼任科技部新一代人工智能 Tahoe,USA,2012:1097-1105 发展研究中心副主任，主要研究方向 [7]HE Kaiming,ZHANG Xiangyu,REN Shaoqing,et al. 为大数据与人工智能技术预测、产业 Deep residual learning for image recognition[EB/OL].ht- 技术路线图、人工智能创新政策研 tps://arxiv.org/abs/1512.03385. 究。主持课题10余项，发表学术论 [8]STRUBELL E,GANESH A,MCCALLUM A.Energy and 文40余篇
领域的诸多难题。 同时，当前人工智能理论到技术转换快、创 新周期短的特征越来越明显，产学研协同创新尤 为重要。当前出现的像算力门槛、数据共享等问 题可能对人工智能协同创新带来不利影响。加强 学术界和产业界的合作，强化研发链的衔接，促 进开源开放，必将有助于进一步加速学术创新和 技术成果产业化落地。 参考文献： KIM B, WATTENBERG M, GILMER J, et al. Interpretability beyond feature attribution: quantitative Testing with Concept Activation Vectors (TCAV)[C]//Proceedings of the 35th International Conference on Machine Learning 2018. Stockholm, Sweden, 2018: 2673–2682. [1] BATTAGLIA P W, HAMRICK J B, BAPST V, et al. Relational inductive biases, deep learning, and graph networks[EB/OL]. https://arxiv.org/abs/1806.0126. [2] KIM Y. Convolutional neural networks for sentence classification[C]//Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP). Doha, Qatar, 2014: 1746–1751. [3] PETERS M E, NEUMANN M, IYYER M, et al. Deep contextualized word representations[C]//Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL). Louisiana, USA, 2018. [4] DEVLIN J, CHANG Mingwei, LEE K, et al. BERT: Pretraining of deep bidirectional transformers for language understanding[C]//Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL). Minneapolis, MN, USA, 2019. [5] KRIZHEVSKY A, SUTSKEVER I, HINTON G. ImageNet classification with deep convolutional neural networks[C]//Proceedings of the 26th Annual Conference on Neural Information Processing Systems (NIPS). Lake Tahoe, USA, 2012: 1097–1105. [6] HE Kaiming, ZHANG Xiangyu, REN Shaoqing, et al. Deep residual learning for image recognition[EB/OL]. https://arxiv.org/abs/1512.03385. [7] [8] STRUBELL E, GANESH A, MCCALLUM A. Energy and policy considerations for deep learning in NLP[C]//Proceedings of the 57th Conference of the Association for Computational Linguistics. Florence, Italy, 2019. ABADI M, AGARWAL A, BARHAM P, et al. Tensorflow: Large-scale machine learning on heterogeneous distributed systems[EB/OL]. https://arxiv.org/abs/1603. 04467v1. [9] PASZKE A, GROSS S, MASSA F, et al. PyTorch: An imperative style, high-performance deep learning library[EB/OL]. https://arxiv.org/abs/1912.01703?context=cs.LG. [10] JOUPPI N P, YOUNG C, PATIL N, et al. In-datacenter performance analysis of a tensor processing unit[C]//Proceedings of the 44th Annual International Symposium on Computer Architecture (ISCA). Toronto, Canada, 2017: 1–12. [11] NVIDIA. GPU-based deep learning inference: a performance and power analysis[EB/OL]. California: NVIDIA, 2015. (2015-11)[2020-03-25]. https://www.nvidia.com/ content/tegra/embedded-systems/pdf/jetson_tx1_ whitepaper.pdf. [12] SILVER D, HUANG A, MADDISON C J, et al. Mastering the game of Go with deep neural networks and tree search[J]. Nature, 2016, 529(7587): 484–489. [13] ULLMAN S. Using neuroscience to develop artificial intelligence[J]. Science, 2019, 363(6428): 692–693. [14] ROY K, JAISWAL A, PANDA P. Towards spike-based machine intelligence with neuromorphic computing[J]. Nature, 2019, 575(7784): 607–617. [15] PEI Jing, DENG Lei, SONG Sen, et al. Towards artificial general intelligence with hybrid Tianjic chip architecture[J]. Nature, 2019, 572(7767): 106–111. [16] YING Mingsheng. Quantum computation, quantum theory and AI[J]. Artificial intelligence, 2010, 174(2): 162–176. [17] 作者简介： 李修全，研究员，工学博士，硕士 生导师，兼任科技部新一代人工智能 发展研究中心副主任，主要研究方向 为大数据与人工智能技术预测、产业 技术路线图、人工智能创新政策研 究。主持课题 10 余项，发表学术论 文 40 余篇。 ·412· 智 能 系 统 学 报 第 15 卷