·410· 智能系统学报 第15卷 领域的方法创新都非常活跃，谷歌大脑团队提出 在深度学习大算力需求的特征也使得智能系统严 的概念激活向量方法，尝试度量模型输出结果对 重依赖云平台的支撑，人工智能发展与云计算发 概念的相关性，在模型可解释性方面进行了有意 展正在实现交汇融通，AI云化和云平台AI化成 义的探索山。在近年来大热的自动机器学习方 为趋势。平台化发展的人工智能系统成为末端深 面，2018年谷歌推出了AutoML Natural Language 入物理世界，云端集超级算力和海量数据的超级 和AutoML Translation等产品，试图使深度学习的 大脑。平台化是AI企业人工智能能力输出的主 模型设计能够自动化进行，减少对专业知识的依 要方式，通过平台开放接口的方式输出算法能力 赖，把深度学习工具向非人工智能领域的专家和 和算力资源。平台化也是加速数据资源汇集加速 工程师推广。关于图网络的研究正在将深度学习 技术迭代的重要推动要素，在产业化应用方面体 能够处理的数据结构类型从象素类数据、时间序 现出“平台+场景应用”的产品形态。 列数据向图数据结构进一步拓展，把端到端学习 4)开源化成为AI技术迭代的重要模式。大 与归纳推理相结合，尝试改进深度学习无法进行 模型的特征也使开源文化在人工智能领域更加繁 关系推理的问题。 荣兴盛。随着模型越来越复杂，从头开发一个模 深度学习方法也在不同领域结合其特点向前 型的难度和出错的可能性越来越大，也很难做到 演化发展。比如在自然语言处理领域，原来 与底层硬件的最优化设计。通过开源框架和开源 TextCNN对文本浅层特征的抽取能力很强，但在 算法复用可大大提升研发人员开发效率，活跃的 长距离建模方面能力受限1.2018年以来，以 使用者贡献者又进一步促进了开源框架开源算法 ELMo模型、BERT模型为代表预训练模型快 的快速更新和完善。Tensorflow成为近年来深度 速兴起，通过融人上下文信息实现了对多义词、 学习开源框架的引领者，脸书发布的PyTorch 句法结构、语义角色等更高层文本概念的建模， 近年来快速崛起o。PyTorch更有利于研究人员 推动自然语言处理领域实现了长足进步。 对小规模项目快速做出原型，而TensorFlow更适 2)模型复杂度和算力需求门槛越来越高。 合大规模部署，特别是需要跨平台和嵌入式工业 2012年，Hinton团队在ImageNet比赛中首次使用 化部署，所以目前也出现学术界和工业界一定程 深度学习用于图像分类任务，当时的神经网络层 度上的选择性分化。在深度学习方法创新方面的 数还只有个位数I6;2015年来自微软的ResNet做 演化和进步，包括解释性、知识建模、机器学习自 到152层m;现在很多团队都在做上万层的深度 动化等突破，也孕育着深度学习框架的革新和全 学习模型。模型深度的增加有可能带来表达能力 球开源框架格局的新变化。 的进一步拓展和突破，但同时也带来了模型复杂 5)软硬协同优化驱动智能计算效率提升。深 度的飞升。BERT模型的标准版本有1亿的参数 度学习带来的计算负荷增长需求已经远超摩尔定 量，数亿参数的模型已经很常见。根据马萨诸塞 律。各类云端、设备端智能加速芯片适应深度学 大学Strubell等⑧I近期对不同模型算力需求的评 习的算法特征，进行矩阵元操作的并行化加速， 估研究，Transformer、.GPT-2等流行的深度神经网 或进行针对特定智能计算任务的精简优化，都是 络模型的性能提升带来了不成比例的计算量和碳 当前智能计算得以不断提升效率的重要驱动力 排放增加。 量。谷歌把Tensorflow与TPU绑定式设计协同 2019年国外多个人工智能研究团队通过德州 优化，英伟达的CUDA将GPU与上层软件优化 扑克、星际争霸等不同的游戏场景，展示了人工 衔接，充分挖掘和发挥GPU的硬件潜力。软硬 智能在开放信息博弈等复杂任务下的巨大潜力， 件协同正成为当前人工智能发展的新特征，初步 同时这些系统大部分都是由大模型、大计算支撑 显现接棒智能时代的“新摩尔定律”的重要 的。据估算DeepMind为星际争霸做的AI- 潜能。 phaStar使用了1万多块TPU,价值数亿元，这就 2 未来人工智能技术创新的几点新 带来了算力门槛的提高，对于很多大学、研究机 趋势 构的中小团队很难获得这种算力科研条件。模型 性能提升如何摆脱对模型复杂度和算力依赖也越 人工智能具有多层次的技术体系，从当前全 来越成为人工智能模型和算法研究中值得关注的 球人工智能创新趋势来看，不论底层计算、认知 问题。 模型到智能算法，目前在各个层面上的理论和技 3)“平台+场景应用”成为主流产品形态。现 术都充满创新机遇，这些方向上的同步推进和渐领域的方法创新都非常活跃，谷歌大脑团队提出 的概念激活向量方法，尝试度量模型输出结果对 概念的相关性，在模型可解释性方面进行了有意 义的探索[1]。在近年来大热的自动机器学习方 面，2018 年谷歌推出了 AutoML Natural Language 和 AutoML Translation 等产品，试图使深度学习的 模型设计能够自动化进行，减少对专业知识的依 赖，把深度学习工具向非人工智能领域的专家和 工程师推广。关于图网络的研究正在将深度学习 能够处理的数据结构类型从象素类数据、时间序 列数据向图数据结构进一步拓展，把端到端学习 与归纳推理相结合，尝试改进深度学习无法进行 关系推理的问题[2]。 深度学习方法也在不同领域结合其特点向前 演化发展。比如在自然语言处理领域，原 来 TextCNN 对文本浅层特征的抽取能力很强，但在 长距离建模方面能力受限[ 3 ]。2018 年以来，以 ELMo 模型[4] 、BERT 模型[5] 为代表预训练模型快 速兴起，通过融入上下文信息实现了对多义词、 句法结构、语义角色等更高层文本概念的建模， 推动自然语言处理领域实现了长足进步。 2) 模型复杂度和算力需求门槛越来越高。 2012 年，Hinton 团队在 ImageNet 比赛中首次使用 深度学习用于图像分类任务，当时的神经网络层 数还只有个位数[6] ；2015 年来自微软的 ResNet 做 到 152 层 [7] ；现在很多团队都在做上万层的深度 学习模型。模型深度的增加有可能带来表达能力 的进一步拓展和突破，但同时也带来了模型复杂 度的飞升。BERT 模型的标准版本有 1 亿的参数 量，数亿参数的模型已经很常见。根据马萨诸塞 大学 Strubell 等 [8] 近期对不同模型算力需求的评 估研究，Transformer、GPT-2 等流行的深度神经网 络模型的性能提升带来了不成比例的计算量和碳 排放增加。 2019 年国外多个人工智能研究团队通过德州 扑克、星际争霸等不同的游戏场景，展示了人工 智能在开放信息博弈等复杂任务下的巨大潜力， 同时这些系统大部分都是由大模型、大计算支撑 的。据估 算 DeepMin d 为星际争霸做 的 A l￾phaStar 使用了 1 万多块 TPU，价值数亿元，这就 带来了算力门槛的提高，对于很多大学、研究机 构的中小团队很难获得这种算力科研条件。模型 性能提升如何摆脱对模型复杂度和算力依赖也越 来越成为人工智能模型和算法研究中值得关注的 问题。 3)“平台+场景应用”成为主流产品形态。现 在深度学习大算力需求的特征也使得智能系统严 重依赖云平台的支撑，人工智能发展与云计算发 展正在实现交汇融通，AI 云化和云平台 AI 化成 为趋势。平台化发展的人工智能系统成为末端深 入物理世界，云端集超级算力和海量数据的超级 大脑。平台化是 AI 企业人工智能能力输出的主 要方式，通过平台开放接口的方式输出算法能力 和算力资源。平台化也是加速数据资源汇集加速 技术迭代的重要推动要素，在产业化应用方面体 现出“平台+场景应用”的产品形态。 4) 开源化成为 AI 技术迭代的重要模式。大 模型的特征也使开源文化在人工智能领域更加繁 荣兴盛。随着模型越来越复杂，从头开发一个模 型的难度和出错的可能性越来越大，也很难做到 与底层硬件的最优化设计。通过开源框架和开源 算法复用可大大提升研发人员开发效率，活跃的 使用者贡献者又进一步促进了开源框架开源算法 的快速更新和完善。Tensorflow 成为近年来深度 学习开源框架的引领者[9] ，脸书发布的 PyTorch 近年来快速崛起[10]。PyTorch 更有利于研究人员 对小规模项目快速做出原型，而 TensorFlow 更适 合大规模部署，特别是需要跨平台和嵌入式工业 化部署，所以目前也出现学术界和工业界一定程 度上的选择性分化。在深度学习方法创新方面的 演化和进步，包括解释性、知识建模、机器学习自 动化等突破，也孕育着深度学习框架的革新和全 球开源框架格局的新变化。 5) 软硬协同优化驱动智能计算效率提升。深 度学习带来的计算负荷增长需求已经远超摩尔定 律。各类云端、设备端智能加速芯片适应深度学 习的算法特征，进行矩阵元操作的并行化加速， 或进行针对特定智能计算任务的精简优化，都是 当前智能计算得以不断提升效率的重要驱动力 量。谷歌把 Tensorflow 与 TPU 绑定式设计协同 优化[11] ；英伟达的 CUDA 将 GPU 与上层软件优化 衔接，充分挖掘和发挥 GPU 的硬件潜力[12]。软硬 件协同正成为当前人工智能发展的新特征，初步 显现接棒智能时代的 “ 新摩尔定律 ” 的重要 潜能。 2 未来人工智能技术创新的几点新 趋势 人工智能具有多层次的技术体系，从当前全 球人工智能创新趋势来看，不论底层计算、认知 模型到智能算法，目前在各个层面上的理论和技 术都充满创新机遇，这些方向上的同步推进和渐 ·410· 智 能 系 统 学 报 第 15 卷