第1期 唐杰：浅谈人工智能的下一个十年 ·191· 神经网络中加入了递归网络的思想。1997 个打砖块的任务。后来又被应用在许多游戏场景 年于尔根·施密德胡伯(Jurgen Schmidhuber)发明 中，其成果发表在Nature上。Double Dueling对这 了长短期记忆模型LSTM(long-short term 个思路进行了一些扩展，主要是Q-Learning的权 memory),这是一个里程碑式的工作。当然，真正 重更新时序上。DeepMind的其他工作如DDPG、 让序列神经网络模型得到广泛关注的还是 A3C也非常有名，它们是基于Policy Gradient和神 2013年Hinton组使用RNN做语音识别的工作， 经网络结合的变种。大家都熟知的AlphaGo,里 识别效果比传统方法显著提高。在文本分析方 面其实既用了RL的方法也有传统的蒙特卡洛搜 面，另一个图灵奖获得者Yoshua Bengio在 索技巧。Deep Mind后来提出了一个用Al- SVM很受关注的时期提出了一种基于神经网络 phaGo框架、但通过主学习来玩不同（棋类）游戏 的语言模型（当然当时机器学习还是SVM和 的新算法Alpha Zero。 CRF的天下)，后来Google提出的word2vec 总体来看，在这个深度学习算法引领的人工 (2013)也有一些反向传播的思想，最重要的是给 智能浪潮中，以神经网络为核心的机器学习算法 出了一个非常高效的实现，从而引发了这方面研 取得了快速的进展。那么未来十年，A将何去何从？ 究的热潮。后来，在机器翻译等任务上逐渐出现 了以RNN为基础的seg2seq模型，通过一个En- 3展望未来十年 coder把一句话的语义信息压缩成向量再通过De 这里，我想首先引用张钹院士提出来的第三 coder转换输出得到这句话的翻译结果，后来该方 代人工智能的理论体系。2015年，张钹院士提出 法被扩展到和注意力机制(Attention)相结合，也 第三代人工智能体系的雏形。2017年，美国国防 大大扩展了模型的表示能力和实际效果。再后 高级研究计划局(DARPA)发起XAI项目，核心思 来，大家发现使用以字符为单位的CNN模型在很 想是从可解释的机器学习系统、人机交互技术以 多语言任务也有不俗的表现，而且时空消耗更 及可解释的心理学理论3个方面，全面开展可解 少。Self-attention实际上就是采取一种结构去同 释性AI系统的研究。2018年底，张钹院士正式 时考虑同一序列局部和全局的信息，Google有一 公开提出第三代人工智能的理论框架体系，核心 篇很有名的文章“Attention is All You Need”把 思想为：1)建立可解释、鲁棒性的人工智能理论 基于Attention的序列神经模型推向高潮。当然 和方法；2)发展安全、可靠、可信及可扩展的人工 2019年ACL上同样有另一篇文章给这一研究稍 智能技术；3)推动人工智能创新应用。其中具体 微降了降温。2018年底Google提出BERT模型， 实施的路线图包括：1)与脑科学融合，发展脑启 将GPT中的单向语言模型拓展为双向语言模型 发的人工智能理论；2)数据与知识融合的人工智 (masked language model),并在预训练中引入了 能理论与方法。这标志着人工智能从感知时代逐 sentence prediction任务。BERT模型在lI个任务 渐进入认知时代。 中取得了最好的效果，是深度学习在NLP领域又 Yoshua Bengio在NeuIPS2019上的报告 一个里程碑式的工作。BERT自从在arXiv上发 "From System al Deep Learning to System 2 表以来获得了研究界和工业界的极大关注，仿佛 Deep Learning”讨论了深度学习发展的方向，进 打开了深度学习在NLP应用的潘多拉魔盒。随 一步肯定这一畅想。Bengio肯定了人工智能已 后涌现了一大批类似于“BERT”的预训练(pre- 经在“听、说、看”等感知智能领域达到甚至超越 trained)模型，有引入BERT中双向上下文信息的 人类水准，但在需要外部知识、逻辑推理以及领 广义自回归模型XLNet,也有改进BERT训练方 域迁移的认知领域还处于初级阶段。认知智能 式和目标的RoBERTa和SpanBERT,还有结合多 将从认知心理学、脑科学中汲取灵感，并结合知 任务以及知识蒸馏(knowledge distillation)强化 识图谱、因果推理等技术，建立知识表示、推理的 BERT的MT-DNN等，这些被大家称为BERTo- 有效机制，实现从感知智能到认知智能的关键突 Iogy。 破。Bengio介绍了人的认知系统包含两个子系 第4条发展脉络（粉色区域）是增强学习。这 统（这是认知理论中大家共识的观点）：System 个领域最出名的当属Deep Mind.,图中标出的大 1(子系统1)是直觉系统，主要负责快速、无意识、 卫·席尔瓦(David Silver))博土是一直研究RL的高 非语言的认知，比如当人被问到一个问题的时 管。Q-learning是很有名的传统RL算法，Deep Q- 候，可能下意识地或者说习惯性地回答，这就属 learning将原来的Q值表用神经网络代替，做了 于System1的范畴。Bengio认为目前深度学习神经网络中加入了递归网络的思想。 1997 年于尔根·施密德胡伯 (Jürgen Schmidhuber) 发明 了长短期记忆模 型 LSTM(long-short term memory)，这是一个里程碑式的工作。当然，真正 让序列神经网络模型得到广泛关注的还 是 2013 年 Hinton 组使用 RNN 做语音识别的工作， 识别效果比传统方法显著提高。在文本分析方 面，另一个图灵奖获得 者 Yoshua Bengi o 在 SVM 很受关注的时期提出了一种基于神经网络 的语言模型 (当然当时机器学习还是 SVM 和 CRF 的天下)，后来 Googl e 提出的 word2vec (2013) 也有一些反向传播的思想，最重要的是给 出了一个非常高效的实现，从而引发了这方面研 究的热潮。后来，在机器翻译等任务上逐渐出现 了以 RNN 为基础的 seq2seq 模型，通过一个 En￾coder 把一句话的语义信息压缩成向量再通过 De￾coder 转换输出得到这句话的翻译结果，后来该方 法被扩展到和注意力机制 (Attention) 相结合，也 大大扩展了模型的表示能力和实际效果。再后 来，大家发现使用以字符为单位的 CNN 模型在很 多语言任务也有不俗的表现，而且时空消耗更 少。Self-attention 实际上就是采取一种结构去同 时考虑同一序列局部和全局的信息，Google 有一 篇很有名的文章“Attention is All You Need”把 基于 Attention 的序列神经模型推向高潮。当然 2019 年 ACL 上同样有另一篇文章给这一研究稍 微降了降温。2018 年底 Google 提出 BERT 模型， 将 GPT 中的单向语言模型拓展为双向语言模型 (masked language model)，并在预训练中引入了 sentence prediction 任务。BERT 模型在 11 个任务 中取得了最好的效果，是深度学习在 NLP 领域又 一个里程碑式的工作。BERT 自从在 arXiv 上发 表以来获得了研究界和工业界的极大关注，仿佛 打开了深度学习在 NLP 应用的潘多拉魔盒。随 后涌现了一大批类似于“BERT”的预训练 (pre￾trained) 模型，有引入 BERT 中双向上下文信息的 广义自回归模型 XLNet，也有改进 BERT 训练方 式和目标的 RoBERTa 和 SpanBERT，还有结合多 任务以及知识蒸馏 (knowledge distillation) 强化 BERT 的 MT-DNN 等，这些被大家称为 BERTo￾logy。 第 4 条发展脉络 (粉色区域) 是增强学习。这 个领域最出名的当属 Deep Mind，图中标出的大 卫·席尔瓦 (David Silver) 博士是一直研究 RL 的高 管。Q-learning 是很有名的传统 RL 算法，Deep Q￾learning 将原来的 Q 值表用神经网络代替，做了一 个打砖块的任务。后来又被应用在许多游戏场景 中，其成果发表在 Nature 上。Double Dueling 对这 个思路进行了一些扩展，主要是 Q-Learning 的权 重更新时序上。DeepMind 的其他工作如 DDPG、 A3C 也非常有名，它们是基于 Policy Gradient 和神 经网络结合的变种。大家都熟知的 AlphaGo，里 面其实既用了 RL 的方法也有传统的蒙特卡洛搜 索技巧。 Deep Min d 后来提出了一个 用 A l￾phaGo 框架、但通过主学习来玩不同 (棋类) 游戏 的新算法 Alpha Zero。 总体来看，在这个深度学习算法引领的人工 智能浪潮中，以神经网络为核心的机器学习算法 取得了快速的进展。那么未来十年，AI 将何去何从？ 3 展望未来十年 这里，我想首先引用张钹院士提出来的第三 代人工智能的理论体系。2015 年，张钹院士提出 第三代人工智能体系的雏形。2017 年，美国国防 高级研究计划局 (DARPA) 发起 XAI 项目，核心思 想是从可解释的机器学习系统、人机交互技术以 及可解释的心理学理论 3 个方面，全面开展可解 释性 AI 系统的研究。2018 年底，张钹院士正式 公开提出第三代人工智能的理论框架体系，核心 思想为：1) 建立可解释、鲁棒性的人工智能理论 和方法；2) 发展安全、可靠、可信及可扩展的人工 智能技术；3) 推动人工智能创新应用。其中具体 实施的路线图包括：1) 与脑科学融合，发展脑启 发的人工智能理论；2) 数据与知识融合的人工智 能理论与方法。这标志着人工智能从感知时代逐 渐进入认知时代。 Yoshua Bengio 在 NeuIPS 2019 上的报告 “From System a1 Deep Learning to System 2 Deep Learning”讨论了深度学习发展的方向，进 一步肯定这一畅想。Bengio 肯定了人工智能已 经在“听、说、看”等感知智能领域达到甚至超越 人类水准，但在需要外部知识、逻辑推理以及领 域迁移的认知领域还处于初级阶段。认知智能 将从认知心理学、脑科学中汲取灵感，并结合知 识图谱、因果推理等技术，建立知识表示、推理的 有效机制，实现从感知智能到认知智能的关键突 破。Bengio 介绍了人的认知系统包含两个子系 统 (这是认知理论中大家共识的观点)：System 1(子系统 1) 是直觉系统，主要负责快速、无意识、 非语言的认知，比如当人被问到一个问题的时 候，可能下意识地或者说习惯性地回答，这就属 于 System 1 的范畴。Bengio 认为目前深度学习 第 1 期 唐杰：浅谈人工智能的下一个十年 ·191·