《深度学习》课程教学大纲 一、课程基本信息 课程代码：18100173 课程名称：深度学习 英文名称：Deep learning 课程类别：专业方向课 学 时：48 学 分：3 适用对象：大三以上对人工智能及相关学科感兴趣的学生 考核方式：考查 先修课程：数学分析、高等代数、概率论与数理统计 二、课程简介 本课程是人工智能前沿课程，培养学生用机器学习方法分析并解决包括但不限于 图像理解、语音识别、自然语言理解等实际问题的能力。内容主要主要分成三大块， “是以回归、分类、广义回归为代表的浅层模型：二是BP神经网络、深度网络、卷 积网络、反馈网络、长短期记忆单元等为代表的深度神经网络模型：三是介于有监督 学习和无监督学习之间的强化学习模型。这些技术和内容是当今人工智能人才所必须 堂握的，也是相关企业所迫切需要的。课程的特色是通时通俗易懂的推导、简单的算 例展示各种模型的技术细节，然后通过实验来强化对知识的理解和动手能力的提高。 This is one of cutting-edge course from the field of artificial intelligence.Generally, The topics cover shallow model(regression/classification models include the basic concept of machine leamning,generalized linear models).Deep model(BP networks and Depth learning models,deep convolution network,Rucurrent neural network,Long-short term memory model)and a set of methods called reenforced leaming techniques used in today's popular AlphaGo chess programs 三、课程性质与教学目的（黑体，小4） (正文宋体/小四) 建议在课程教学目的融入课程思政要求 本课程是人工智能前沿课程，其目的是借助统计学科背景知识，让学生彻底理解 并掌握以深度学习为代表的人工智能前沿技术，培养学生用机器学习方法分析并解决 包括但不限于图像理解、语音识别、自然语言理解等实际问题的能力。为相关企事业 单位培养合格的人工智能方面的人才
1 《深度学习》课程教学大纲 一、课程基本信息 课程代码：18100173 课程名称：深度学习 英文名称：Deep learning 课程类别：专业方向课 学 时：48 学 分：3 适用对象:大三以上对人工智能及相关学科感兴趣的学生 考核方式：考查 先修课程：数学分析、高等代数、概率论与数理统计 二、课程简介 本课程是人工智能前沿课程，培养学生用机器学习方法分析并解决包括但不限于 图像理解、语音识别、自然语言理解等实际问题的能力。内容主要主要分成三大块， 一是以回归、分类、广义回归为代表的浅层模型；二是 BP 神经网络、深度网络、卷 积网络、反馈网络、长短期记忆单元等为代表的深度神经网络模型；三是介于有监督 学习和无监督学习之间的强化学习模型。这些技术和内容是当今人工智能人才所必须 掌握的，也是相关企业所迫切需要的。课程的特色是通过通俗易懂的推导、简单的算 例展示各种模型的技术细节，然后通过实验来强化对知识的理解和动手能力的提高。 This is one of cutting-edge course from the field of artificial intelligence. Generally, The topics cover shallow model( regression/classification models include the basic concept of machine learning , generalized linear models),Deep model(BP networks and Depth learning models, deep convolution network, Rucurrent neural network, Long-short term memory model ) and a set of methods called reenforced learning techniques used in today's popular AlphaGo chess programs. 三、课程性质与教学目的(黑体,小 4) （正文宋体/小四） 建议在课程教学目的融入课程思政要求 本课程是人工智能前沿课程，其目的是借助统计学科背景知识，让学生彻底理解 并掌握以深度学习为代表的人工智能前沿技术，培养学生用机器学习方法分析并解决 包括但不限于图像理解、语音识别、自然语言理解等实际问题的能力。为相关企事业 单位培养合格的人工智能方面的人才
通过本课程，将结合技术的介绍穿插进行课程思政教育，让学生形成科技强国的 意识，甚至形成科技复兴民族的理念。具体地，本课程将向学生传递科学技术发展规 律基础上，设法让学生建立正确的科学与技术的辩证统一的关系的认知，并认识中外 科技发展水平差异，以及差距背后的个体和群体的原因。然后让学生潜移默化中形成 踏踏实实做学问，在个体扎实科研工作基础上实现个人价值与国家、民族复兴大业这 一社会价值的统一。 四、教学内容及要求（黑体.小4） 建议重点在此模块根据课程情况融入课程思政元素 第一章浅层超型 (一)目的与要求 1.介绍机器学习的基本概念和方法，掌握编程实现机器学习算法的能力 2.掌握数据分析基本方法和背后的统计学原理 3.理解浅层模型处理数据能力的局限 (二)教学内容 第一节深度学习史前发展史 1主要内容 数据分析的三个阶段的划分。从统计学、数学、计算机三大学科在数据分析中的 角色演变认识科技发展规律。 2.基本概念和知识点 数据分析，机器学习，人工智能三概念，以及统计学、计算机技术发展在数据科 学中的角色与作用演化 3.问题与应用（能力要求） 要求做到概念清晰，学科边界明确，发展脉络的准确把握。 第二节线性回归模型 1.主要内容 线性回归（梯度下降，正规方程），模型选择，属性空间，假设函数空间，特征映 射，特征选择，回归分析的概率解释。 2.基本概念和知识点 训练集，输入变量/特征，输出变量/标变量，假设函数，极小二乘法，优化目标，随机 2
2 通过本课程，将结合技术的介绍穿插进行课程思政教育，让学生形成科技强国的 意识，甚至形成科技复兴民族的理念。具体地，本课程将向学生传递科学技术发展规 律基础上，设法让学生建立正确的科学与技术的辩证统一的关系的认知，并认识中外 科技发展水平差异，以及差距背后的个体和群体的原因。然后让学生潜移默化中形成 踏踏实实做学问，在个体扎实科研工作基础上实现个人价值与国家、民族复兴大业这 一社会价值的统一。 四、教学内容及要求(黑体,小 4) 建议重点在此模块根据课程情况融入课程思政元素 第一章 浅层模型 （一）目的与要求 1.介绍机器学习的基本概念和方法，掌握编程实现机器学习算法的能力 2.掌握数据分析基本方法和背后的统计学原理 3.理解浅层模型处理数据能力的局限 （二）教学内容 第一节 深度学习史前发展史 1.主要内容 数据分析的三个阶段的划分。从统计学、数学、计算机三大学科在数据分析中的 角色演变认识科技发展规律。 2.基本概念和知识点 数据分析，机器学习，人工智能三概念，以及统计学、计算机技术发展在数据科 学中的角色与作用演化。 3.问题与应用（能力要求） 要求做到概念清晰，学科边界明确，发展脉络的准确把握。 第二节 线性回归模型 1.主要内容 线性回归（梯度下降,正规方程），模型选择，属性空间，假设函数空间，特征映 射，特征选择，回归分析的概率解释。 2.基本概念和知识点 训练集,输入变量/特征,输出变量/目标变量,假设函数,极小二乘法,优化目标,随机
梯度，全梯度」 3.问题与应用（能力要求） 掌握机器学习的基本概念，初步建立模型的概念，并掌握通过优化方法编程实现从 数据中学习简单的线性模型的能力 第三节Logistics二分类模型 1.主要内容 回归与分类问题，Logistics回归 2.基本概念和知识点 伯努利分布与分类问题 3.问题与应用（能力要求） 建立训练数据的概率分布的概念，初步形成对数据的洞察力。理解并掌握为何不 同分布的数据需选用不同的模型。掌握通过优化方法编程实现从数据中学习简单的二 分类模型的能力。 第四节Softmax多分类模型 1主要内容 Softmax多分类模型 2.基本概念和知识点 多重伯努利分布与多分类模型 3.问题与应用（能力要求） 建立训练数据的概率分布的概念，初步形成对数据的洞察力。理解并掌握为何不 同分布的数据需选用不同的模型。掌握通过优化方法编程实现从数据中学习简单的多 分类模型的能力。 第五节广义线性模型 1.主要内容 广义线性模型GLMs 2.基本概念和知识点 指数分布族，联接函数Link function),响应函数Response function)
3 梯度,全梯度. 3.问题与应用（能力要求） 掌握机器学习的基本概念,初步建立模型的概念,并掌握通过优化方法编程实现从 数据中学习简单的线性模型的能力. 第三节 Logistics 二分类模型 1.主要内容 回归与分类问题，Logistics 回归 2.基本概念和知识点 伯努利分布与分类问题 3.问题与应用（能力要求） 建立训练数据的概率分布的概念，初步形成对数据的洞察力。理解并掌握为何不 同分布的数据需选用不同的模型。掌握通过优化方法编程实现从数据中学习简单的二 分类模型的能力。 第四节 Softmax 多分类模型 1.主要内容 Softmax 多分类模型 2.基本概念和知识点 多重伯努利分布与多分类模型 3.问题与应用（能力要求） 建立训练数据的概率分布的概念，初步形成对数据的洞察力。理解并掌握为何不 同分布的数据需选用不同的模型。掌握通过优化方法编程实现从数据中学习简单的多 分类模型的能力。 第五节 广义线性模型 1.主要内容 广义线性模型 GLMs 2.基本概念和知识点 指数分布族，联接函数(Link function),响应函数(Response function)
3.问题与应用（能力要求） 进一步理解线性模型的局限以及广义线性模型思想在克服传统线性模型不足上 的努力及取得的相应效果，逐步形成广义线性模型这一类浅层模型的内在局限性的认 识。理解并掌握Softmax多分类模型，掌握通过优化方法编程实现从数据中学习多分 类模型的能力。 第四节模型选择与交叉验证 1.主要内容 模型选择，特征选择。 2.基本概念和知识点 欠拟合和过拟合，方差与偏倚，训练误差，测试误差，交叉验证，k折交叉验证 3.问题与应用（能力要求） 理解欠拟合和过拟合的概念，并能通过训练误差和测试误差识别模型是处于欠拟 合还是处于过拟合。掌握通过交叉验证方法进行模型选择的基本方法。 (三)思考与实践 编程实现至少一个浅层模型，并思考浅层模型的局限。 (四)教学方法与手段 课堂讲授，课后编程 第二章深层模型 (一)目的与要求 1.介绍BP神经网络、深层神经网络 2理解深层神经网络工作机理，掌握训练深层神经网络的技巧 3.掌握克服深层神经网络过拟合的若干技巧和方法 (二)教学内容 第一节传统BP网络 1.主要内容 联结学派的生物学背景，BP网络结构，BP算法 2.基本概念和知识点
4 3.问题与应用（能力要求） 进一步理解线性模型的局限以及广义线性模型思想在克服传统线性模型不足上 的努力及取得的相应效果，逐步形成广义线性模型这一类浅层模型的内在局限性的认 识。理解并掌握 Softmax 多分类模型，掌握通过优化方法编程实现从数据中学习多分 类模型的能力。 第四节 模型选择与交叉验证 1.主要内容 模型选择，特征选择。 2.基本概念和知识点 欠拟合和过拟合，方差与偏倚，训练误差，测试误差，交叉验证，k-折交叉验证 3.问题与应用（能力要求） 理解欠拟合和过拟合的概念，并能通过训练误差和测试误差识别模型是处于欠拟 合还是处于过拟合。掌握通过交叉验证方法进行模型选择的基本方法。 (三)思考与实践 编程实现至少一个浅层模型，并思考浅层模型的局限。 (四)教学方法与手段 课堂讲授，课后编程 第二章 深层模型 （一）目的与要求 1.介绍 BP 神经网络、深层神经网络 2.理解深层神经网络工作机理，掌握训练深层神经网络的技巧 3.掌握克服深层神经网络过拟合的若干技巧和方法 （二）教学内容 第一节 传统 BP 网络 1.主要内容 联结学派的生物学背景，BP 网络结构，BP 算法 2.基本概念和知识点
MP神经元模型，激活函数，前向计算，反向计算，3层BP网络的任意逼近能 力 3.问题与应用（能力要求） 掌握BP网络的原理和计算过程。掌握通过优化方法编程实现BP算法 第二节从BP网络到深度网络 1.主要内容 BP网络的局限及深度网络优点，表示学习，深度学习中的正则化技术 2基本概念和知识点 无监督学习，梯度消失爆炸，逐层贪心预训练，稀疏自编码，栈式自编码，特 征提取，微调多层自编码，表示稀疏，模型平均，Dropout 3.问题与应用（能力要求） 理解并掌握深度学习中的关键技术，比如特征提取，正则化技术。具备将深度技 术应用于解决高精度的分类识别难题的能力。 第三节深度网络的进一步解释 1主要内容 深层网络的可视化、深层网络的局部整体表征学习能力 2.基本概念和知识点 自动特征提取、局部整体表征学习 3.问题与应用（能力要求） 理解并掌握深度神经网络在局部整体表征学习方面的能力。具备将深度技术应 用于解决高精度的分类识别难题的能力。 第四节克服过拟合：深度网络中的正则化技术 1.主要内容 克服过拟合的三类技术：模型约束、输入约束、模型集成 2.基本概念和知识点 正则化、过拟合 3.问题与应用（能力要求）
5 MP 神经元模型，激活函数，前向计算，反向计算，3 层 BP 网络的任意逼近能 力 3.问题与应用（能力要求） 掌握 BP 网络的原理和计算过程。掌握通过优化方法编程实现 BP 算法。 第二节 从 BP 网络到深度网络 1.主要内容 BP 网络的局限及深度网络优点，表示学习，深度学习中的正则化技术 2.基本概念和知识点 无监督学习，梯度消失/爆炸，逐层贪心预训练，稀疏自编码，栈式自编码，特 征提取，微调多层自编码，表示稀疏，模型平均，Dropout 3.问题与应用（能力要求） 理解并掌握深度学习中的关键技术，比如特征提取，正则化技术。具备将深度技 术应用于解决高精度的分类识别难题的能力。 第三节 深度网络的进一步解释 1.主要内容 深层网络的可视化、深层网络的局部-整体表征学习能力 2.基本概念和知识点 自动特征提取、局部-整体表征学习 3.问题与应用（能力要求） 理解并掌握深度神经网络在局部-整体表征学习方面的能力。具备将深度技术应 用于解决高精度的分类识别难题的能力。 第四节 克服过拟合：深度网络中的正则化技术 1.主要内容 克服过拟合的三类技术：模型约束、输入约束、模型集成 2.基本概念和知识点 正则化、过拟合 3.问题与应用（能力要求）
深层神经网络在高效的表征学习能力的同时，也存在重易陷入过拟合的状态，理 解并掌握抵抗过拟合的各种正则化技术，提高解决实际应用问题的能力。 (三)思考与实践 编程实现至少一个层数为5层的模型，并思考训练深层模型与浅层模型的差异 (四)教学方法与手段 课堂讲授，课后编程 第三章深度卷积网络 (一)目的与要求 1.介绍适合图像处理的卷积神经网络。 2理解卷积的基本概念，掌握卷积神经网络的工作机理，掌握训练深层卷积神经 网络的技巧 3.掌握克服深层神经网络过拟合的若干技巧和方法 (二)教学内容 第一节卷积的数学公式及其含义 1主要内容 卷积的直观含义、卷积的数学公式、卷积的例子 2.基本概念和知识点 卷积、卷积核、卷积神经网络 3.问题与应用（能力要求） 理解卷积的概念，掌握卷积公式，明白卷积背后的特征识别原理，为学习卷积网 络奠定基础。 第二节卷积神经网络的技术细节 1.主要内容 以手写体数字“7”为例介绍卷积网络结构、输入输出数据、网络的训练算法。 2.基本概念和知识点 局部感受、权值共享、池化（平均池化、极大池化）、特征识别的稳健性 3.问题与应用（能力要求）
6 深层神经网络在高效的表征学习能力的同时，也存在重易陷入过拟合的状态，理 解并掌握抵抗过拟合的各种正则化技术，提高解决实际应用问题的能力。 (三)思考与实践 编程实现至少一个层数为 5 层的模型，并思考训练深层模型与浅层模型的差异。 (四)教学方法与手段 课堂讲授，课后编程 第三章 深度卷积网络 （一）目的与要求 1.介绍适合图像处理的卷积神经网络。 2.理解卷积的基本概念，掌握卷积神经网络的工作机理，掌握训练深层卷积神经 网络的技巧 3.掌握克服深层神经网络过拟合的若干技巧和方法 （二）教学内容 第一节 卷积的数学公式及其含义 1.主要内容 卷积的直观含义、卷积的数学公式、卷积的例子 2.基本概念和知识点 卷积、卷积核、卷积神经网络 3.问题与应用（能力要求） 理解卷积的概念，掌握卷积公式，明白卷积背后的特征识别原理，为学习卷积网 络奠定基础。 第二节 卷积神经网络的技术细节 1.主要内容 以手写体数字“7”为例介绍卷积网络结构、输入输出数据、网络的训练算法。 2.基本概念和知识点 局部感受、权值共享、池化（平均池化、极大池化）、特征识别的稳健性 3.问题与应用（能力要求）
理解并掌握卷积网络背后的特征识别定理。具备将卷积网络熟练应用的能力。 第三节卷积网络的变体 1主要内容 卷积网络的三类变体：卷积核的变体、卷积通道的变体、卷积层连接的变体。 2.基本概念和知识点 卷积核的尺寸、可变型卷积核、卷积通道、可分离卷积、高速网络、残差网络、 稠密网络 3.问题与应用（能力要求） 掌握卷积网络研究的前沿动态以及各种变体的优缺点，进一步加强应用各种变体 技术解决实际问题的能力。 第四节卷积网络在自动驾驶中的应用 1.主要内容 简介基于神经网络的三大自动驾驶系统：ALVNN,.DAVE,DAVE2 2.基本概念和知识点 端到端、自动驾驶 3.问题与应用（能力要求） 理解将神经网络技术用以解决自动驾驶这样一类实际问题所面临的挑战，掌握技 术的同时，通过案例进一步提升实际应用的能力。 (三)思考与实践 搭建实验平台，运行一个卷积网络实例，并思考卷积网络进行图像识别的优越性。 (四)教学方法与手段 课堂讲授，课后编程 第四章深度反馈网络 (一)目的与要求 1.介绍适合时间序列处理的RNNs、LSTM模型 2.掌握语音识别、文本处理（摘要、生成与写作）入、机器翻译基本知识 3.掌握CTC技术，为实现自然语音交互软件系统奠定基础
7 理解并掌握卷积网络背后的特征识别定理。具备将卷积网络熟练应用的能力。 第三节 卷积网络的变体 1.主要内容 卷积网络的三类变体：卷积核的变体、卷积通道的变体、卷积层连接的变体。 2.基本概念和知识点 卷积核的尺寸、可变型卷积核、卷积通道、可分离卷积、高速网络、残差网络、 稠密网络 3.问题与应用（能力要求） 掌握卷积网络研究的前沿动态以及各种变体的优缺点，进一步加强应用各种变体 技术解决实际问题的能力。 第四节 卷积网络在自动驾驶中的应用 1.主要内容 简介基于神经网络的三大自动驾驶系统：ALVNN,DAVE,DAVE2 2.基本概念和知识点 端到端、自动驾驶 3.问题与应用（能力要求） 理解将神经网络技术用以解决自动驾驶这样一类实际问题所面临的挑战，掌握技 术的同时，通过案例进一步提升实际应用的能力。 (三)思考与实践 搭建实验平台，运行一个卷积网络实例，并思考卷积网络进行图像识别的优越性。 (四)教学方法与手段 课堂讲授，课后编程 第四章 深度反馈网络 （一）目的与要求 1.介绍适合时间序列处理的 RNNs、LSTM 模型 2.掌握语音识别、文本处理（摘要、生成与写作）、机器翻译基本知识 3.掌握 CTC 技术，为实现自然语音交互软件系统奠定基础
(二)教学内容 第一节反馈神经网络 1主要内容 统计语言模型、RNNs网络结构、RNNs的训练算法、RNNs中的误差沿时间轴 传播公式、RNNs的变体 2.基本概念和知识点 马尔科夫模型、独热向量、词嵌入、BPTT 3.问题与应用（能力要求） 理解时间序列处理问题，掌握RNNs网络技术。 第二节长短期记忆单元 1.主要内容 序列的长期学习难题、LSTM网络结构、LSTM的训练算法、对LSTM的理解。 从广大科研人员为克服/抑制梯度消失爆炸问题所经历的长期艰难探索谈科研人员 必须具备的若干品质。正确认识纵向科研和横向研发的辩证统一关系。 2.基本概念和知识点 长短期记忆单元、控制信息读写的门机制、LSM对梯度消失爆炸问题的抑制 3.问题与应用（能力要求） 理解长时间序列处理难题，并掌握LSTM技术。 第三节时间序列处理中的几种重要机制 1.主要内容 编码器解码器模型、注意力机制、序列自动对齐的CTC技术 2.基本概念和知识点 编码器解码器、上下文向量、注意力、序列自动对齐 3.问题与应用（能力要求） 理解长时间序列处理难题，并掌握LSTM与CTC混合解决人机自然交互难题。 具备将深度反馈网络技术解决自然语言处理、文本理解等工程问题的能力： 第四节深度反馈网络在时间序列处理中的应用
8 （二）教学内容 第一节 反馈神经网络 1.主要内容 统计语言模型、RNNs 网络结构、RNNs 的训练算法、RNNs 中的误差沿时间轴 传播公式、RNNs 的变体 2.基本概念和知识点 马尔科夫模型、独热向量、词嵌入、BPTT 3.问题与应用（能力要求） 理解时间序列处理问题，掌握 RNNs 网络技术。 第二节 长短期记忆单元 1.主要内容 序列的长期学习难题、LSTM 网络结构、LSTM 的训练算法、对 LSTM 的理解。 从广大科研人员为克服/抑制梯度消失/爆炸问题所经历的长期艰难探索谈科研人员 必须具备的若干品质。正确认识纵向科研和横向研发的辩证统一关系。 2.基本概念和知识点 长短期记忆单元、控制信息读写的门机制、LSTM 对梯度消失/爆炸问题的抑制 3.问题与应用（能力要求） 理解长时间序列处理难题，并掌握 LSTM 技术。 第三节 时间序列处理中的几种重要机制 1.主要内容 编码器-解码器模型、注意力机制、序列自动对齐的 CTC 技术 2.基本概念和知识点 编码器-解码器、上下文向量、注意力、序列自动对齐 3.问题与应用（能力要求） 理解长时间序列处理难题，并掌握 LSTM 与 CTC 混合解决人机自然交互难题。 具备将深度反馈网络技术解决自然语言处理、文本理解等工程问题的能力。 第四节 深度反馈网络在时间序列处理中的应用
1主要内容 Google神经机器翻译系统、深度语音识别系统、用LSTM进行编程和写作。 2.基本概念和知识点 通过案例，展示如何将LSTM等技术用以解决实际问题 3.问题与应用（能力要求） 机器翻译、语音识别、编程和写作属于时间序列处理范畴中的应用实例，通过案 例介绍，理解技术应用于实际问题时所需要解决的各种细节问题，进一步加强技术转 换能力的培养。 (三)思考与实践 运行至少一个反馈网络模型实例，并思考反馈网络模型与前向网络模型差异。 (四)教学方法与手段 课堂讲授，课后编程 第五章深度强化学习（本章选讲） (一)目的与要求 1介绍机器学习的基本概念和方法，掌握编程实现机器学习算法的能力 2.掌握数据分析基本方法和背后的统计学原理 3理解浅层模型处理数据能力的局限 (二)教学内容 第一节马尔科夫决策模型MDPs 1主要内容 马尔科夫过程、马尔科夫奖励过程、马尔科夫决策过程、广义策略迭代 2.基本概念和知识点 机器学习的分类，状态，动作，策略，值函数，奖惩函数，Bellman方程。 3.问题与应用（能力要求） 掌握半监督学习的应用场合，理解MDPs模型 第二节强化学习算法 1.主要内容
9 1.主要内容 Google 神经机器翻译系统、深度语音识别系统、用 LSTM 进行编程和写作。 2.基本概念和知识点 通过案例，展示如何将 LSTM 等技术用以解决实际问题。 3.问题与应用（能力要求） 机器翻译、语音识别、编程和写作属于时间序列处理范畴中的应用实例，通过案 例介绍，理解技术应用于实际问题时所需要解决的各种细节问题，进一步加强技术转 换能力的培养。 （三）思考与实践 运行至少一个反馈网络模型实例，并思考反馈网络模型与前向网络模型差异。 （四）教学方法与手段 课堂讲授，课后编程 第五章 深度强化学习（本章选讲） (一)目的与要求 1.介绍机器学习的基本概念和方法，掌握编程实现机器学习算法的能力 2.掌握数据分析基本方法和背后的统计学原理 3.理解浅层模型处理数据能力的局限 （二）教学内容 第一节 马尔科夫决策模型 MDPs 1.主要内容 马尔科夫过程、马尔科夫奖励过程、马尔科夫决策过程、广义策略迭代 2.基本概念和知识点 机器学习的分类，状态，动作，策略，值函数，奖惩函数，Bellman 方程。 3.问题与应用（能力要求） 掌握半监督学习的应用场合，理解 MDPs 模型 第二节 强化学习算法 1.主要内容
动态规划算法、蒙特卡罗算法、时间差分学习算法 2.基本概念和知识点 策略预测、策略控制、策略迭代、值迭代、回合、勘探俐用、同策略/保策略、 重要性抽样、覆盖性假设、前向视觉/后向视觉 3.问题与应用（能力要求） 掌握从数据中拟合MDPs模型的方法。具备将MDPs模型解决实际的半监督学 习问题。 第三节深度强化学习算法 1.主要内容 基于深度网络的状态价值和动作价值函数近似、基于深度网络的策略梯度法。 2.基本概念和知识点 3.问题与应用（能力要求） 具备融合深度技术和强化学习技术处理实际中存在的高级机器智能化问题，初步 具备为高新企业提供智能化解决方案提供决策咨询，甚至技术支持的能力。 第四节深度强化学习的应用 1.主要内容 围棋AlphaGo、从AlphaGo到AlphaGoZero、基于像素的乒乓球游戏。 2.基本概念和知识点 围棋博奕树、蒙特卡罗树搜索、策略网络、价值网络 3.问题与应用（能力要求） 具备融合深度技术和强化学习技术处理实际中存在的高级机器智能化问题，初步 具备为高新企业提供智能化解决方案提供决策咨询，甚至技术支持的能力。 (三)思考与实践 运行至少一个MDPs模型，并思考MDPs模型的优缺点。 (四)教学方法与手段 课堂讲授，课后编程 10
10 动态规划算法、蒙特卡罗算法、时间差分学习算法 2.基本概念和知识点 策略预测、策略控制、策略迭代、值迭代、回合、勘探/利用、同策略/异策略、 重要性抽样、覆盖性假设、前向视觉/后向视觉 3.问题与应用（能力要求） 掌握从数据中拟合 MDPs 模型的方法。具备将 MDPs 模型解决实际的半监督学 习问题。 第三节 深度强化学习算法 1.主要内容 基于深度网络的状态价值和动作价值函数近似、基于深度网络的策略梯度法。 2.基本概念和知识点 3.问题与应用（能力要求） 具备融合深度技术和强化学习技术处理实际中存在的高级机器智能化问题，初步 具备为高新企业提供智能化解决方案提供决策咨询，甚至技术支持的能力。 第四节 深度强化学习的应用 1.主要内容 围棋 AlphaGo、从 AlphaGo 到 AlphaGo Zero、基于像素的乒乓球游戏。 2. 基本概念和知识点 围棋博奕树、蒙特卡罗树搜索、策略网络、价值网络 3.问题与应用（能力要求） 具备融合深度技术和强化学习技术处理实际中存在的高级机器智能化问题，初步 具备为高新企业提供智能化解决方案提供决策咨询，甚至技术支持的能力。 （三）思考与实践 运行至少一个 MDPs 模型，并思考 MDPs 模型的优缺点。 （四）教学方法与手段 课堂讲授，课后编程