深度学习 Deep Learning) 孙钰副教授 suny@bjfu.edu.cn 沙智能感知实验室 Smart Sensing Lab 北京林业大学信息学院 2021/2/9
北京林业大学信息学院 2021/2/9 深度学习(Deep Learning) 孙钰 副教授 sunyv@bjfu.edu.cn
1:神经网络简介 1.1深度学习与神经网络 12人工神经网络与生物神经网络 1.3神经元与感知机 14单感知机与多层感知机
1:神经网络简介 1.1 深度学习与神经网络 1.2 人工神经网络与生物神经网络 1.3 神经元与感知机 1.4 单感知机与多层感知机
1.1深度学习与人工神经网络 ①深度学习是种学习方式,指采用深度模型进行学习 ②人工神经网络是—种模型,只要层数够多深度够深,就能称为深度模型 X1 X3 X n 深度学习的基础是——人工神经网络
①深度学习是一种学习方式,指采用深度模型进行学习; ②人工神经网络是一种模型,只要层数够多深度够深,就能称为深度模型。 深度学习的基础是——人工神经网络 1.1 深度学习与人工神经网络
1.2人工神经网络与生物神经网络 人工神经网络是受到生物神经网络的启发而产生的: ①神经元的一端受到刺激会将信号传递到另一端 ②神经网络上的一个神经元将刺激信号传给下一个神经元 细胞核 神经冲动 ③复杂的神经系统是由简单的神经元相连组成
人工神经网络是受到生物神经网络的启发而产生的: 1.2 人工神经网络与生物神经网络 ①神经元的一端受到刺激会将信号传递到另一端 ②神经网络上的一个神经元将刺激信号传给下一个神经元 ③复杂的神经系统是由简单的神经元相连组成
1.3神经元与感知机 生物神经网络的最小单元—神经元 人工神经网络的最小单元—感知机 输入:一个向量 输出:一个标量 运算 线性变换(加权求和) 非线性变换(非线性函数) 输出=线性变换+非线性变换 z=P1W1+p2W2+…+p,W+b 8=
• 输入:一个向量 • 输出:一个标量 • 运算: – 线性变换(加权求和) – 非线性变换(非线性函数) – 输出 = 线性变换 + 非线性变换 生物神经网络的最小单元——神经元 人工神经网络的最小单元——感知机 1.3 神经元与感知机 z = p1w1 + p2 w2 + ... + pr wr +b a1 = g(z)
14单感知机与多层感知机 ①感知机是人工神经网络中的最小单元 ②单感知机是最最简单的神经网络 ③神经网络又被称为多层感知机模型 input layer hidden layer 1 hidden layer 2 hidden layer 3 output layer 如左图,若每个神经元都和下一层的 所有神经元相连,则被成为全连接 复杂的神经网络
①感知机是人工神经网络中的最小单元 ②单感知机是最最简单的神经网络 ③神经网络又被称为多层感知机模型 1.4 单感知机与多层感知机 一个复杂的神经网络 如左图,若每个神经元都和下一层的 所有神经元相连,则被成为全连接
2:神经网络优化方法 21训练过程三部曲24梯度下降 2.2正向传播 引例 2.3反向传播 更新参数 实现过程 导数、偏导数、梯度 多种实现方式 BP算法 多种优化算法 举例讲解 2.5综合举例 与正向传播的关系 2.6小结
2:神经网络优化方法 2.1 训练过程三部曲 2.2 正向传播 2.3 反向传播 导数、偏导数、梯度 BP算法 举例讲解 与正向传播的关系 2.4 梯度下降 引例 更新参数 实现过程 多种实现方式 多种优化算法 2.5 综合举例 2.6 小结
21训练过程三部曲 ①正向传播②反向传播③梯度下降 训练宏观过程:蓝色实线为正向传播 红色虚线为反向传播 求偏导数 A3 Y A 损失函数 梯度下降: A b=b-ac
2.1 训练过程三部曲 ①正向传播 ②反向传播 ③梯度下降 训练宏观过程:蓝色实线为正向传播 红色虚线为反向传播
2.2正向传播 正向传播 给出—个计算图,按照图中的箭头顺序,并根据模型参数 的当前值,依次计算并存储模型中各个中间变量的值。 如下图,需要依次计算q=x+y和f=q×z 这里的q就是中间变量,而在得到最终的结果之前,需要 计算并存储q的值。 3 f-12
2.2 正向传播 正向传播: 给出一个计算图,按照图中的箭头顺序,并根据模型参数 的当前值,依次计算并存储模型中各个中间变量的值。 如下图,需要依次计算 𝑞 = 𝑥 + 𝑦 和 f = 𝑞 × 𝑧。 这里的 𝑞 就是中间变量,而在得到最终的结果之前,需要 计算并存储 𝑞 的值
2.3反向传播:导数、偏导数、梯度 ①导数:f(x)y=1im(x+A(=im f(x)-f(x-△x) →00 △x ②偏导数 偏导数表示固定面上一点的切线斜率 通常只关心x轴和y轴方向的偏导数 假设f是一个多元函数,f(x,y)=x2+xy+y2 ∫在x轴方向的偏导数为=3x 在点(1,1,3)处x轴方向的偏导数是为3 ③梯度 是一个向量(矢量) 梯度即某一点最大的方向导数 沿梯度方向函数有最大的变化率(正向增加,逆向减少) 在某点为极大值或极小值只有当在该点的每个偏导数等于0才有可能,也就是说梯度等于0
2.3 反向传播:导数、偏导数、梯度 ①导数:𝑓 𝑥 ′ = lim 𝑛→∞ 𝑓 𝑥+∆𝑥 −𝑓(𝑥) ∆𝑥 = lim 𝑛→∞ 𝑓(𝑥)−𝑓(𝑥−∆𝑥) ∆𝑥 ②偏导数: - 偏导数表示固定面上一点的切线斜率 - 通常只关心 x 轴和 y 轴方向的偏导数 - 假设 𝑓 是一个多元函数,𝑓 𝑥, 𝑦 = 𝑥 2 + 𝑥𝑦 + 𝑦 2 - 𝑓 在 x 轴方向的偏导数为 𝜕𝑓 𝜕𝑥 = 3𝑥 - 在点(1,1,3)处 x 轴方向的偏导数是为3 ③梯度: - 是一个向量(矢量) - 梯度即某一点最大的方向导数 - 沿梯度方向函数有最大的变化率(正向增加,逆向减少) - 在某点为极大值或极小值只有当在该点的每个偏导数等于0才有可能,也就是说梯度等于0