机器学习与智能金融第七章结构派的大成深度学习与自然语言处理
机器学习与智能金融 第七章 结构派的大成 深度学习与自然语言处理
本讲主要内容人工神经网络卷积网络、循环网络及自注意力机制自然语言处理四深度学习代码实践五案例与论文
本讲主要内容 一 人工神经网络 二 卷积网络、循环网络及自注意力机制 三 自然语言处理 四 深度学习代码实践 五 案例与论文
本讲知识点与学习目标掌握人工神经网络原理了解卷积网络及循环深度网络三了解自注意力模型四掌握自然语言处理基本方法五掌握基本的深度学习编程实践能力六了解深度学习相关案例和应用情况
本讲知识点与学习目标 一 掌握人工神经网络原理 二 了解卷积网络及循环深度网络 三 了解自注意力模型 四 掌握自然语言处理基本方法 五 掌握基本的深度学习编程实践能力 六 了解深度学习相关案例和应用情况
本讲主要内容>人工神经网络卷积网络、循环网络及自注意力机制自然语言处理四深度学习代码实践五案例与论文
本讲主要内容 一 人工神经网络 二 卷积网络、循环网络及自注意力机制 三 自然语言处理 四 深度学习代码实践 五 案例与论文
从这里开始突触树突细胞体AxonhillSynapbc terminal轴突轴突末梢细胞核应期(a)前锁网络(b)反馈网络(c)图网络
从这里开始
定义：人工神经网络，ArtificialNeuralNetwork,ANN人工神经网络（ArtificialNeuralNetwork，ANN），简称神经网络（NN）是对人脑或自然神经网络若干基本特征的抽象和模拟。人工神经网络是由人工建立的，以有向图为拓扑结构的动态系统，它通过对连续或断续的输入进行信息处理并做出相应的状态。（Nielsen）作为一种非程序化、适应性、大脑风格的信息处理，神经网络的本质是通过网络变换和动力学行为得到一种并行分布式的信息处理功能，并在不同程度和层次上模仿人脑神经系统的信息处理能力
人工神经网络（Artificial Neural Network，ANN），简称神经网络（NN）， 是对人脑或自然神经网络若干基本特征的抽象和模拟。 人工神经网络是由人工建立的，以有向图为拓扑结构的动态系统，它通过对 连续或断续的输入进行信息处理并做出相应的状态。（Nielsen） 作为一种非程序化、适应性、大脑风格的信息处理，神经网络的本质是通过 网络变换和动力学行为得到一种并行分布式的信息处理功能，并在不同程度 和层次上模仿人脑神经系统的信息处理能力。 定义：人工神经网络，Artificial Neural Network,ANN
人工神经网络的发展198620061995BP网络DBN1982SVMHopfield1997网络人SNN1958Perceptron1969指出Perceptron1949局限性Hebb11943规则1MP模型1-1194019501960197019801990200020102020萌芽阶段第一次高潮阶段反思阶段第二次新发展阶段高潮阶段
人工神经网络的发展
结构的数学化假设一个神经元接收D个输入xi，X2，…，Xp，令向量x=[xi；X2；.；xp]来表示这组输入，并用净输入（NetInput）zER表示一个神经元所获得的输入信号x的加权和。余自弟个神当前神经元经元的输入21W122aw激活函数权重第1个种经元输入的连按权重闯信1f(x)=sigmoid (x)=1+ e-r
假设一个神经元接收D个输入x1，x2，.，xD，令向量x=[x1；x2；.；xD ]来 表示这组输入，并用净输入（Net Input）z∈R表示一个神经元所获得的输 入信号x的加权和。 1.1 结构的数学化 f (x) = sigmoid (x) = 1+ e -x 1
结构的数学化Sigmoid型函数是指一类S型曲线函数，为两端饱和函数。常用的Sigmoid型函数有Logistic函数和Tanh函数。Logistic函数：Logistic函数定义为：Logistic数g (x):TanhR:1+exp (-x)Tanh函数：Tanh函数也是一种Sigmoid型函数，其定义为：exp(x)-exp(-x)tanh(x) =exp(x) +exp(-x)Tanh函数可以看作是放大并平移的Logistic函数，其值域是(-1, 1)。tanh(x) = 2o(2x)-1
Sigmoid型函数是指一类S型曲线函数，为两端饱和函数。常用的Sigmoid型 函数有Logistic函数和Tanh函数。 1.1 结构的数学化 Logistic函数：Logistic函数定义为： Tanh函数：Tanh函数也是一种Sigmoid型函数，其定义为： Tanh函数可以看作是放大并平移的Logistic函数，其值域 是(-1，1)。 Logistic 函数 Logistic 函数定义为 （ ） （ ） 1 exp - x 1 x + = Tanh函数 Tanh 函数也是一种 Sigmoid 型函数，其定义为 Tanh 函数可以看作是放大并平移的 Logistic 函数，其值域是（-1,1）。 exp( ) exp( ) exp( ) exp( ) tanh ( ) x x x x x + − − − = tanh (x) = 2 (2x) −1 Tanh函数 Tanh 函数也是一种 Sigmoid 型函数，其定义为 Tanh 函数可以看作是放大并平移的 Logistic 函数，其值域是（-1,1）。 exp( ) exp( ) exp( ) exp( ) tanh ( ) x x x x x + − − − = tanh (x) = 2 (2x) −1
1.2感知机是一个接收两个输入信号的感知机的例子。x1、x2是输入信号，y是输出信号，WIVW2是权重。输入信号被送往神经元时，会被分别乘以固定的权重（wx神经元会计算传送过来的信号总和，只有当这个总和超过了某个界限值wx）时，才会输出1。这也称为“神经元被激活”。这里将这个界限值称为阙值，用符号0表示
是一个接收两个输入信号的感知机的例子。x1、x2 是输入信号，y是输出信号， w1、w2是权重。 输入信号被送往神经元时，会被分别乘以固定的权重（w1 x1神经元会计算传送 过来的信号总和，只有当这个总和超过了某个界限值w1 x2）时，才会输出1。 这也称为“神经元被激活”。这里将这个界限值称为阙值，用符号θ表示。 1.2 感知机