第8讲深度学习
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 第8讲 深度学习
什么是机器学习？ 什么是机器学习 机器学习原理，基本过程，机器学习分类 经典机器学习 经典机器学习 简单机器学习、经典机器学习，… 决策树学习 决策树学习 什么是决策树，学习步骤， 神经网络学习 神经网络学习 >9 人工神经元，人工神经网络发展历史，感知器，BP, 深度学习 深度学习 什么是深度学习，深度学习的发展历史，卷积神经网络，常见深度学习网络，： Hangchou Dianzi Universi的y杭州电子科技大学 School(of Computer Science and Technology计算机学院周文库
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 什么是机器学习 神经网络学习 经典机器学习 决策树学习 深度学习 什么是机器学习？ 机器学习原理，基本过程，机器学习分类 … 经典机器学习 简单机器学习、经典机器学习，… 决策树学习 神经网络学习 人工神经元，人工神经网络发展历史，感知器， BP， … 深度学习 ？ 什么是深度学习，深度学习的发展历史，卷积神经网络，常见深度学习网络，… 什么是决策树，学习步骤， …
上一讲的结束内容 Flatten Y 输入：二维图像 X is 1 Wx 2 is 2 Machine ◆2"∑》 256 y10 1S0 16×16=256 256×1 全连接网络缺点： (a)丢失空间结构信息 (b)网络参数量庞大 Hangzhou Dianzi Universi的y抗州电子科技大学 School of Computer Science andT2 chnology计算机学院周文库
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 16 × 16 = 256 1 x 2 x 256 x … Flatten 输入: 二维图像 全连接网络缺点: … y1 y2 y10 is 1 is 2 is 0 … Wx 256×1 (a)丢失空间结构信息 (b) 网络参数量庞大 上一讲的结束内容
上一讲的结束内容 cat dog..… Fully Connected 目标：降 卷积神经网络 维，去除 Feedforward network 冗余，提 CNN 取特征 A new image Flatten Hangzhou①ianzi Universi的杭州电子科技大学 School(of Computer Science and Technology计算机学院周文库
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 Fully Connected Feedforward network Fully Connected Feedforward network cat dog …… Flatten A new image CNN 上一讲的结束内容 目标：降 维，去除 冗余，提 取特征… 卷积神经网络
Alexnet(2012) 模型总参数量：6千万 卷积层 全连接层 (5%的参数，95%的计算量) (95%的参数，5%的计算量) 11 192 128 2049 128 224 dens dense 192 197 128 Max Max pooling 04 224 128 Max pooling pooling 输入 卷积层输出 224×224 13×13 Hangchou Dianzi Universi的y抗州电子科技大学 School(of Computer Science and Technology计算机学院周文库
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 模型总参数量：6千万 卷积层 （5%的参数, 95%的计算量） 全连接层 （95%的参数，5%的计算量） 5 Alexnet(2012) 输入 224×224 卷积层输出 13×13
Why CNN for Image Convolution.... Convolutional neural network Architecture,Pooling.... What to learn Feature extraction ,.. a bit of history AlexNet,VGG,ResNet,... Hardware and software GPU,Tensorflow,Pytorch,... Hangzhou Dianzi Universi的y杭州电子科技大学 School of Computer Science and Technology计算机学院周文库
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 Why CNN for Image ？ Convolution，… What to learn？ Feature extraction ，… Convolutional neural network Architecture, Pooling, … a bit of history AlexNet, VGG, ResNet, … ？ Hardware and software GPU, Tensorflow, Pytorch, …
Why CNN for Image Convolution,... Convolutional neural network Architecture,Pooling.... What to learn Feature extraction ,.. a bit of history AlexNet,VGG,ResNet,... Hardware and software GPU,Tensorflow,Pytorch,... Hangzhou Dianzi Universi的y杭州电子科技大学 School of Computer Science and Technology计算机学院周文库
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 Why CNN for Image ？ Convolution，… What to learn？ Feature extraction ，… Convolutional neural network Architecture, Pooling, … a bit of history AlexNet, VGG, ResNet, … ？ Hardware and software GPU, Tensorflow, Pytorch, …
Why CNN for Image? How to use spatial structure Input:2D image. Idea:connect patches of input to Array of pixel values neurons in hidden layer: Neuron connected to region of input Only"sees"these values. Hangchou①ianzi Universi的杭州电子科技大学 School of Computer Science and Tecfnology计算机学院周文库
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 How to use spatial structure Why CNN for Image？ Input: 2D image. Array of pixel values
Why CNN for Image? How to use spatial structure Connect patch in input layer to a single neuron in subsequent layer. Use a sliding window to define connections. How can we weight the patch to detect particular features? Hangzhou Dianzi Universi的抗州电子科技大学 School of Computer Science and Tecfnology计算机学院周文库
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 Connect patch in input layer to a single neuron in subsequent layer. Use a sliding window to define connections. How can we weight the patch to detect particular features? How to use spatial structure Why CNN for Image？
Why CNN for Image? Convolution Layer For a neuron in hidden layer: -Take inputs from patch the neuron“sees” -Compute weighted sum -Apply bias 4x4 filter:matrix applying a window of weights of weights ij Oj xi+pjtq+b computing linear combinations activating with non-linear function for neuron(p.q)in hidden layer Hangchou①ianzi Universi的y抗州电子科技大学 School of Computer Science and Technology计算机学院周文库
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 Convolution Layer Why CNN for Image？ For a neuron in hidden layer: - Take inputs from patch the neuron “sees” - Compute weighted sum - Apply bias applying a window of weights computing linear combinations activating with non-linear function