电子科技大学研究生《机器学习》精品课程 196 第13讲卷积神经网络 13 Convolution Neural Nets 郝家胜 （Jiasheng Hao） Ph.D., Associate Professor Email: hao@uestc.edu.cn School of Automation Engineering, Center for Robotics University of Electronics and Science of China, Chengdu 611731
电子科技大学研究生《机器学习》精品课程 Email: hao@uestc.edu.cn School of Automation Engineering, Center for Robotics University of Electronics and Science of China, Chengdu 611731 郝家胜 (Jiasheng Hao) Ph.D., Associate Professor
多层神经网络 输出层 +1 hwb(x) 隐层 Layer Ly +1 Layer L: Layer L2 输入层 含多个隐层的深度学习模型 2 电子科技大学研究生《机器学习》
电子科技大学研究生《机器学习》 多层神经网络 2
深度学习的实质 /956 从大规模无标签数据中 自动选择特征！ 电子科技大学研究生《机器学》
电子科技大学研究生《机器学习》 深度学习的实质 从大规模无标签数据中 自动选择特征！ 3
DL之前的视觉处理方法 56 分步处理背后的哲学 分而治之Divide and Conquer ■ Knowledge-driven Hand-crafted feature I think it should be solved by methods like... fixed unsupervised fixed supervised fixed MFCC Gaussians (linear) SIFT,HoG Graphical K-Means Pooling Classifier Model Cuboids Sparse Coding Object, Low-level Mid-level parts, phones, Utterance, Features Features characters word 电子科技大学研究生《机器学习》
电子科技大学研究生《机器学习》 DL之前的视觉处理方法 o 分步处理背后的哲学 n 分而治之Divide and Conquer n Knowledge-driven p Hand-crafted feature p I think it should be solved by methods like… 4
DL及其之后的视觉处理方法 56 supervised fixed supervised fixed supervised fixed Filters Filters Filters Graphical + Pooling Pooling Model ReLU ReLU ReLU Object, Low-level Mid-level parts, phones, Utterance, Features Features characters word Unsup Unsup Unsup Unsup supervised fixed supervised fixed supervised supervised Filters Filters Filters Graphical Pooling + Pooling Model ReLU ReLU ReLU Object, Low-level Mid-level parts, phones, Utterance, Features Features characters word 电子科技大学研究生《机器学习》
电子科技大学研究生《机器学习》 DL及其之后的视觉处理方法 5
DL及其之后的视觉处理方法 56 口学习到接近期望的底层、中层和高层特征 Low-Level Mid-Level High-Level Trainable Feature Feature Feature Classifier Feature visualization of convolutional net trained on ImageNet from [Zeiler Fergus 2013] 电子科技大学研究生《机器学习》
电子科技大学研究生《机器学习》 DL及其之后的视觉处理方法 o 学习到接近期望的底层、中层和高层特征 6
DL之前的视觉处理方法 /956 任务 类标签 (分类问题) X F(x) 向量 口人工设计F(部分学习F) (回归/估计) 领域知识：分步处理 预处理 特征设计 特征降维 分类/回归 滤波器，局部特征(SIFT),BoW,直方图，Ma/Sum 汇聚，判别分析，Kernel技巧，分段线性，流形学习， 测度学习.… 电子科技大学研究生《机器学习》
电子科技大学研究生《机器学习》 DL之前的视觉处理方法 o 任务 o 人工设计F（部分学习F） n 领域知识：分步处理 n 滤波器，局部特征(SIFT)，BoW，直方图，Max/Sum 汇聚，判别分析，Kernel技巧，分段线性，流形学习， 测度学习… 7 x F(x) y 类标签 (分类问题) 向量 (回归/估计) 预处理 特征设计 特征降维 分类/回归
DL时代的视觉处理方法 /956 任务 离散类标签 (分类问题) X F(x) 连续向量 ▣ End-to-end地学习F（全步骤自动学奶归/估计) ■ Representation learning Feature learning ■ Nonlinear transform learning Credit to Dr.Xiaogang Wang 电子科技大学研究生《机器学习》
电子科技大学研究生《机器学习》 DL时代的视觉处理方法 o 任务 o End-to-end地学习F（全步骤自动学习） n Representation learning n Feature learning n Nonlinear transform learning 8 x F(x) y 离散类标签 (分类问题) 连续向量 (回归/估计) Credit to Dr. Xiaogang Wang
DL时代的视觉处理方法 56 口结构性特征表示 Features learned from training on different object classes. Faces Cars Elephants Chairs 电子科技大学研究生《机器学习》
电子科技大学研究生《机器学习》 DL时代的视觉处理方法 o 结构性特征表示
DL时代的视觉处理方法 Collect data Collect data Preprocessing 1 Deep neural network Preprocessing 2 VS. Feature transform Feature transform Feature design Classifier Classifier Evaluation Evaluation Credit to Dr.Xiaogang Wang 电子科技大学研究生《机器学习》
电子科技大学研究生《机器学习》 DL时代的视觉处理方法 10 Collect data Preprocessing 1 Feature design Classifier Evaluation Preprocessing 2 … Collect data Feature transform Feature transform … Classifier Deep neural network Evaluation vs. Credit to Dr. Xiaogang Wang