第8讲神经网络学习
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 第8讲 神经网络学习
学习的本质 学习的本质 学什么？怎么学？ 生物到人工模型 从生物神经元到人工神经元 生物神经元、人工神经元，… 神经网络发展历史 神经网络发展历史 个 发展历史 神经网络基本概念 R1 神经网络基本概念 激活函数、学习规则、优化算法、 经典人工神经网络 经典人工神经网络 前向神经网络、BP神经网络，Hopfield神经网络， Hangzhou Dianzi Universit的y杭州电子科技大学 School of Computer Science and Technology计算机学院周文库
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 学习的本质 神经网络基本概念 生物到人工模型 神经网络发展历史 经典人工神经网络 学习的本质 学什么？ 怎么学？ … 从生物神经元到人工神经元 生物神经元、人工神经元，… 神经网络发展历史 神经网络基本概念 激活函数、学习规则、优化算法、 … 经典人工神经网络 ？ 前向神经网络、BP神经网络，Hopfield神经网络，… 发展历史 …
学习的本质 学习的本质 学什么？怎么学？ 生物到人工模型 从生物神经元到人工神经元 生物神经元、人工神经元， 神经网络发展历史 神经网络发展历史 发展历史 神经网络基本概念 神经网络基本概念 激活函数、学习规则、优化算法、 经典人工神经网络 经典人工神经网络 前向神经网络、BP神经网络，Hopfield神经网络， Hangzhou Dianzi Universit的y杭州电子科技大学 School of Computer Science and Technology计算机学院周文库
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 学习的本质 神经网络基本概念 生物到人工模型 神经网络发展历史 经典人工神经网络 学习的本质 学什么？ 怎么学？ … 从生物神经元到人工神经元 生物神经元、人工神经元，… 神经网络发展历史 神经网络基本概念 激活函数、学习规则、优化算法、 … 经典人工神经网络 ？ 前向神经网络、BP神经网络，Hopfield神经网络，… 发展历史 …
写在神经网络学习之前的事 学习什么？ 语音识别 如 “How are you” 寻找一个映射函数 =“Cat” 图像识别 人机对战f八 =c5-5”(next move)) “Hello” 人机对话 f升H”）= (what the user said) (system response) Hangchou①ianzi Universit的y杭州电子科技大学 School of Computer Science and Technology计算机学院周文库
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 写在神经网络学习之前的事 语音识别 人机对话 图像识别 人机对战 f “How are you” f “Cat” “Hello” (what the user said) (system response) f “Hi” 学习什么？ 寻找一个映射函数
学习什么？ 图像识别： f( )= “cat 模型 一 组函数 f,f2, f( 0= “cat f( )= “monkey'” F( ）=“dog” f( )"snake" Hangchou Dianci Universit的y杭州电子科技大学 School of Computer Science and Technol6oD计算机学院周文库
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 学习什么？ 图像识别: f “cat” 一组函数 1 2 f , ,... f 模型 f1 “cat” f1 “dog” f2 “monkey” f2 “snake
学习什么？ 图像识别： f( = “cat” 模型 ( )= “cat f( “monkey” 一组函数 才，… Better! f( )=dog” f( “snake” 函数f的适应 有监督学习 度 函数输入： 训练集 函数输出： “monkey” "cat" “dog” Hangchou Dianzi University杭州电子科技大学 School of Computer Science and Technology计算机学院周文库
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 一组函数 1 2 f , ,... f 图像识别: f “cat” 模型 训练集 函数 f 的适应 度 “monkey” “cat” “dog” 函数输入: 函数输出: 有监督学习 “cat” f1 “dog” f2 “monkey” “snake” 2f Better! f1 学习什么？
学习什么？ 图像识别： f( “cat 模型 训练 测试 组函数 步骤1 fi,f5,… “cat 函数f的适应 寻找“最好”的函数 已训练f 步骤2 度 步骤3 训练集 “monkey” cat" “dog” Hangchou①ianzi University杭州电子科技大学 School of Computer Science and Technology计算机学院周文库
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 一组函数 模型 训练集 函数 f 的适应 度 “monkey” “cat” “dog” * f 寻找“最好”的函数 已训练 f “cat” 训练 测试 步骤 1 步骤 2 步骤 3 图像识别: f “cat” 1 2 f , ,... f 学习什么？
学习的本质 学习的本质 学什么？怎么学？ 生物到人工模型 从生物神经元到人工神经元 生物神经元、人工神经元， 神经网络发展历史 神经网络发展历史 发展历史 神经网络基本概念 神经网络基本概念 激活函数、学习规则、优化算法、 经典人工神经网络 经典人工神经网络 前向神经网络、BP神经网络，Hopfield神经网络， Hangzhou Dianzi Universit的y杭州电子科技大学 School of Computer Science and Technology计算机学院周文库
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 学习的本质 神经网络基本概念 生物到人工模型 神经网络发展历史 经典人工神经网络 学习的本质 学什么？ 怎么学？ … 从生物神经元到人工神经元 生物神经元、人工神经元，… 神经网络发展历史 神经网络基本概念 激活函数、学习规则、优化算法、 … 经典人工神经网络 ？ 前向神经网络、BP神经网络，Hopfield神经网络，… 发展历史 …
人类智能—研究的发展史 探索人类智能有“宏观”与“微观”两个途径。 如同物理学研究物质宏观和微观结构一样。 脑功能（智能）研究的微观方法针对生物的神经网络研究。 是一种“自下而上”的研究方法： ·首先关注单个神经元如何工作 ·再分析多神经元构成的神经系统的工作机理 ·理解智能与意识是如何从中产生。 Hangchou Dianci Universit的y杭州电子科技大学 School of Computer Science and Technology计算机学院周文库
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 人类智能——研究的发展史 探索人类智能有“宏观”与“微观”两个途径。 如同物理学研究物质宏观和微观结构一样。 脑功能（智能）研究的微观方法针对生物的神经网络研究。 是一种“自下而上”的研究方法： • 首先关注单个神经元如何工作 • 再分析多神经元构成的神经系统的工作机理 • 理解智能与意识是如何从中产生
脑是由什么组成的？ 两位脑科学先驱： ·意大利解剖学家、病理学家高尔基(C.Golgi) ·西班牙解剖学家卡加尔(R.Cajl) 1873年高尔基发明了一种染色技术，卡加尔将其应用于观察大脑中的神经 元，提出了“神经元学说”。 神经元既是神经系统的结构单元，也是其功能、发育、营养和病变单元。 他们的研究有力地推动了神经科学的发展，1906年两位学者同时获得诺贝 尔生理学与医学奖。 Hangchou Dianzi Universit的y杭州电子科技大学 School of Computer Science and Technology计算机学院周文库
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 脑是由什么组成的？ 两位脑科学先驱： • 意大利解剖学家、病理学家高尔基（C. Golgi） • 西班牙解剖学家卡加尔（R. Cajál） 1873 年高尔基发明了一种染色技术，卡加尔将其应用于观察大脑中的神经 元，提出了“神经元学说”。 神经元既是神经系统的结构单元，也是其功能、发育、营养和病变单元。 他们的研究有力地推动了神经科学的发展， 1906年两位学者同时获得诺贝 尔生理学与医学奖