统计学习理论及应用 第一讲概述 编写：文泉、陈娟 电子科技大学 计机科学与工程学院
统计学习理论及应用 第一讲 概述 编写：文泉、陈娟 电子科技大学 计算机科学与工程学院
教材 ①李航，统计学习方法（第2版），清华大学出版社，2019 主要参考书目 ①周志华，机器学习，清华大学出版社，2016 2S.Theodoridis,.模式识别，第四版，电子工业版社 3 C.M.Bishop,Pattern Recognition and Machine Learning, Springer,2006 4 I.Goodfellow,Y.Bengio,A.Courville,Deep Learning, MIT Press,2016 5 R.O.Duda,P.E.Hart,and D.G.Stork,Pattern Classification,2nd edition,John Wiley Sons,Inc.,2001 1/49
教材 1 李航，统计学习方法（第 2 版），清华大学出版社，2019 主要参考书目 1 周志华，机器学习，清华大学出版社，2016 2 S. Theodoridis, 模式识别，第四版，电子工业版社 3 C. M. Bishop, Pattern Recognition and Machine Learning, Springer, 2006 4 I. Goodfellow, Y. Bengio, A. Courville, Deep Learning, MIT Press, 2016 5 R.O. Duda, P.E. Hart, and D.G. Stork, Pattern Classification, 2nd edition, John Wiley & Sons, Inc., 2001 1 / 49
教学内容与课时安排 ●第一章：统计学习概述（1学时) ·第二章：线性代数与概率论概述（2学时) 。第三章：回归模型(4学时) 。第四章：感知机(4学时) 。第五章：支持向量机(12学时) ·第六章：多层感知机(6学时) ●第七章：集成方法(4学时) 。第八章：数据表示-含参模型(4学时) 。第九章：数据表示不含参模型（3学时) 2/49
教学内容与课时安排 第一章：统计学习概述（1 学时） 第二章：线性代数与概率论概述（2 学时） 第三章：回归模型（4 学时） 第四章：感知机（4 学时） 第五章：支持向量机（12 学时） 第六章：多层感知机（6 学时） 第七章：集成方法（4 学时） 第八章：数据表示-含参模型（4 学时） 第九章：数据表示-不含参模型（3 学时） 2 / 49
数学符号Mathematical Notation 。矩阵符号 xi:scalar标量 x:vector矢量，表示为：X=(x1,.,xM) x乙：矢量x的转置 X:matriⅸ矩阵，其i行j列元素为Xg XT:矩阵X的转置 IM:M×M单位矩阵 。概率统计符号 x,y:realized values(lowercase)of the random variables Xand Y(uppercase) X,Y:random variables Y and Y ,sample space(uppercase script Roman letters) B,入：parameters(lowercase Greek letter) parameter space(uppercase script Greek letters) 4/49
数学符号 Mathematical Notation 矩阵符号 xi : scalar 标量 x: vector 矢量，表示为: x = (x1, . . . , xM) x T : 矢量 x 的转置 X: matrix 矩阵，其 i 行 j 列元素为 Xij X T : 矩阵 X 的转置 IM: M × M 单位矩阵 概率统计符号 x, y: realized values (lowercase) of the random variables X and Y (uppercase) X, Y: random variables X and Y X , Y: sample space (uppercase script Roman letters) θ, λ: parameters (lowercase Greek letter) Θ, Ω: parameter space (uppercase script Greek letters) 4 / 49
目录 ① 统计学习的定义 2 统计模式识别的应用案例 统计模式识别系统框架与设计周期 。统计模式识别系统框架 0 统计模式识别设计周期 一个案例 基本概念 ⑥机器学习在人工智能中的位置 5/49
目录 1 统计学习的定义 2 统计模式识别的应用案例 3 统计模式识别系统框架与设计周期 统计模式识别系统框架 统计模式识别设计周期 4 一个案例 5 基本概念 6 机器学习在人工智能中的位置 5 / 49
知识点： ·统计学习基本概念与定义 ·统计模式识别基本概念与定义 。统计模式识别应用领域 。统计模式识别系统框架 。生成法与判别法 重点与难点： ·重点：统计学习基本知识与概念，及应用领域。 。难点：理解生成法与判别法的区别 6/49
知识点： 统计学习基本概念与定义 统计模式识别基本概念与定义 统计模式识别应用领域 统计模式识别系统框架 生成法与判别法 重点与难点： 重点：统计学习基本知识与概念，及应用领域。 难点：理解生成法与判别法的区别 6 / 49
1.1.统计学习的定义 data Machine Hypothesis 7/49
1.1. 统计学习的定义 7 / 49
“统计”的定义 是关于收集、组织、分析、解释、陈述数据的科学。 "The study of the collection,organization,analysis, interpretation and presentation of data",Oxford Dictionary of Statistical Terms. 2描述性统计学(Descriptive Statistics):总结叙述收集来 的数据。如均值，方差。what happened 3预测性统计学(Predictive Statistics):将数据中的数据模 型化，并且做出对于母群体的推论。如回归分析。 what will happen ④指导性统计学(Prescriptive Statistics):将数据中的数据 模型化，并且规划出下一步行动决策。what to do Any function of the samples is a statistic,such as the sample mean and variance 8/49
“统计”的定义 1 是关于收集、组织、分析、解释、陈述数据的科学。 ”The study of the collection, organization, analysis, interpretation and presentation of data”, Oxford Dictionary of Statistical Terms. 2 描述性统计学(Descriptive Statistics): 总结叙述收集来 的数据。如均值，方差。what happened 3 预测性统计学(Predictive Statistics): 将数据中的数据模 型化，并且做出对于母群体的推论。如回归分析。 what will happen 4 指导性统计学(Prescriptive Statistics): 将数据中的数据 模型化，并且规划出下一步行动决策。what to do Any function of the samples is a statistic, such as the sample mean and variance 8 / 49
“学习”的定义 (1)对人类而言，百度百科：学习是透过教授或体验而获得知识、 技术、态度或价值的过程，从而导致可量度的稳定的行为变化，更 准确一点来说是建立新的精神结构或审视过去的精神结构。学习必 须倚赖经验才能有长远的成效。 (2)对系统而言，H.A.Simon(Nobel Prize in Economics-l978; Turing Award-l975):如果一个系统能够通过执行某个过程改进它的 性能，这就是学习。 (3)对计算机系统而言，T.M.Mitchell:以性能量度P进行衡量， 如果一个计算机程序在某类任务T上的性能，随着经验E而提升， 那么我们称这个计算机程序从经验E中学习。 A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P,if its performance at tasks in T,as measured by P,improves with experience E. 9/49
“学习”的定义 （1）对人类而言，百度百科：学习是透过教授或体验而获得知识、 技术、态度或价值的过程，从而导致可量度的稳定的行为变化，更 准确一点来说是建立新的精神结构或审视过去的精神结构。学习必 须倚赖经验才能有长远的成效。 （2）对系统而言，H. A. Simon (Nobel Prize in Economics-1978; Turing Award-1975)：如果一个系统能够通过执行某个过程改进它的 性能，这就是学习。 （3）对计算机系统而言，T. M. Mitchell：以性能量度 P 进行衡量， 如果一个计算机程序在某类任务 T 上的性能，随着经验 E 而提升， 那么我们称这个计算机程序从经验 E 中学习。 A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E. 9 / 49
常见任务Task,T (Classification):the computer program is asked to specify which of k categories some input belongs to.To solve this task,the learning algorithm is usually asked to produce a function: f:R”→{1，，k Output is discrete(离散的) 2(Regression):the computer program is asked to predict a numerical value given some input.To solve this task,the learning algorithm is asked to output a function :R”→R Output is continuous(连续的) 10/49
常见任务 Task, T 1 分类 (Classification): the computer program is asked to specify which of k categories some input belongs to. To solve this task, the learning algorithm is usually asked to produce a function: f : R n → {1, ..., k} Output is discrete (离散的) 2 回归 (Regression): the computer program is asked to predict a numerical value given some input. To solve this task, the learning algorithm is asked to output a function f : R n → R Output is continuous (连续的) 10 / 49