1 Probability Density Estimation 2 Maximum Likelihood Estimation 3 MAP estimation 4 Bayesian estimation 5 Expectation maximization

一、华生的生平、著作及基本观点 二、华生行为主义的研究对象——行为 三、华生的学习理论 四、评价

1 K-Means 聚类算法 (Clustering Algorithm) 解释 Explanation 收敛性 Convergence of K-Means 矩阵建模 Matrix Modelling of K-Means 2 网页排序 PageRank 动机 Motivation 简单网页排序 Simplified PageRank 网页排序建模 PageRank Modelling 例子 Example

1 历史进程 2 预备知识 采用线性激活函数的神经元 采用阈值激活函数的神经元 采用 S 形激活函数的神经元 3 异或问题 4 多层感知机到底在做什么？ 5 Tilling（耕种，耕作）算法 6 可微激活函数函的多层感知机学习方法 误差 e 的表示 误差的反向传播 反向传播算法 计算例子

一、生平简介 心理学家加湿(Robert Gagne) 1916出生 1937在耶鲁大学(Yale)获得学士学位 1940布朗大学(Brown Univers ity)获心理学博士学位 19401949康涅狄哥女子学院(Connecticut College for Women)任教 1945-1946佩恩州立大学(Penn State University)任教 1949-1958美国空军知觉和运动技能实验室主任(在此期间提出了“学习的 条件”)

1 感知机存在的一个问题 2 线性可分 SVM SVM 的种类 函数间隔和几何间隔 学习的原始最优化问 题 凸优化问题 线性可分 SVM 学习算 法—最大间隔法 支持向量与间隔边界 拉格朗日对偶性 KKT 条件 线性可分 SVM 学习的 对偶算法 3 线性不可分 SVM 线性 SVM 学习的对偶 算法 线性 SVM 学习算法 线性不可分时的 SV 合页损失函数 4 非线性 SVM 与核函数 希尔伯特空间 核函数的定义 核函数的选取 核技巧在 SVM 中的应 用 非线性 SVM 算法 5 序列最小最优化算法 SMO 算法的基本思路 两变量二次规划的求 解方法 两个变量的选择方法

1 Linear Algebra Notations and Fundamental Concepts Matrix Multiplication Operational Properties Linear Space Quadratic Form and Positive Definite Matrix Matrix Calculus 2 Probability Theory Probability Space Random Variable and Its Distribution Numerical Characteristics of Random Variables Conditional Expectation Jenson’s Inequality

早年在教会学校和当地的神学院读书 后前往圣彼得堡大学，主修动物生理学和医学 1875年，进入医学外科学院攻读医学博士学位。 1904年，巴甫洛夫因为消化生理学的研究，获 得了医学诺贝尔奖。其中最著名的是他对狗的 条件作用的研究。 比较有趣的是，巴甫洛夫本人认为自己是一个 生理学家，而不是一个心理学家

1 概率密度估计 2 直方图方法 3 Parzen 窗 4 K 近邻密度估计 k 近邻分类器

1 概率密度估计 2 最大似然估计 例 1 均值和方差的无偏与有偏估计 什么是高斯分布 ML 的全局最优？ 二元函数局部最优条件 例 2 3 最大后验概率估计 例 3 4 贝叶斯估计 例 4 5 期望最大化 EM EM 在高斯混合模型中的应用