最大间隔与支持向量机 支持向量回归 软间隔与正则化 核方法 统计学习理论简介

1 概率密度估计 2 直方图方法 3 Parzen 窗 4 K 近邻密度估计 k 近邻分类器

1 基本原理 2 多分类器结合 3 装袋 Bagging 4 提升法 Boosting（提升法） AdaBoost 算法 AdaBoost 算法的另一个解释

1 感知机存在的一个问题 2 线性可分 SVM SVM 的种类 函数间隔和几何间隔 学习的原始最优化问 题 凸优化问题 线性可分 SVM 学习算 法—最大间隔法 支持向量与间隔边界 拉格朗日对偶性 KKT 条件 线性可分 SVM 学习的 对偶算法 3 线性不可分 SVM 线性 SVM 学习的对偶 算法 线性 SVM 学习算法 线性不可分时的 SV 合页损失函数 4 非线性 SVM 与核函数 希尔伯特空间 核函数的定义 核函数的选取 核技巧在 SVM 中的应 用 非线性 SVM 算法 5 序列最小最优化算法 SMO 算法的基本思路 两变量二次规划的求 解方法 两个变量的选择方法

1 一个例子 2 最小二乘法 3 从线性到非线性：用线性模型 4 概率解释 最大似然估计 最大后验概率估计 正则化效果 5 偏置-方差困境 损失函数的第一步分解 损失函数的第二步分解 对多个数据集的简单总结

1 统计学习的定义 2 统计模式识别的应用案例 3 统计模式识别系统框架与设计周期 统计模式识别系统框架 统计模式识别设计周期 4 一个案例 5 基本概念 6 机器学习在人工智能中的位置

1 Density Estimation 2 Histogram Method 3 Parzen Window 4 k-nearest neighbors 5 Summary of nonparametric models

1 Basic principle 2 Multiple classifier combination 3 Bagging 4 Boosting

1 A problem in perceptron 2 Linear SVM in LSC 3 SVM in LIC 4 Kernel Functions 5 Nonlinear SVM 6 SMO Algorithm

1 A Case 2 Least Squares Method 3 From Linear to Nonlinear: Using Linear Model 4 How Regression Got Its Name 5 Probability Interpretation 6 Bias–Variance Dilemma