量离散标签中的一个，被称为分类(classification)问题。如果要求的输出由一个或者多个连续 变量组成，那么这个任务被称为回归(regression)。回归问题的一个例子是化学药品制造过程 中产量的预测。在这个问题中，输入由反应物、温度、压力组成。 在其他的模式识别问题中，训练数据由一组输入向量x组成，没有任何对应的目标值。 在这样的无监督学习(unsupervised learning)问题中，目标可能是发现数据中相似样本的 分组，这被称为聚类(clustering),或者决定输入空间中数据的分布，这被称为密度估计 (density estimation),或者把数据从高维空间投影到二维或者三维空间，为了数据可视化 (visualization) 最后，反馈学习(reinforcement learning)(Sutton and Barto,I998)技术关注的问题是在给 定的条件下，找到合适的动作，使得奖励达到最大值。这里，学习问题没有给定最优输出的用 例。这些用例必须在一系列的实验和错误中被发现。这与有监督学习相反。通常，有一个状态 和动作的序列，其中学习算法与环境交互。在许多情况下，当前动作不仅影响直接的奖励，也 对所有后续时刻的奖励有影响。例如，通过使用合适的反馈学习技术，一个神经网络可以学 会backgammon游戏的玩法，并且玩得很好(Tesauro,1994)。这里神经网络必须学习把一大组 位置信息、骰子投掷的结果作为输入，产生一个移动的方式作为输出。通过让神经网络自己和 自己玩一百万局，这个目的就可以达到。一个主要的挑战是backgammon游戏会涉及到相当多次 的移动，但是只有在游戏结束的时候才能给出奖励（以胜利的形式）。奖励必须被合理地分配 给所有引起胜利的移动步骤。这些移动中，有些移动很好，其他的移动不是那么好。这是信用 分配(credit assignment)问题的一个例子。反馈学习的一个通用的特征是探索(exploration)和 利用(exploitation)的折中。“探索”是指系统尝试新类型的动作，“利用”是指系统使用已知能产 生较高奖励的动作。过分地集中于探索或者利用都会产生较差的结果。反馈学习继续是机器学 习研究中得一个活跃的领域。然而，详细讨论反馈学习不在本书的范围内。 虽然这些任务中每一个都需要自己的工具和技术，但是在这些任务背后的许多关键思想都是 相通的。本章的主要目标是以一种相对非正式的形式介绍最重要的概念，并且使用简单的例子 来说明。稍后在本书中，我们将看到同样的思想以更加复杂的模型的形式重新出现，这些模型 能够应用于真实世界中模式识别的应用中。本章也将介绍将自始至终在本书中使用的三个重要 工具：概率论、决策论、信息论。虽然这些东西听起来让人感觉害怕，但是实际上它们非常直 观。并且，在实际应用中，如果想让机器学习技术发挥最大作用的话，清楚地理解它们是必须 的。 1.1例子：多项式曲线拟合 我们以一个简单的回归问题开始。本章中，我们将以这个问题为例，说明许多关键的概念。 假设我们观察到一个实值输入变量x,我们想使用这个观察来预测实值目标变量的值。对于这 个目的，一个很好的方法是考虑一个使用已知的产生方式人工制造出的例子，因为这样我们就 知道生成数据的精确过程，从而能够和我们学习到得模型进行比较。这个例子的数据由函 数si(2πx)产生，目标变量带有随机的噪声。详细的描述见附录A。 现在假设给定一个训练集。这个训练集由x的N次观测组成，写作x三(x1,…,xN)T,伴随这 对应的t的观测值，记作t三(t1,…,tv)T。图1.2展示了由N=10个数据点组成的图像。图1.2中 的输入数据集合x通过选择xn(m=1,·,N)的值来生成。这些xn均匀分布在区间[0,1刂，目标数 据集t的获得方式是：首先计算函数sn(2πx)的对应的值，然后给每个点增加一个小的符合高斯 分布的随机噪声（高斯分布将在1.2.4节讨论），从而得到对应的t的值。通过使用这种方式产 生数据，我们利用了许多真实数据集合的一个性质，即它们拥有一个内在的规律，这个规律是 我们想要学习的，但是独自的观察被随机噪声干扰。这种噪声可能由一个本质上随机的过程产 生，例如放射性衰变。但是更典型的情况是由于存在没有被观察到的具有变化性的噪声源。 我们的目标是利用这个训练集预测对于输入变量的新值的目标变量的值。正如我们将要看 到的那样，这涉及到隐式地发现内在的函数s(2πx)。这本质上是一个困难的问题，因为我们不 得不从有限的数据中生成。并且观察到得数据被噪声干扰，因此对于一个给定的蛇，合适的值 具有不确定性。概率论（在1.2节讨论）提供了一个框架，用来以精确的数学的形式描述这种不 确定性。决策论（在15节讨论）让我们能够根据合适的标准，利用这种概率的表示，进行最优 的预测。 10量离散标签中的⼀个，被称为分类（classification）问题。如果要求的输出由⼀个或者多个连续 变量组成，那么这个任务被称为回归（regression）。回归问题的⼀个例⼦是化学药品制造过程 中产量的预测。在这个问题中，输⼊由反应物、温度、压⼒组成。 在其他的模式识别问题中，训练数据由⼀组输⼊向量x组成，没有任何对应的⽬标值。 在这样的⽆监督学习（unsupervised learning）问题中，⽬标可能是发现数据中相似样本的 分组，这被称为聚类（clustering），或者决定输⼊空间中数据的分布，这被称为密度估计 （density estimation），或者把数据从⾼维空间投影到⼆维或者三维空间，为了数据可视化 （visualization）。 最后，反馈学习（reinforcement learning）（Sutton and Barto, 1998）技术关注的问题是在给 定的条件下，找到合适的动作，使得奖励达到最⼤值。这⾥，学习问题没有给定最优输出的⽤ 例。这些⽤例必须在⼀系列的实验和错误中被发现。这与有监督学习相反。通常，有⼀个状态 和动作的序列，其中学习算法与环境交互。在许多情况下，当前动作不仅影响直接的奖励，也 对所有后续时刻的奖励有影响。例如，通过使⽤合适的反馈学习技术，⼀个神经⽹络可以学 会backgammon游戏的玩法，并且玩得很好（Tesauro, 1994）。这⾥神经⽹络必须学习把⼀⼤组 位置信息、骰⼦投掷的结果作为输⼊，产⽣⼀个移动的⽅式作为输出。通过让神经⽹络⾃⼰和 ⾃⼰玩⼀百万局，这个⽬的就可以达到。⼀个主要的挑战是backgammon游戏会涉及到相当多次 的移动，但是只有在游戏结束的时候才能给出奖励（以胜利的形式）。奖励必须被合理地分配 给所有引起胜利的移动步骤。这些移动中，有些移动很好，其他的移动不是那么好。这是信⽤ 分配（credit assignment）问题的⼀个例⼦。反馈学习的⼀个通⽤的特征是探索（exploration）和 利⽤（exploitation）的折中。“探索”是指系统尝试新类型的动作，“利⽤”是指系统使⽤已知能产 ⽣较⾼奖励的动作。过分地集中于探索或者利⽤都会产⽣较差的结果。反馈学习继续是机器学 习研究中得⼀个活跃的领域。然⽽，详细讨论反馈学习不在本书的范围内。 虽然这些任务中每⼀个都需要⾃⼰的⼯具和技术，但是在这些任务背后的许多关键思想都是 相通的。本章的主要⽬标是以⼀种相对⾮正式的形式介绍最重要的概念，并且使⽤简单的例⼦ 来说明。稍后在本书中，我们将看到同样的思想以更加复杂的模型的形式重新出现，这些模型 能够应⽤于真实世界中模式识别的应⽤中。本章也将介绍将⾃始⾄终在本书中使⽤的三个重要 ⼯具：概率论、决策论、信息论。虽然这些东西听起来让⼈感觉害怕，但是实际上它们⾮常直 观。并且，在实际应⽤中，如果想让机器学习技术发挥最⼤作⽤的话，清楚地理解它们是必须 的。 1.1 例⼦：多项式曲线拟合 我们以⼀个简单的回归问题开始。本章中，我们将以这个问题为例，说明许多关键的概念。 假设我们观察到⼀个实值输⼊变量x，我们想使⽤这个观察来预测实值⽬标变量t的值。对于这 个⽬的，⼀个很好的⽅法是考虑⼀个使⽤已知的产⽣⽅式⼈⼯制造出的例⼦，因为这样我们就 知道⽣成数据的精确过程，从⽽能够和我们学习到得模型进⾏⽐较。这个例⼦的数据由函 数sin(2πx)产⽣，⽬标变量带有随机的噪声。详细的描述见附录A。 现在假设给定⼀个训练集。这个训练集由x的N次观测组成，写作x ≡ (x1, …, xN ) T，伴随这 对应的t的观测值，记作t ≡ (t1, …, tN ) T。图1.2展⽰了由N = 10个数据点组成的图像。图1.2中 的输⼊数据集合x通过选择xn(n = 1, . . . , N)的值来⽣成。这些xn均匀分布在区间[0, 1]，⽬标数 据集t的获得⽅式是：⾸先计算函数sin(2πx)的对应的值，然后给每个点增加⼀个⼩的符合⾼斯 分布的随机噪声（⾼斯分布将在1.2.4节讨论），从⽽得到对应的tn的值。通过使⽤这种⽅式产 ⽣数据，我们利⽤了许多真实数据集合的⼀个性质，即它们拥有⼀个内在的规律，这个规律是 我们想要学习的，但是独⾃的观察被随机噪声⼲扰。这种噪声可能由⼀个本质上随机的过程产 ⽣，例如放射性衰变。但是更典型的情况是由于存在没有被观察到的具有变化性的噪声源。 我们的⽬标是利⽤这个训练集预测对于输⼊变量的新值xb的⽬标变量的值bt。正如我们将要看 到的那样，这涉及到隐式地发现内在的函数sin(2πx)。这本质上是⼀个困难的问题，因为我们不 得不从有限的数据中⽣成。并且观察到得数据被噪声⼲扰，因此对于⼀个给定的xb，合适的bt值 具有不确定性。概率论（在1.2节讨论）提供了⼀个框架，⽤来以精确的数学的形式描述这种不 确定性。决策论（在1.5节讨论）让我们能够根据合适的标准，利⽤这种概率的表⽰，进⾏最优 的预测。 10