权值，当然E也依赖于特定的训练样本集合，但一般在训练期间训练样本集合是 固定的，所以没有把E也定义成训练样本的函数。 1.可视化假设空间 为了理解梯度下降算法，可视化地表示包含所有可能的权向量和相关联的E值的 整个假设空间。如图所示。这里坐标，o,表示一个简单的线性单元中两个权可 能的取值，纵轴表示相对于某固定训练样本的误差E。因此图中的误差曲面概括 了假设空间中每一个权向量的期望度(desirability)(期望得到一个具有最小 误差的假设)。如果定义E的方法已知，那么对于线性单元，这个误差曲面必然 是具有单一全局最小值的抛物面。当然抛物面的形状依赖于具体的训练样本集。 25 20 15 10 wO w1 为了确定一个E最小化的权向量，梯度下降搜索从一个任意的初始权向量开始， 然后以很小的步伐反复修改这个向量。每一步都沿误差曲面产生最陡峭下降的方 面修改权向量，继续这个过程直到得到全局最小误差点。 2.梯度下降法则的推导 如何计算出沿误差曲面最陡峭下降的方向？可通过计算E相对于向量。的每个 分量的偏导数来得到这个方向。这个向量导数被称为E对于0的梯度，记作 VE(@)权值，当然 E 也依赖于特定的训练样本集合，但一般在训练期间训练样本集合是 固定的，所以没有把 E 也定义成训练样本的函数。 1.可视化假设空间 为了理解梯度下降算法，可视化地表示包含所有可能的权向量和相关联的 E 值的 整个假设空间。如图所示。这里坐标 10 ω ,ω 表示一个简单的线性单元中两个权可 能的取值，纵轴表示相对于某固定训练样本的误差 E。因此图中的误差曲面概括 了假设空间中每一个权向量的期望度（desirability）(期望得到一个具有最小 误差的假设)。如果定义 E 的方法已知，那么对于线性单元，这个误差曲面必然 是具有单一全局最小值的抛物面。当然抛物面的形状依赖于具体的训练样本集。 为了确定一个 E 最小化的权向量，梯度下降搜索从一个任意的初始权向量开始， 然后以很小的步伐反复修改这个向量。每一步都沿误差曲面产生最陡峭下降的方 面修改权向量，继续这个过程直到得到全局最小误差点。 2. 梯度下降法则的推导 如何计算出沿误差曲面最陡峭下降的方向？可通过计算 E 相对于向量ω 的每个 分量的偏导数来得到这个方向。这个向量导数被称为 E 对于ω 的梯度，记作 ∇E ω)(