学习 学习就是对信息进行编码，其目的就是通过向 有限个例子（训练样本）的学习来找到隐藏 在例子背后（即产生这些例子)的规律（如 函数形式)
学习 ◼ 学习就是对信息进行编码,其目的就是通过向 有限个例子（训练样本）的学习来找到隐藏 在例子背后（即产生这些例子）的规律（如 函数形式）
编码 ■我们使用状态级(behavioristic)编码准 则。如果输入激励为飞，而响应为 , 则为系统学会了激励一响应对 ■输输对 表示函数 的一 个采样。函数将维矢量X映射到p维矢量Y
编码 ◼ 我们使用状态级（behavioristic）编码准 则。如果输入激励为 ，而响应为 ， 则认为系统学会了激励－响应对 。 ◼ 输入输出对 表示函数 的一 个采样。函数将n维矢量X映射到p维矢量Y xi yi ( , ) i i x y ( , ) i i x y : n p f R R →
学习过程 ■由所有的输入X得到响应Y=(x) 那么系统就学习了函数
学习过程 ◼ 由所有的输入 得到响应 那么系统就学习了函数。 X Y f X = ( )
学习过程 ■若输入X≈X系统就会得到响 应y≈Y=f(x), 侧表明系统近似 或部分的学习了函数，即系统把 相似的输入映射为相似的输出， 由此估计出一个连续的函数
学习过程 ◼ 若输入 系统就会得到响 应 ，则表明系统近似 或部分的学习了函数，即系统把 相似的输入映射为相似的输出， 由此估计出一个连续的函数。 / X X ( ) / Y Y f X =
学习与改变 当样本数据改变系统参数时，系统学习、 自适应或自组织这些改变。在神经网络 中表现为突触的改变，而不是神经元的 改变（尽管有时神经元也学习新的状 态) 注：突触的改变就是权值的学习过程， 而神经元的改变只是网络的演化
学习与改变 ◼ 当样本数据改变系统参数时，系统学习、 自适应或自组织这些改变。在神经网络 中表现为突触的改变，而不是神经元的 改变（尽管有时神经元也学习新的状 态）。 ◼ 注：突触的改变就是权值的学习过程， 而神经元的改变只是网络的演化
结论 当激励改变了记忆介质并使改变维持相 当长一段时间后，系统才学会了。这也 说明了传统的解释学习是半永久的变化。 如果我们通过了微积分的考试，那么可 以说我们学会了微积分，并且可以持续 这种“会“的状态一段时间
结论 ◼ 当激励改变了记忆介质并使改变维持相 当长一段时间后，系统才学会了 。这也 说明了传统的解释学习是半永久的变化。 如果我们通过了微积分的考试，那么可 以说我们学会了微积分，并且可以持续 这种“会“的状态一段时间
举例 ■画家画画 ■除草机除草
举例 ◼ 画家画画 ◼ 除草机除草
学习与量化 学习模式与样本模式之间存在严重的不 匹配。 ■通常系统只能学会样本模式环境中一小 部分样本模式，而可能的样本数量使无 穷的
学习与量化 ◼ 学习模式与样本模式之间存在严重的不 匹配。 ◼ 通常系统只能学会样本模式环境中一小 部分样本模式，而可能的样本数量使无 穷的
学习与量化 量化的必要性 系统的存储量是有限的，这就要求系统 要通过学习学会用新的样本模式替换旧 的样本模式，从而形成样本模式的内部 表达或采样模式的样机。 ■学会了的样机定义量化模式
学习与量化 ◼ 量化的必要性 ◼ 系统的存储量是有限的，这就要求系统 要通过学习学会用新的样本模式替换旧 的样本模式，从而形成样本模式的内部 表达或采样模式的样机。 ◼ 学会了的样机定义量化模式
学习与量化 量子化 量子化，把样本模式空间R”分成k个 区域：量子化区域决策组。被学习的原 型矢量在一个足够大的模式空间R"中定 义了个m突触点。当且仅当某个m,在R” 中移动时，系统才进行学习
学习与量化 ◼ 量子化 量子化，把样本模式空间 分成k个 区域：量子化区域决策组。被学习的原 型矢量在一个足够大的模式空间 中定 义了个 突触点。当且仅当某个 在 中移动时，系统才进行学习。 n R n R m n mi R