体时,自适应线性网络的输入与输出之间的关系可以写成A=W*P。如果P 是满秩的话,则可以写成APl=W,或W=AP。从自动控制理论的角度来说, W就是系统的传递函数,只不过W不是计算出来的,而是训练出来的,且自适 应线性网络中的W只能表现出输入与输出之间的线性关系。当输入与输出之间 是非线性关系时,通过对网络的训练,可以得出线性逼近关系,即线性化的传递 函数。这个思想可以运用在对被控系统的建模上,即系统辨识上。当然,若把此 思想用在后面将要学习到的BP网络中,则意味着可以对任意非线性被控系统建 立精确的系统模型。这无论用自动控制的经典理论,还是用现代控制理论,都是 无法做到的,因为在那里,只能对线性的或线性化的系统建立传递函数。而运用 人工神经网络,采用最简单的自适应线性网络即可做到。 (2学习算法 学习算法是为了完成不同的任务、达到不同的目的所建立的,所以不同的模 型,有不同的算法。感知器的算法是最早提出的可收敛的算法,它的自适应思想 被威德罗和霍夫发展成使其误差最小的梯度下降法。最后又在BP算法中得到进 步的推广,它们属于同一类算法。除此以外,在其它模型中,则采用各种完全 不同的算法。 (3适用性与局限性 每个网络模型以其独特的结构和学习算法,决定了它所能够解决的问题,这 就给出了它的适用性,同时也指出了它的局限性。比如,感知器仅能够进行简单 的分类。从前面的例题中已经看出,感知器可以将输入分成两类或四类等。它的 局限性是仅能对线性可分的输入进行分类。遗憾的是,哪些输入是线性可分的 在划分前我们并没有办法得知,只有进行训练后才能知道是否线性可分。不过理 论已经证明,对于线性可分的输入矢量,感知器在有限的时间里一定可以达到结 果 自适应线性网络除了像感知器一样可以进行线性分类外,又多了线性逼近, 这仅是由于其激活函数可以连续取值而不同于感知器的仅能取0或1的缘故。后 面将要学习到的BP网络又以不同的网络结构以及多层学习算法,而能够进行诸 如非线性函数逼近与压缩等其它模型所没有的功能,但它也有自身的缺点与局限 性,如:需要的训练时间较长,易陷入局部最小值等。再如,霍普菲尔德网络以18 一体时，自适应线性网络的输入与输出之间的关系可以写成 A＝W*P。如果 P 是满秩的话，则可以写成 AP-1＝W，或 W=A/P。从自动控制理论的角度来说， W 就是系统的传递函数，只不过 W 不是计算出来的，而是训练出来的，且自适 应线性网络中的 W 只能表现出输入与输出之间的线性关系。当输入与输出之间 是非线性关系时，通过对网络的训练，可以得出线性逼近关系，即线性化的传递 函数。这个思想可以运用在对被控系统的建模上，即系统辨识上。当然，若把此 思想用在后面将要学习到的 BP 网络中，则意味着可以对任意非线性被控系统建 立精确的系统模型。这无论用自动控制的经典理论，还是用现代控制理论，都是 无法做到的，因为在那里，只能对线性的或线性化的系统建立传递函数。而运用 人工神经网络，采用最简单的自适应线性网络即可做到。 (2)学习算法 学习算法是为了完成不同的任务、达到不同的目的所建立的，所以不同的模 型，有不同的算法。感知器的算法是最早提出的可收敛的算法，它的自适应思想 被威德罗和霍夫发展成使其误差最小的梯度下降法。最后又在 BP 算法中得到进 一步的推广，它们属于同一类算法。除此以外，在其它模型中，则采用各种完全 不同的算法。 (3)适用性与局限性 每个网络模型以其独特的结构和学习算法，决定了它所能够解决的问题，这 就给出了它的适用性，同时也指出了它的局限性。比如，感知器仅能够进行简单 的分类。从前面的例题中已经看出，感知器可以将输入分成两类或四类等。它的 局限性是仅能对线性可分的输入进行分类。遗憾的是，哪些输入是线性可分的， 在划分前我们并没有办法得知，只有进行训练后才能知道是否线性可分。不过理 论已经证明，对于线性可分的输入矢量，感知器在有限的时间里一定可以达到结 果。 自适应线性网络除了像感知器一样可以进行线性分类外，又多了线性逼近， 这仅是由于其激活函数可以连续取值而不同于感知器的仅能取 0 或 1 的缘故。后 面将要学习到的 BP 网络又以不同的网络结构以及多层学习算法，而能够进行诸 如非线性函数逼近与压缩等其它模型所没有的功能，但它也有自身的缺点与局限 性，如：需要的训练时间较长，易陷入局部最小值等。再如，霍普菲尔德网络以