第八章 光学神经网络 2021/219
2021/2/19 1 第八章 光 学 神 经 网 络
目录2021219 光学信息处理 第1节 第八章光学神经网络 第2节 第8节8.1引言 第4节 8.2一般基础 8.3光学互连 8.4结论 第8章
第1节 第2节 第3节 第4节 目 录 第8章 2021/2/19 光学信息处理 2 第八章 光学神经网络 8．1 引言 8．2 一般基础 8．3 光学互连 8．4 结论
目录2021219 光学信息处理 1节8.1引言 第2节 随着80年代初对于神经网络的兴趣的复苏, 第3节 Psaltis和 Farhat于1985年发表了第一篇用光学 蕈4节方法实现神经网络的论文.与光学有关的神经网 络称光学神经网络.然而,事实上应当正确地称 之为光电混合神经网络,简称混合神经网络 ( hybrid neural network).因为神经网络一般都 有一个非线性函数,这是神经网络的重要特征 而用光学方法很难计算这一非线性函数.因此 通常的做法是用电子学方法来实现它 本章将研究用光学系统实现矩阵向量或张量 矩阵的乘法 第8章
第1节 第2节 第3节 第4节 目 录 第8章 2021/2/19 光学信息处理 3 8.1 引 言 随着80年代初对于神经网络的兴趣的复苏， Psaltis和Farhat于1985年发表了第一篇用光学 方法实现神经网络的论文．与光学有关的神经网 络称光学神经网络．然而，事实上应当正确地称 之为光电混合神经网络 ，简称混合神经网络 (hybrid neural network)．因为神经网络一般都 有一个非线性函数，这是神经网络的重要特征， 而用光学方法很难计算这一非线性函数．因此， 通常的做法是用电子学方法来实现它． 本章将研究用光学系统实现矩阵-向量或张量 -矩阵的乘法．
目录2021219 光学信息处理 第1节 神经网络是模拟人脑的结构和功能的信息处 第2节理系统.从实际的观点来看,我们并不打算制造 第3节一个人工脑,而是设法构造一个信息处理系统去 第4节模拟人脑的某些行为.这一系统应当和von Neu--mann型计算机的结构和算法有实质上的 区别.光学神经网络可以看作光学信息处理和光 计算系统的延伸和扩展,这也是我们将它纳入本 书的原因.我们的典型方法是利用已很成熟的神 经网络的理论模型,并考虑如何用光学的方案部 分地实现它,这一方案在某些方面将比电子学方 案更具优越性 第8章
第1节 第2节 第3节 第4节 目 录 第8章 2021/2/19 光学信息处理 4 神经网络是模拟人脑的结构和功能的信息处 理系统．从实际的观点来看，我们并不打算制造 一个人工脑，而是设法构造一个信息处理系统去 模 拟人 脑的 某些行 为 ． 这一系 统应 当和 von Neu—mann型计算机的结构和算法有实质上的 区别．光学神经网络可以看作光学信息处理和光 计算系统的延伸和扩展，这也是我们将它纳入本 书的原因．我们的典型方法是利用已很成熟的神 经网络的理论模型，并考虑如何用光学的方案部 分地实现它，这一方案在某些方面将比电子学方 案更具优越性．
82一般基础 821研究神经网络的原动力 1943年,当时 Mcculloch和Pt建立了一个神 经活动的理论模型.在80年代,下面两个因素推动 了对神经网络的研究工作 (1)在诸如识别一个物体这一类课题上,计算机要末失 败,要末比人脑甚至动物的脑慢得太多 (2)计算机需要一组精确而复杂的指令来完成某一特定 的计算或课题,一个“聪明的”计算机应当具备这 样的功能:一旦某一任务被用户确定后,它能够自 动去学习、掌握正确完成该项任务的方法 智能型”计算机的两个基本要求 识别能力、学习能力
8.2 一般基础 8.2.1 研究神经网络的原动力 1943年，当时McCulloch和Pitts建立了一个神 经活动的理论模型．在80年代，下面两个因素推动 了对神经网络的研究工作： (1)在诸如识别一个物体这一类课题上，计算机要末失 败，要末比人脑甚至动物的脑慢得太多． (2)计算机需要一组精确而复杂的指令来完成某一特定 的计算或课题，一个“聪明的”计算机应当具备这 样的功能：一旦某一任务被用户确定后，它能够自 动去学习、掌握正确完成该项任务的方法． “智能型”计算机的两个基本要求： 识别能力、学习能力．
目录2021219 光学信息处理 第1节822神经 第2节 人类的脑由大约101个神经元构 第节成,神经元由三个部分组成 第4节 (1)细胞体:包含神经细胞核及生物化学机 构,它可以合成细胞核的生存所必需的酶 及其他分子 (2)树突:像灌木丛一般形成许多分叉,围 绕着细胞体,神经细胞正是通过它们形成 的表面接受输入信号 (3)轴突:是细胞体的延伸部分,它提供了 信号从该细胞体传递到其他细胞的通道 第8章
第1节 第2节 第3节 第4节 目 录 第8章 2021/2/19 光学信息处理 6 8.2.2 神经 人类的脑由大约1011个神经元构 成．神经元由三个部分组成： (1) 细胞体：包含神经细胞核及生物化学机 构，它可以合成细胞核的生存所必需的酶 及其他分子． (2) 树突：像灌木丛一般形成许多分叉，围 绕着细胞体，神经细胞正是通过它们形成 的表面接受输入信号． (3) 轴突：是细胞体的延伸部分，它提供了 信号从该细胞体传递到其他细胞的通道．
神经内外包含着差别很大的液体.外部液体 所含的钠约为内部液体的10倍,内部液体所含 的钾约为外部的10倍 由于在细胞的一侧与另一侧钠离子和钾离子 的浓度不同,轴突中心区域内部与外部约有-70 mV的电位差。 当阳离子穿过细胞膜上的通道进入细胞时, 内部的电位将逐渐由负变为正,当电位差变为40 mV时,另一组通道开启,释放阳离子,使电位 差恢复成-70mV。这一电压脉冲称为作用电压 或电神经信号.该电脉冲信号沿着轴突,一直传 播到轴突与其他神经元的树突的结合处
神经内外包含着差别很大的液体．外部液体 所含的钠约为内部液体的10 倍，内部液体所含 的钾约为外部的10 倍． 由于在细胞的一侧与另一侧钠离子和钾离子 的浓度不同，轴突中心区域内部与外部约有- 70 mV的电位差。 当阳离子穿过细胞膜上的通道进入细胞时， 内部的电位将逐渐由负变为正，当电位差变为40 mV时，另一组通道开启，释放阳离子，使电位 差恢复成- 70 mV 。这一电压脉冲称为作用电压 或电神经信号．该电脉冲信号沿着轴突，一直传 播到轴突与其他神经元的树突的结合处．
目录2021219 光学信息处理 第1节 位于轴突的端点和另一神经元之间的结合部是 2节一个突触,在这里轴突膨大而形成终端球状结构, 第8节其中包含突触囊.当电神经信号到达终端球状体时, 著4节一些突触囊释放它们的成分因此又称为化学 “发射器”或传递器它们被另一神经细胞的树 突所接收 信息就这样通过化学传递器一程接一程地在神 经元间传输.接收到信号的神经元,其树突的化学 传递器起了开启和关闭细胞膜上的通道的作用,以 改变细胞中的离子浓度。某些突触处于兴奋态时, 它们总是要引发神经脉冲;而另一些突触处于抑制 态时,它们能够压制或消灭一些信号,使之不可能 再激励神经使之发射神经脉冲 第8章
第1节 第2节 第3节 第4节 目 录 第8章 2021/2/19 光学信息处理 8 位于轴突的端点和另一神经元之间的结合部是 一个突触，在这里轴突膨大而形成终端球状结构， 其中包含突触囊．当电神经信号到达终端球状体时， 一些突触囊释放它们的成分——因此又称为化学 “发射器”或传递器——它们被另一神经细胞的树 突所接收． 信息就这样通过化学传递器一程接一程地在神 经元间传输．接收到信号的神经元，其树突的化学 传递器起了开启和关闭细胞膜上的通道的作用，以 改变细胞中的离子浓度。某些突触处于兴奋态时， 它们总是要引发神经脉冲；而另一些突触处于抑制 态时，它们能够压制或消灭一些信号，使之不可能 再激励神经使之发射神经脉冲．
目录2021219 光学信息处理 第1节 823数学模型 第2节神经的行为可以概括如下: 苇3节(1)一个神经元发射一个电脉冲(输出信号).脉冲 的形状永远相同,因而它的输出可用一个二元 第4节 状态来表述:1表示发射,0表示不动作 (2)该电脉冲作为输入信号被另一个神经元所接 收.树突作为化学传递器,接收电脉冲所荷载 的信号.传递器的数目是事先确定的,传递器 可以促进或抑制信号的传递.突触或输入的权 重正比于传递器的数目,由整数表示.突触为 正或负,分别表示兴奋或抑制.如果采取归 化的表示,则突触为实数 (3)神经的发射作用,乃是突触被成百上千个神经 作用所激活的的综合效果,是一个非线性过 第8章程
第1节 第2节 第3节 第4节 目 录 第8章 2021/2/19 光学信息处理 9 8.2.3 数学模型 神经的行为可以概括如下： (1)一个神经元发射一个电脉冲(输出信号)．脉冲 的形状永远相同，因而它的输出可用一个二元 状态来表述：1 表示发射，0 表示不动作． (2)该电脉冲作为输入信号被另一个神经元所接 收．树突作为化学传递器，接收电脉冲所荷载 的信号．传递器的数目是事先确定的，传递器 可以促进或抑制信号的传递．突触或输入的权 重正比于传递器的数目，由整数表示．突触为 正或负，分别表示兴奋或抑制．如果采取归一 化的表示，则突触为实数． (3)神经的发射作用，乃是突触被成百上千个神经 作用所激活的的综合效果，是一个非线性过 程．
目录2021219 光学信息处理 节综上所述,神经的机理可以用数学公式表为 第2节 f2iOi Xi+eip 第3节其中石是第j个神经元的输出,是第i个神经 4节元的输入和第j个神经元间的互连权重,x是来 自第i个神经元的输入,6是第j个神经元的偏 置,而f则表示某个非线性的传递函数.注意石 和x;都是二元的,取值I或0.在最简单的情况下, f是阈值函数,表为 =1,当公:0 lx+0}≥T 以及 0,当{;01x1+0}ST 式中T为阈值.当然传递函数也可能是S型函数 第8章 而不是简单的step函数
第1节 第2节 第3节 第4节 目 录 第8章 2021/2/19 光学信息处理 10 综上所述，神经的机理可以用数学公式表为 zj = f {∑i ji xi + j } 其中 zj是第 j 个神经元的输出，ji 是第 i 个神经 元的输入和第 j 个神经元间的互连权重， xi 是来 自第 i 个神经元的输入， j 是第 j 个神经元的偏 置，而f 则表示某个非线性的传递函数．注意 zj 和xi都是二元的，取值 l 或 0．在最简单的情况下， f 是阈值函数，表为 zj = 1 , 当 {∑i ji xi + j } ≥T 以及 zj = 0 , 当 {∑iji xi + j } ≤T 式中T为阈值．当然传递函数也可能是 S 型函数 而不是简单的step函数．