正在加载图片...
.104 北京科技大学学报 第29卷 连接上,假设一个两层Kohonen网络,两个网层分 第二层网络的输入矢量依次输入,网络测试时,只 别为Kohonen I和KohonenⅡ,每一层网络都有其 需第一层网络的输入矢量,之后根据学习的知识,第 各自的输入神经元,而网层之间实现全连接,即 一层网络会对输入矢量划分类别,同时第二层网络 Kohonen I的每个输出神经元与KohonenⅡ的所 则会根据网层间连接权值激活相对应的部件神 有输出神经元都有连接关系,同样用连接权值来 经元 表示, 网层间连接权值的训练规则采用Hebbian学习 规则: Kohonen △Du=3YYR ●获胜神经元 (9) ●邻域神经元 其中,阝是网层间连接权值的学习率,Y是源网层 第k个神经元的输出,YP是目的网层第1个神经元 Kohonen 的输出,△心u代表两个神经元之间的连接权值变 化量, 图3两层Kohonen网图间的连接 权值改变完成之后,需要对源网层的所有激活 Fig.3 Connections between two Kohonen maps 神经元的网层间连接权值正规化: DH(t+1)= DH(t)十△wL (10) 3实验结果及分析 [wH(t)+△a] 在第一层网图(图4)的输出界面上,可以看到 2模拟研究 网络将隶属于不同结构类型的汉字划分在网图不同 区域内,在同一结构类型区域内,具有相同或者相似 2.1网络的输入样本 部件的汉字在网图上的位置较近 选取了100个汉字及其对应的部件拆分序列作 为输入样本,汉字样本的维度为309维,部件维度为 47维,样本是从3500常用汉字库中抽取的,在抽 取时考虑了汉字的结构类型分布密度以及使用频次 等因素, 在汉字编码过程中,考虑了汉字的综合信息,包 括汉字的结构信息以及该汉字组字部件的信息,其 中汉字部件的编码可以作为独立的网络输入,同时 也作为汉字编码的一部分,汉字编码包括以下 10个部分:汉字结构表征、汉字部件数量、部件局部 结构、部件笔画关系、非成字部件位置、部件视觉特 征、部件笔形、部件笔画数、成字部件位置以及部件 排列顺序 图4网络对汉字结构的分类结果 2.2网络模型的构建 Fig.4 Classified results of character architecture 本研究采用两层改进的Kohonen网络构建模 在网图上还存在个别汉字类型归属不正确.值 型,第一层网络的输入为汉字的表征值,第二层网络 得注意的是,这样的汉字多存在于不同区域的交界 的输入为部件的表征值,两层网络之间通过Hb~ 处,而且结构类型区域的划定是人为的,没有办法严 bian学习规则连接(图3). 格界定.总体来说,网络对输入汉字样本结构类型 2.3网络的训练 的学习是成功的 网络训练时,汉字及其部件序列是配对输入· 第二层网络除了本身所具有的对部件的聚类功 所谓配对输入,就是指汉字需要和它的部件序列同 能之外,还响应第一层网络的激活神经元.这种响 时作为不同网层的输入矢量输入网络,举例来说, 应体现在当汉字层某一神经元被激活时,部件层会 当汉字“柴”的表征值作为第一层网络的输入矢量 有一到多个神经元同时被激活,这种工作机制反映 时,它所对应的部件序列“止”、“匕”和“木”分别作为 了网络将所学习到的汉字拆分为部件的能力,部分连接上.假设一个两层 Kohonen 网络‚两个网层分 别为 Kohonen Ⅰ和 Kohonen Ⅱ‚每一层网络都有其 各自的输入神经元‚而网层之间实现全连接‚即 Kohonen Ⅰ的每个输出神经元与 Kohonen Ⅱ的所 有输出神经元都有连接关系‚同样用连接权值来 表示. 网层间连接权值的训练规则采用 Hebbian 学习 规则: Δwkl=βY S kY D l (9) 其中‚β是网层间连接权值的学习率‚Y S k 是源网层 第 k 个神经元的输出‚Y D l 是目的网层第 l 个神经元 的输出‚Δwkl 代表两个神经元之间的连接权值变 化量. 权值改变完成之后‚需要对源网层的所有激活 神经元的网层间连接权值正规化: wkl( t+1)= wkl( t)+Δwkl ∑l [ wkl( t)+Δwkl] 2 (10) 2 模拟研究 2∙1 网络的输入样本 选取了100个汉字及其对应的部件拆分序列作 为输入样本‚汉字样本的维度为309维‚部件维度为 47维.样本是从3500常用汉字库中抽取的‚在抽 取时考虑了汉字的结构类型分布密度以及使用频次 等因素. 在汉字编码过程中‚考虑了汉字的综合信息‚包 括汉字的结构信息以及该汉字组字部件的信息.其 中汉字部件的编码可以作为独立的网络输入‚同时 也作为汉字编码的一部分.汉字编码包括以下 10个部分:汉字结构表征、汉字部件数量、部件局部 结构、部件笔画关系、非成字部件位置、部件视觉特 征、部件笔形、部件笔画数、成字部件位置以及部件 排列顺序. 2∙2 网络模型的构建 本研究采用两层改进的 Kohonen 网络构建模 型‚第一层网络的输入为汉字的表征值‚第二层网络 的输入为部件的表征值‚两层网络之间通过 Heb￾bian 学习规则连接(图3). 2∙3 网络的训练 网络训练时‚汉字及其部件序列是配对输入. 所谓配对输入‚就是指汉字需要和它的部件序列同 时作为不同网层的输入矢量输入网络.举例来说‚ 当汉字“柴”的表征值作为第一层网络的输入矢量 时‚它所对应的部件序列“止”、“匕”和“木”分别作为 第二层网络的输入矢量依次输入.网络测试时‚只 需第一层网络的输入矢量‚之后根据学习的知识‚第 一层网络会对输入矢量划分类别‚同时第二层网络 则会根据网层间连接权值激活相对应的部件神 经元. 图3 两层 Kohonen 网图间的连接 Fig.3 Connections between two Kohonen maps 3 实验结果及分析 在第一层网图(图4)的输出界面上‚可以看到 网络将隶属于不同结构类型的汉字划分在网图不同 区域内‚在同一结构类型区域内‚具有相同或者相似 部件的汉字在网图上的位置较近. 图4 网络对汉字结构的分类结果 Fig.4 Classified results of character architecture 在网图上还存在个别汉字类型归属不正确.值 得注意的是‚这样的汉字多存在于不同区域的交界 处‚而且结构类型区域的划定是人为的‚没有办法严 格界定.总体来说‚网络对输入汉字样本结构类型 的学习是成功的. 第二层网络除了本身所具有的对部件的聚类功 能之外‚还响应第一层网络的激活神经元.这种响 应体现在当汉字层某一神经元被激活时‚部件层会 有一到多个神经元同时被激活‚这种工作机制反映 了网络将所学习到的汉字拆分为部件的能力.部分 ·104· 北 京 科 技 大 学 学 报 第29卷
<<向上翻页向下翻页>>
©2008-现在 cucdc.com 高等教育资讯网 版权所有