正在加载图片...
王欢等:基于数控机床设备故障领域的命名实体识别 479 h 表示设备实体首字,“L-Dev”表示设备实体非首字 部分,“B-Fau”表示故障实体首字,“I-Fau”表示故 图3L-CRF架构所形成的联合树 Fig.3 Joint tree formed by L-CRF architecture 障实体非首字部分,“O”表示非实体部分,因此定 义标签集合为(B-Fau、I-Fau、B-Dev、I-Dev、O) 集合,N为序列的长度;dy)为与接口相邻的子图个 然后使用jieba分词对输入语句进行分词,分词后 数.并且将μ(h,y,y41μ(h+1yy+)、μyy+1)和 进行序列标注,以“发动机中螺钉滑牙”为例进行 (h+1y+1)分别定义为: 序列标注,其中发动机、螺钉是设备,滑牙是故障 u(ht.yt.yt+1)=exp(aT.g(ht.y:)+BT-g(h.y+1)+ 现象,标注后结果如表1所示 yT·fy,y+)μ(h+l,y,y+l)=exp(ag(hr+l,y)+ 表1 句子序列标注方法 Bgh+1y+1)+y·f0y+1)μ0,Jy+1)= Table 1 Sentence sequence labeling method exp(y3·fGy,y+I).μ(hl,ymI)=exp(a3·g(hHl,y1) Sentence Labeling Sentence Labeling Sentence Labeling 令a=(Ck1,2,k3,…,kd,BT=(Bk1,B2,B3,…, 发 B-Dev 的 0 牙 I-Fau Ba,Y=(yk1,Y2,Y3,…,Yd,其中,a、B为观察向量, I-Dev 螺 B-Dev y为特征函数,将式(2)根据时间索引整理为: 机 I-Dev 钉 I-Dev P,团=hA1w+i) (3) 中 0 B-Fau 当计算正规化项Z时,可用以下的方法计算 获得标注语料后使用Word2vec进行预训练获 边界分布P(H: 取字向量,在词嵌入层将其结果转化为字向量序 P团=∑Pa,=∑Ta,hl,4id 列X,作为BLSTM层的输入.时刻序列正向输入 BLSTM中得到的隐层输出为,逆向输入得到的 (4) 隐层输出为,将两者拼接得到的,=[,]包含 定义条件式对数相似度概率为P(YH,)=P历 上下文字向量 a,A将上面所定义的相关项带 通过BLSTM输出的上下文特征信息h,得 入式中,对式子整合后使用观察向量a取代原来的 到有效的输出序列y=心y0y1,y2,…,ym),仅仅通过 α和B,特征函数b取代原来y,将式子改写成: 这样的方法进行分类还存在不足之处,序列标注 P(YH.0)=- .y 问题一般具有较强的依赖关系,每个字的标签序 列存在一定的局限性,例如:标签“B-Dev”作为设 5) F(H,) 备实体的首字部分,后面接的应该是“I-Dev”,而 不应该“I-Fau”.只有BLSTM层是不够的,针对 其中0={,,…,、aT=(a1,2,…,aa、b=(b, 此问题,本文在BLSTM层加上处理标注序列的 b2,…,bid以=(1,2,…,dd)为所求模型参数,c表 L-CRF 示实体类别数,,表示特征函数对应的权值向量, 由于输入值与输出值之间存在过去与未来的 F,表示特征函数,A表示输入与输出向量间不同实 时间点,从而相互影响,为此提出了具有回路的条 体中具有关联性的个数,B表示L-CRF中赋予定义 件随机场(L-CRF),L-CRF序列用来研究句子级别 的特征函数的总数 的序列特征,将BLSTM层的输出结果输入L~ 1.3 BLSTM-L-CRF模型 CRF层,L-CRF层对其结果添加约束,从所有可能 数控机床故障描述存在不同的表达方式,例 的标签序列空间中选出最佳序列路径,获得全局 如:发动机中的螺丝滑牙、发动机中的螺钉滑牙、 最优序列.本文的BLSTM-L-CRF模型架构如图4 发动机中的螺钉滑丝和发动机中的螺丝滑牙都是 所示 指同一故障,在命名实体识别中易产生歧义,为了 BLSTM-L-CRF算法流程如下: 解决上述挑战,本文使用BLSTM-L-CRF模型进行 l:epoch←-l 命名实体识别.在实验中,将实体分为设备和实体 2:while epoch num_epoch do 两类,用“Dev”表示设备,“Fau”表示故障.首先根 3 t←-1 据BIO标注法对实体的定义进行标记,即“B-Dev” 4: shuffle train and dev dataN µ(ht , yt , yt+1) µ(ht+1, yt , yt+1) µ(yt , yt+1) µ(ht+1, yt+1) 集合, 为序列的长度;d(y) 为与接口相邻的子图个 数. 并且将 、 、 和 分别定义为: µ(ht , yt , yt+1)=exp(α T 1 · g(ht , yt)+β T 1 · g(ht , yt+1 )+ γ T 1 · f(yt , yt+1))µ(ht+1, yt , yt+1)=exp(α T 2 · g(ht+1 , yt)+ β T 2 · g(ht+1, yt+1 )+γ T 2 · f(yt , yt+1))µ(yt , yt+1)= exp(γ T 3 · f(yt , yt+1)), µ(ht+1, yt+1)=exp(α T 3 · g(ht+1, yt+1)) α T k =(αk1,αk2,αk3,··· ,αkd) β T k =(βk1,βk2,βk3,··· , βkd) γ T k = (γk1,γk2,γk3,··· ,γkd) α β γ 令 , , ,其中, 、 为观察向量, 为特征函数,将式(2)根据时间索引整理为: PA(Y, H) = ∏N−1 t=1 ψ(ht , ht+1, yt , yt+1) (3) 当计算正规化项 Z 时,可用以下的方法计算 边界分布 P(H): P(H) = ∑ y P(H,Y) = ∑ y ∏N−1 t=1 ψ(ht , ht+1, yt , yt+1) (4) PA(Y|H, θ) = 1 ∏ P(H) N−1 t=1 ψ(ht , ht+1, yt , yt+1) a α β b γ 定义条件式对数相似度概率为 ,将上面所定义的相关项带 入式中,对式子整合后使用观察向量 取代原来的 和 ,特征函数 取代原来 ,将式子改写成: P(Y|H,θ) = 1 P(H) ∏N−1 t=1 exp(a T · f(y, y ′ )+ ∑ A i=1 b T i · gi(h, y)) = 1 P(H) exp(∑ B k=1 λ T k · Fk(H,Y) ) (5) θ = { λ T 1 ,λ T 2 ,··· ,λ T B } a T = (a1, a2,··· , ad) b T i = (bi1, bi2,··· , bid) λ T k = (λk1,λk2,··· ,λkd) λk Fk A B 其中 、 、 、 为所求模型参数,c 表 示实体类别数, 表示特征函数对应的权值向量, 表示特征函数, 表示输入与输出向量间不同实 体中具有关联性的个数, 表示 L-CRF 中赋予定义 的特征函数的总数. 1.3    BLSTM-L-CRF 模型 数控机床故障描述存在不同的表达方式,例 如:发动机中的螺丝滑牙、发动机中的螺钉滑牙、 发动机中的螺钉滑丝和发动机中的螺丝滑牙都是 指同一故障,在命名实体识别中易产生歧义,为了 解决上述挑战,本文使用 BLSTM-L-CRF 模型进行 命名实体识别. 在实验中,将实体分为设备和实体 两类,用“Dev”表示设备,“Fau”表示故障. 首先根 据 BIO 标注法对实体的定义进行标记,即“B-Dev” 表示设备实体首字,“I-Dev”表示设备实体非首字 部分,“B-Fau”表示故障实体首字,“I-Fau”表示故 障实体非首字部分,“O”表示非实体部分,因此定 义标签集合为 (B-Fau、 I-Fau、 B-Dev、 I-Dev、 O) . 然后使用 jieba 分词对输入语句进行分词,分词后 进行序列标注,以“发动机中螺钉滑牙”为例进行 序列标注,其中发动机、螺钉是设备,滑牙是故障 现象,标注后结果如表 1 所示. X t −→ht ←−ht ht = [ −→ht , ←−ht] 获得标注语料后使用 Word2vec 进行预训练获 取字向量,在词嵌入层将其结果转化为字向量序 列 ,作为 BLSTM 层的输入. 时刻序列正向输入 BLSTM 中得到的隐层输出为 ,逆向输入得到的 隐层输出为 ,将两者拼接得到的 包含 上下文字向量. ht y = (y0, y1, y2,··· , yn) 通过 BLSTM 输出的上下文特征信息 ,得 到有效的输出序列 ,仅仅通过 这样的方法进行分类还存在不足之处,序列标注 问题一般具有较强的依赖关系,每个字的标签序 列存在一定的局限性,例如:标签“B-Dev”作为设 备实体的首字部分,后面接的应该是“I-Dev”,而 不应该“I-Fau”. 只有 BLSTM 层是不够的,针对 此问题,本文在 BLSTM 层加上处理标注序列的 L-CRF. 由于输入值与输出值之间存在过去与未来的 时间点,从而相互影响,为此提出了具有回路的条 件随机场(L-CRF),L-CRF 序列用来研究句子级别 的序列特征 , 将 BLSTM 层的输出结果输 入 L￾CRF 层,L-CRF 层对其结果添加约束,从所有可能 的标签序列空间中选出最佳序列路径,获得全局 最优序列. 本文的 BLSTM-L-CRF 模型架构如图 4 所示. BLSTM-L-CRF 算法流程如下: 1: epoch ← 1 2: while epoch < num_epoch do 3: t ← 1 4: shuffle train and dev data 表 1    句子序列标注方法 Table 1    Sentence sequence labeling method Sentence Labeling Sentence Labeling Sentence Labeling 发 B-Dev 的 O 牙 I-Fau 动 I-Dev 螺 B-Dev 机 I-Dev 钉 I-Dev 中 O 滑 B-Fau h1y1y h y1y2 2y1y2 h2y2 hN−1yN−1yN yN−1yN−2 hNyN−1yN 图 3    L-CRF 架构所形成的联合树 Fig.3    Joint tree formed by L-CRF architecture 王    欢等: 基于数控机床设备故障领域的命名实体识别 · 479 ·
<<向上翻页向下翻页>>
©2008-现在 cucdc.com 高等教育资讯网 版权所有