王欢等：基于数控机床设备故障领域的命名实体识别 479 h 表示设备实体首字，“L-Dev”表示设备实体非首字 部分，“B-Fau”表示故障实体首字，“I-Fau”表示故 图3L-CRF架构所形成的联合树 Fig.3 Joint tree formed by L-CRF architecture 障实体非首字部分，“O”表示非实体部分，因此定 义标签集合为(B-Fau、I-Fau、B-Dev、I-Dev、O) 集合，N为序列的长度；dy)为与接口相邻的子图个 然后使用jieba分词对输入语句进行分词，分词后 数.并且将μ(h,y,y41μ(h+1yy+)、μyy+1)和 进行序列标注，以“发动机中螺钉滑牙”为例进行 (h+1y+1)分别定义为： 序列标注，其中发动机、螺钉是设备，滑牙是故障 u(ht.yt.yt+1)=exp(aT.g(ht.y:)+BT-g(h.y+1)+ 现象，标注后结果如表1所示 yT·fy,y+)μ(h+l,y,y+l)=exp(ag(hr+l,y)+ 表1 句子序列标注方法 Bgh+1y+1)+y·f0y+1)μ0，Jy+1)= Table 1 Sentence sequence labeling method exp(y3·fGy,y+I).μ(hl,ymI)=exp(a3·g(hHl,y1) Sentence Labeling Sentence Labeling Sentence Labeling 令a=(Ck1,2,k3,…,kd,BT=(Bk1,B2,B3,…, 发 B-Dev 的 0 牙 I-Fau Ba,Y=(yk1,Y2,Y3,…,Yd,其中，a、B为观察向量， I-Dev 螺 B-Dev y为特征函数，将式(2)根据时间索引整理为： 机 I-Dev 钉 I-Dev P,团=hA1w+i） (3) 中 0 B-Fau 当计算正规化项Z时，可用以下的方法计算 获得标注语料后使用Word2vec进行预训练获 边界分布P(H: 取字向量，在词嵌入层将其结果转化为字向量序 P团=∑Pa,=∑Ta,hl,4id 列X,作为BLSTM层的输入.时刻序列正向输入 BLSTM中得到的隐层输出为，逆向输入得到的 (4) 隐层输出为，将两者拼接得到的，=[，]包含 定义条件式对数相似度概率为P(YH,)=P历 上下文字向量 a,A将上面所定义的相关项带 通过BLSTM输出的上下文特征信息h,得 入式中，对式子整合后使用观察向量a取代原来的 到有效的输出序列y=心y0y1,y2,…,ym),仅仅通过 α和B,特征函数b取代原来y,将式子改写成： 这样的方法进行分类还存在不足之处，序列标注 P(YH.0)=- .y 问题一般具有较强的依赖关系，每个字的标签序 列存在一定的局限性，例如：标签“B-Dev”作为设 5) F(H,) 备实体的首字部分，后面接的应该是“I-Dev”,而 不应该“I-Fau”.只有BLSTM层是不够的，针对 其中0={，，…，、aT=(a1,2,…,aa、b=(b, 此问题，本文在BLSTM层加上处理标注序列的 b2,…,bid以=(1,2，…，dd)为所求模型参数，c表 L-CRF 示实体类别数，，表示特征函数对应的权值向量， 由于输入值与输出值之间存在过去与未来的 F,表示特征函数，A表示输入与输出向量间不同实 时间点，从而相互影响，为此提出了具有回路的条 体中具有关联性的个数，B表示L-CRF中赋予定义 件随机场(L-CRF),L-CRF序列用来研究句子级别 的特征函数的总数 的序列特征，将BLSTM层的输出结果输入L~ 1.3 BLSTM-L-CRF模型 CRF层，L-CRF层对其结果添加约束，从所有可能 数控机床故障描述存在不同的表达方式，例 的标签序列空间中选出最佳序列路径，获得全局 如：发动机中的螺丝滑牙、发动机中的螺钉滑牙、 最优序列.本文的BLSTM-L-CRF模型架构如图4 发动机中的螺钉滑丝和发动机中的螺丝滑牙都是 所示 指同一故障，在命名实体识别中易产生歧义，为了 BLSTM-L-CRF算法流程如下： 解决上述挑战，本文使用BLSTM-L-CRF模型进行 l:epoch←-l 命名实体识别.在实验中，将实体分为设备和实体 2:while epoch num_epoch do 两类，用“Dev”表示设备，“Fau”表示故障.首先根 3 t←-1 据BIO标注法对实体的定义进行标记，即“B-Dev” 4: shuffle train and dev dataN µ(ht , yt , yt+1) µ(ht+1, yt , yt+1) µ(yt , yt+1) µ(ht+1, yt+1) 集合， 为序列的长度；d(y) 为与接口相邻的子图个 数. 并且将 、 、 和 分别定义为： µ(ht , yt , yt+1)=exp(α T 1 · g(ht , yt)+β T 1 · g(ht , yt+1 )+ γ T 1 · f(yt , yt+1))µ(ht+1, yt , yt+1)=exp(α T 2 · g(ht+1 , yt)+ β T 2 · g(ht+1, yt+1 )+γ T 2 · f(yt , yt+1))µ(yt , yt+1)= exp(γ T 3 · f(yt , yt+1)), µ(ht+1, yt+1)=exp(α T 3 · g(ht+1, yt+1)) α T k =(αk1,αk2,αk3,··· ,αkd) β T k =(βk1,βk2,βk3,··· , βkd) γ T k = (γk1,γk2,γk3,··· ,γkd) α β γ 令 ， ， ，其中， 、 为观察向量， 为特征函数，将式（2）根据时间索引整理为： PA(Y, H) = ∏N−1 t=1 ψ(ht , ht+1, yt , yt+1) （3） 当计算正规化项 Z 时，可用以下的方法计算 边界分布 P(H)： P(H) = ∑ y P(H,Y) = ∑ y ∏N−1 t=1 ψ(ht , ht+1, yt , yt+1) （4） PA(Y|H, θ) = 1 ∏ P(H) N−1 t=1 ψ(ht , ht+1, yt , yt+1) a α β b γ 定义条件式对数相似度概率为 ，将上面所定义的相关项带 入式中，对式子整合后使用观察向量 取代原来的 和 ，特征函数 取代原来 ，将式子改写成： P(Y|H,θ) = 1 P(H) ∏N−1 t=1 exp(a T · f(y, y ′ )+ ∑ A i=1 b T i · gi(h, y)) = 1 P(H) exp(∑ B k=1 λ T k · Fk(H,Y) ) （5） θ = { λ T 1 ,λ T 2 ,··· ,λ T B } a T = (a1, a2,··· , ad) b T i = (bi1, bi2,··· , bid) λ T k = (λk1,λk2,··· ,λkd) λk Fk A B 其中 、 、 、 为所求模型参数，c 表 示实体类别数， 表示特征函数对应的权值向量， 表示特征函数， 表示输入与输出向量间不同实 体中具有关联性的个数， 表示 L-CRF 中赋予定义 的特征函数的总数. 1.3    BLSTM-L-CRF 模型 数控机床故障描述存在不同的表达方式，例 如：发动机中的螺丝滑牙、发动机中的螺钉滑牙、 发动机中的螺钉滑丝和发动机中的螺丝滑牙都是 指同一故障，在命名实体识别中易产生歧义，为了 解决上述挑战，本文使用 BLSTM-L-CRF 模型进行 命名实体识别. 在实验中，将实体分为设备和实体 两类，用“Dev”表示设备，“Fau”表示故障. 首先根 据 BIO 标注法对实体的定义进行标记，即“B-Dev” 表示设备实体首字，“I-Dev”表示设备实体非首字 部分，“B-Fau”表示故障实体首字，“I-Fau”表示故 障实体非首字部分，“O”表示非实体部分，因此定 义标签集合为 （B-Fau、 I-Fau、 B-Dev、 I-Dev、 O） . 然后使用 jieba 分词对输入语句进行分词，分词后 进行序列标注，以“发动机中螺钉滑牙”为例进行 序列标注，其中发动机、螺钉是设备，滑牙是故障 现象，标注后结果如表 1 所示. X t −→ht ←−ht ht = [ −→ht , ←−ht] 获得标注语料后使用 Word2vec 进行预训练获 取字向量，在词嵌入层将其结果转化为字向量序 列 ，作为 BLSTM 层的输入. 时刻序列正向输入 BLSTM 中得到的隐层输出为 ，逆向输入得到的 隐层输出为 ，将两者拼接得到的 包含 上下文字向量. ht y = (y0, y1, y2,··· , yn) 通过 BLSTM 输出的上下文特征信息 ，得 到有效的输出序列 ，仅仅通过 这样的方法进行分类还存在不足之处，序列标注 问题一般具有较强的依赖关系，每个字的标签序 列存在一定的局限性，例如：标签“B-Dev”作为设 备实体的首字部分，后面接的应该是“I-Dev”，而 不应该“I-Fau”. 只有 BLSTM 层是不够的，针对 此问题，本文在 BLSTM 层加上处理标注序列的 L-CRF. 由于输入值与输出值之间存在过去与未来的 时间点，从而相互影响，为此提出了具有回路的条 件随机场（L-CRF），L-CRF 序列用来研究句子级别 的序列特征 ， 将 BLSTM 层的输出结果输 入 L￾CRF 层，L-CRF 层对其结果添加约束，从所有可能 的标签序列空间中选出最佳序列路径，获得全局 最优序列. 本文的 BLSTM-L-CRF 模型架构如图 4 所示. BLSTM-L-CRF 算法流程如下： 1: epoch ← 1 2: while epoch < num_epoch do 3: t ← 1 4: shuffle train and dev data 表 1    句子序列标注方法 Table 1    Sentence sequence labeling method Sentence Labeling Sentence Labeling Sentence Labeling 发 B-Dev 的 O 牙 I-Fau 动 I-Dev 螺 B-Dev 机 I-Dev 钉 I-Dev 中 O 滑 B-Fau h1y1y h y1y2 2y1y2 h2y2 hN−1yN−1yN yN−1yN−2 hNyN−1yN 图 3    L-CRF 架构所形成的联合树 Fig.3    Joint tree formed by L-CRF architecture 王    欢等： 基于数控机床设备故障领域的命名实体识别 · 479 ·