王欢等：基于数控机床设备故障领域的命名实体识别 481 表2Word2vec的Skip-gram模型参数表 3结论 Table 2 Parameter list of Skip-gram model in Word2vec (I)通过对CRF进行改进，提出L-CRF,对上 Parameter Value 下文之间的关联进行更精准地推断，通过对比实 Window size 10 验发现，L-CF得到的序列更合理，命名实体识别 Vector dimension 200 效果更好 Minimum term frequency 5 (2)通过使用BLSTM-L-CRF模型对不同语料 Iterations 100 进行实验，发现该模型在不同数据集上都是可行 的：使用不同模型对数控机床数据集进行命名实 表3 BLSTM-L-CRF模型参数表 体识别工作，发现文章所提出的BLSTM-L-CRF模 Table 3 BLSTM-L-CRF model parameter table 型识别性能最好.为了防止过拟合，在模型中加 Network layer Parameter Value 入dropout,.通过调整dropout值对实验模型进行对 Learning rate 0.002 比实验，发现dropout为0.68时，防止过拟合的效 BatchSize 20 BLSTM 果最好 Iterations 100 (3)提出采用BLSTM-L-CRF模型来提高命名 Dropout 0.68 实体识别的准确率，在BLSTM层获取当前词语的 上下文信息，在L-CRF层对输入信息进行解码，利 表4不同数据集在BLSTM-L-CRF模型中的识别结果 用过去和未来时间点的信息获取最优标注序列， Table 4 Experiment result of BLSTM-L-CRF models in different data set 该模型在数控机床设备及故障的命名实体识别上 Precision/%Recall/%F-measure/% 取得了较好的结果.后续将进一步完善语料库，并 Date set 对数控机床设备及故障进行实体关系抽取 People's daily corpus(1998) 83.07 83.40 8323 MSRA corpus 82.23 80.35 8128 部 考文献 Boson NLP corpus 79.45 80.18 79.81 [1] CNC machine dataset 86.16 83.40 84.76 Zeng J D,Wang T,Jia W J,et al.A survey on sensor-cloud.J Comput Res Dev,2017,54(5):925 (曾建电，王田，贾维嘉，等.传感云研究综述.计算机研究与发 表5 BLSTM-L-CRF与其他模型综合性能对比 展，2017,54(5)：925) Table 5 Comparison of performance of BLSTM-L-CRF and other [2] Wang T.Shen X W,Luo H,et al.Research progress of trusted models sensor-cloud based on fog computing.J Commun,2019,40(3): Model Precision/% Recall/% F-measure/% 170 CRF 85.45 69.87 76.88 (王田，沈雪微，罗皓，等.基于雾计算的可信传感云研究进展 L-CRF 85.92 72.54 79.16 通信学报，2019,40(3)：170) LSTM 78.90 77.84 78.37 [3]Li J Y,Zhao Y K,Xue Z E,et al.A survey of model compression BLSTM 80.71 79.00 79.85 for deep neural networks.ChinJEng,019,41(10):1229 (李江昀，赵义凯，薛卓尔，等.深度神经网络模型压缩综述，工 CNN-LSTM 83.62 80.07 81.81 程科学学报，2019,41(10)：1229) BLSTM-CRF 81.54 80.41 80.97 [4] Bikel D M,Miller S,Schwartz R,et al.Nymble:a high- BLSTM-L-CRF 86.16 83.40 84.76 performance learning name-finder[J/OL]arXiv preprint(1998-03- 27)[2019-09-17].https:/arxiv.org/abs/cmp-lg/9803003 准确率、召回率和F值都是最优的.在数控机床故 Berger A L,Pietra V J D.Pietra S A D.A maximum entropy 障诊断领域，故障历史维修记录中的故障描述语 approach to natural language processing.Compuat Linguist,1996. 言的上下文之间关联密切，BLSTM能够获取上下 22(1):39 文语义信息，L-CF包含过去和未来时间点的信 [6] McCallum A,Li W.Early results for named entity recognition 息，对一个序列而不是某个时刻的输出进行了优 with conditional random fields,feature induction and web- enhanced lexicons l Proceedings of the Seventh Conference on 化，使得标签结果顺序更合理，都适用于数控机床 Natural Language Learning at HLT-NAACL 2003-Volume 4. 领域，由实验结果可知两种模型组合是本实验的 Edmonton,2003:188 最佳模型 [7]Yu H K,Zhang H P,Liu Q,et al.Chinese named entity准确率、召回率和 F 值都是最优的. 在数控机床故 障诊断领域，故障历史维修记录中的故障描述语 言的上下文之间关联密切，BLSTM 能够获取上下 文语义信息，L-CRF 包含过去和未来时间点的信 息，对一个序列而不是某个时刻的输出进行了优 化，使得标签结果顺序更合理，都适用于数控机床 领域，由实验结果可知两种模型组合是本实验的 最佳模型. 3    结论 （1）通过对 CRF 进行改进，提出 L-CRF，对上 下文之间的关联进行更精准地推断，通过对比实 验发现，L-CRF 得到的序列更合理，命名实体识别 效果更好. （2）通过使用 BLSTM-L-CRF 模型对不同语料 进行实验，发现该模型在不同数据集上都是可行 的；使用不同模型对数控机床数据集进行命名实 体识别工作，发现文章所提出的 BLSTM-L-CRF 模 型识别性能最好. 为了防止过拟合，在模型中加 入 dropout，通过调整 dropout 值对实验模型进行对 比实验，发现 dropout 为 0.68 时，防止过拟合的效 果最好. （3）提出采用 BLSTM-L-CRF 模型来提高命名 实体识别的准确率，在 BLSTM 层获取当前词语的 上下文信息，在 L-CRF 层对输入信息进行解码，利 用过去和未来时间点的信息获取最优标注序列， 该模型在数控机床设备及故障的命名实体识别上 取得了较好的结果. 后续将进一步完善语料库，并 对数控机床设备及故障进行实体关系抽取. 参    考    文    献 Zeng  J  D,  Wang  T,  Jia  W  J,  et  al.  A  survey  on  sensor-cloud. J Comput Res Dev, 2017, 54（5）: 925 （曾建电, 王田, 贾维嘉, 等. 传感云研究综述. 计算机研究与发 展, 2017, 54（5）：925） [1] Wang  T,  Shen  X  W,  Luo  H,  et  al.  Research  progress  of  trusted sensor-cloud  based  on  fog  computing. J Commun,  2019,  40（3）: 170 （王田, 沈雪微, 罗皓, 等. 基于雾计算的可信传感云研究进展. 通信学报, 2019, 40（3）：170） [2] Li J Y, Zhao Y K, Xue Z E, et al. A survey of model compression for deep neural networks. Chin J Eng, 2019, 41（10）: 1229 （李江昀, 赵义凯, 薛卓尔, 等. 深度神经网络模型压缩综述. 工 程科学学报, 2019, 41（10）：1229） [3] Bikel  D  M,  Miller  S,  Schwartz  R,  et  al.  Nymble:  a  high￾performance learning name-finder[J/OL]. arXiv preprint (1998-03- 27)[2019-09-17]. https://arxiv.org/abs/cmp-lg/9803003 [4] Berger  A  L,  Pietra  V  J  D,  Pietra  S  A  D.  A  maximum  entropy approach to natural language processing. Computat Linguist, 1996, 22（1）: 39 [5] McCallum  A,  Li  W.  Early  results  for  named  entity  recognition with  conditional  random  fields,  feature  induction  and  web￾enhanced  lexicons  // Proceedings of the Seventh Conference on Natural Language Learning at HLT-NAACL 2003-Volume 4. Edmonton, 2003: 188 [6] [7] Yu  H  K,  Zhang  H  P,  Liu  Q,  et  al.  Chinese  named  entity 表 2    Word2vec 的 Skip-gram 模型参数表 Table 2    Parameter list of Skip-gram model in Word2vec Parameter Value Window size 10 Vector dimension 200 Minimum term frequency 5 Iterations 100 表 3    BLSTM-L-CRF 模型参数表 Table 3    BLSTM-L-CRF model parameter table Network layer Parameter Value BLSTM Learning rate 0.002 BatchSize 20 Iterations 100 Dropout 0.68 表 4    不同数据集在 BLSTM-L-CRF 模型中的识别结果 Table 4    Experiment result of BLSTM-L-CRF models in different data set Date set Precision/% Recall/% F-measure/% People's daily corpus（1998） 83.07 83.40 83.23 MSRA corpus 82.23 80.35 81.28 Boson NLP corpus 79.45 80.18 79.81 CNC machine dataset 86.16 83.40 84.76 表 5    BLSTM-L-CRF 与其他模型综合性能对比 Table 5    Comparison of performance of BLSTM-L-CRF and other models Model Precision/% Recall/% F-measure/% CRF 85.45 69.87 76.88 L-CRF 85.92 72.54 79.16 LSTM 78.90 77.84 78.37 BLSTM 80.71 79.00 79.85 CNN-LSTM 83.62 80.07 81.81 BLSTM-CRF 81.54 80.41 80.97 BLSTM-L-CRF 86.16 83.40 84.76 王    欢等： 基于数控机床设备故障领域的命名实体识别 · 481 ·