工程科学学报 Chinese Journal of Engineering 基于数控机床设备故障领域的命名实体识别 王欢朱文球吴岳忠何频捷万烂军 Named entity recognition based on equipment and fault field of CNC machine tools WANG Huan,ZHU Wen-qiu.WU Yue-zhong.HE Pin-jie,WAN Lan-jun 引用本文： 王欢，朱文球，吴岳忠，何频捷，万烂军.基于数控机床设备故障领域的命名实体识别工程科学学报，2020,42(4)：476- 482.doi10.13374j.issn2095-9389.2019.09.17.002 WANG Huan,ZHU Wen-qiu,WU Yue-zhong.HE Pin-jie,WAN Lan-jun.Named entity recognition based on equipment and fault field of CNC machine tools[J].Chinese Journal of Engineering,2020,42(4):476-482.doi:10.13374/j.issn2095- 9389.2019.09.17.002 在线阅读View online:https::/doi.org10.13374.issn2095-9389.2019.09.17.002 您可能感兴趣的其他文章 Articles you may be interested in 基于BiLSTM的公共安全事件触发词识别 Public security event trigger identification based on Bidirectional LSTM 工程科学学报.2019,41(9外：1201htps:/doi.org/10.13374.issn2095-9389.2019.09.012 基于领域词典与CRF双层标注的中文电子病历实体识别 Clinical named entity recognition from Chinese electronic medical records using a double-layer annotation model combining a domain dictionary with CRF 工程科学学报.2020,42(4)：469 https:/loi.org10.13374.issn2095-9389.2019.09.04.004 基于周期势系统随机共振的轴承故障诊断 Bearing fault diagnosis by stochastic resonance method in periodical potential system 工程科学学报.2018,408：989htps:doi.org10.13374j.issn2095-9389.2018.08.013 基于文本语料的涉恐事件实体属性抽取 Entity and attribute extraction of terrorism event based on text corpus 工程科学学报.2020,42(4：500 https:1doi.org10.13374j.issn2095-9389.2019.09.13.003 基于多域流形的行星齿轮箱局部故障识别 Localized fault identification of planetary gearboxes based on multiple-domain manifold 工程科学学报.2017,395：769 https:/doi.org10.13374.issn2095-9389.2017.05.016
基于数控机床设备故障领域的命名实体识别 王欢 朱文球 吴岳忠 何频捷 万烂军 Named entity recognition based on equipment and fault field of CNC machine tools WANG Huan, ZHU Wen-qiu, WU Yue-zhong, HE Pin-jie, WAN Lan-jun 引用本文: 王欢, 朱文球, 吴岳忠, 何频捷, 万烂军. 基于数控机床设备故障领域的命名实体识别[J]. 工程科学学报, 2020, 42(4): 476- 482. doi: 10.13374/j.issn2095-9389.2019.09.17.002 WANG Huan, ZHU Wen-qiu, WU Yue-zhong, HE Pin-jie, WAN Lan-jun. Named entity recognition based on equipment and fault field of CNC machine tools[J]. Chinese Journal of Engineering, 2020, 42(4): 476-482. doi: 10.13374/j.issn2095- 9389.2019.09.17.002 在线阅读 View online: https://doi.org/10.13374/j.issn2095-9389.2019.09.17.002 您可能感兴趣的其他文章 Articles you may be interested in 基于BiLSTM的公共安全事件触发词识别 Public security event trigger identification based on Bidirectional LSTM 工程科学学报. 2019, 41(9): 1201 https://doi.org/10.13374/j.issn2095-9389.2019.09.012 基于领域词典与CRF双层标注的中文电子病历实体识别 Clinical named entity recognition from Chinese electronic medical records using a double-layer annotation model combining a domain dictionary with CRF 工程科学学报. 2020, 42(4): 469 https://doi.org/10.13374/j.issn2095-9389.2019.09.04.004 基于周期势系统随机共振的轴承故障诊断 Bearing fault diagnosis by stochastic resonance method in periodical potential system 工程科学学报. 2018, 40(8): 989 https://doi.org/10.13374/j.issn2095-9389.2018.08.013 基于文本语料的涉恐事件实体属性抽取 Entity and attribute extraction of terrorism event based on text corpus 工程科学学报. 2020, 42(4): 500 https://doi.org/10.13374/j.issn2095-9389.2019.09.13.003 基于多域流形的行星齿轮箱局部故障识别 Localized fault identification of planetary gearboxes based on multiple-domain manifold 工程科学学报. 2017, 39(5): 769 https://doi.org/10.13374/j.issn2095-9389.2017.05.016
工程科学学报.第42卷.第4期：476-482.2020年4月 Chinese Journal of Engineering,Vol.42,No.4:476-482,April 2020 https://doi.org/10.13374/j.issn2095-9389.2019.09.17.002;http://cje.ustb.edu.cn 基于数控机床设备故障领域的命名实体识别 王欢2)，朱文球2)，吴岳忠12)四，何频捷2)，万烂军1,2) 1)湖南工业大学计算机学院.株洲4120082)湖南省智能信息感知及处理技术重点实验室，株洲412008 ☒通信作者，E-mail:yuezhong..wu@163.com 摘要为了给数控机床故障的精准诊断提供保障，延长数控机床使用周期，以数控机床历史维修记录为研究对象，对数控 机床设备故障领域的命名实体识别进行了研究.在分析历史维修记录中的故障描述特点后，提出了一种基于双向长短期记 忆网络(Bidirectional long short-term memory,.BLSTM)与具有回路的条件随机场(Conditional random field with loop,L-CRF)相 结合的命名实体识别方法.首先，对输入语句进行分词和标注，使用Word2vec中的Skip-gram模型对标注语料进行预训练， 将其生成的字向量通过词嵌入层转化为字向量序列：然后，将字向量序列输入BLSTM学习长期依赖信息；最后将句子表达 输入L-CF获取全局最优序列.实验结果表明，该方法明显优于其他命名实体识别方法，为数控机床设备的智能检修与实时 诊断任务打下了坚实的基础. 关键词数控机床：设备故障：双向长短期记忆网络：具有回路的条件随机场：命名实体识别 分类号TP391.1 Named entity recognition based on equipment and fault field of CNC machine tools WANG Huan 2).ZHU Wen-qiu2).WU Yue-zhong2.HE Pin-jie2.WAN Lan-jun 2) 1)School of Computer,Hunan University of Technology,Zhuzhou 412008,China 2)Hunan Key Laboratory of Intelligent Information Perception and Processing Technology,Zhuzhou 412008,China Corresponding author,E-mail:yuezhong wu@163.com ABSTRACT With the advent of intelligent manufacturing and big data,the Made in China 2025 Initiative and Industry 4.0 have been paying increasing attention to automation and intelligent industrial equipment.In the background of the present times,the complexity and intelligence of computer numerical control(CNC)machine tools have been continuously improved,and the types and descriptions of CNC machine tools'faults have increased,presenting serious challenges to equipment maintenance and diagnosis of CNC machine tools.In order to provide guarantee for accurate fault diagnosis of CNC machine tools,and to prolong the service life of CNC machine tools,it is necessary to improve the performance of named entity recognition system.Accordingly,the named entity recognition in the equipment and faults field of CNC machine tools were studied,taking the historical examinations and repair records of CNC machine tools as the research object.After analyzing the characteristics of fault description in the historical examinations and repair records,a named entity recognition method was proposed based on the combination of bidirectional long short-term memory (BLSTM)and conditional random field with loop (L-CRF).The first step is to input a sentence and segment and label the input sentence.The annotation corpus is combined with the pre-trained generated word vector by using Skip-gram model in Word2vec,and the word vector is converted into a word vector sequence through the word embedding layer.In the second step,the word vector sequence is integrated into the BLSTM layer to learn long term dependency information.The final step is to input the sentence expression into the L-CRF layer 收稿日期：2019-09-17 基金项目：国家重点研发计划资助项目(2018Y℉B1700200):国家自然科学基金青年科学基金资助项目(61702177)：湖南省教育厅开放平台 创新基金资助项目(17K029:智能信息感知及处理技术湖南省重点实验室开放课题资助项目(2017K℉07)：湖南省重点领域研发计划课题 资助项目(2019GK2133):湖南省教有厅科学研究优秀青年资助项目(19B147)
基于数控机床设备故障领域的命名实体识别 王 欢1,2)，朱文球1,2)，吴岳忠1,2) 苣，何频捷1,2)，万烂军1,2) 1) 湖南工业大学计算机学院，株洲 412008 2) 湖南省智能信息感知及处理技术重点实验室，株洲 412008 苣通信作者，E-mail: yuezhong.wu@163.com 摘 要 为了给数控机床故障的精准诊断提供保障，延长数控机床使用周期，以数控机床历史维修记录为研究对象，对数控 机床设备故障领域的命名实体识别进行了研究. 在分析历史维修记录中的故障描述特点后，提出了一种基于双向长短期记 忆网络（Bidirectional long short-term memory, BLSTM）与具有回路的条件随机场（Conditional random field with loop, L-CRF）相 结合的命名实体识别方法. 首先，对输入语句进行分词和标注，使用 Word2vec 中的 Skip-gram 模型对标注语料进行预训练， 将其生成的字向量通过词嵌入层转化为字向量序列；然后，将字向量序列输入 BLSTM 学习长期依赖信息；最后将句子表达 输入 L-CRF 获取全局最优序列. 实验结果表明，该方法明显优于其他命名实体识别方法，为数控机床设备的智能检修与实时 诊断任务打下了坚实的基础. 关键词 数控机床；设备故障；双向长短期记忆网络；具有回路的条件随机场；命名实体识别 分类号 TP391.1 Named entity recognition based on equipment and fault field of CNC machine tools WANG Huan1,2) ，ZHU Wen-qiu1,2) ，WU Yue-zhong1,2) 苣 ，HE Pin-jie1,2) ，WAN Lan-jun1,2) 1) School of Computer, Hunan University of Technology, Zhuzhou 412008, China 2) Hunan Key Laboratory of Intelligent Information Perception and Processing Technology, Zhuzhou 412008, China 苣 Corresponding author, E-mail: yuezhong.wu@163.com ABSTRACT With the advent of intelligent manufacturing and big data, the Made in China 2025 Initiative and Industry 4.0 have been paying increasing attention to automation and intelligent industrial equipment. In the background of the present times, the complexity and intelligence of computer numerical control (CNC) machine tools have been continuously improved, and the types and descriptions of CNC machine tools ’ faults have increased, presenting serious challenges to equipment maintenance and diagnosis of CNC machine tools. In order to provide guarantee for accurate fault diagnosis of CNC machine tools, and to prolong the service life of CNC machine tools, it is necessary to improve the performance of named entity recognition system. Accordingly, the named entity recognition in the equipment and faults field of CNC machine tools were studied, taking the historical examinations and repair records of CNC machine tools as the research object. After analyzing the characteristics of fault description in the historical examinations and repair records, a named entity recognition method was proposed based on the combination of bidirectional long short-term memory (BLSTM) and conditional random field with loop (L-CRF). The first step is to input a sentence and segment and label the input sentence. The annotation corpus is combined with the pre-trained generated word vector by using Skip-gram model in Word2vec, and the word vector is converted into a word vector sequence through the word embedding layer. In the second step, the word vector sequence is integrated into the BLSTM layer to learn long term dependency information. The final step is to input the sentence expression into the L-CRF layer 收稿日期: 2019−09−17 基金项目: 国家重点研发计划资助项目 (2018YFB1700200)；国家自然科学基金青年科学基金资助项目 (61702177)；湖南省教育厅开放平台 创新基金资助项目 (17K029)；智能信息感知及处理技术湖南省重点实验室开放课题资助项目（2017KF07）；湖南省重点领域研发计划课题 资助项目 (2019GK2133)；湖南省教育厅科学研究优秀青年资助项目（19B147） 工程科学学报，第 42 卷，第 4 期：476−482，2020 年 4 月 Chinese Journal of Engineering, Vol. 42, No. 4: 476−482, April 2020 https://doi.org/10.13374/j.issn2095-9389.2019.09.17.002; http://cje.ustb.edu.cn
王欢等：基于数控机床设备故障领域的命名实体识别 477 to obtain the global optimal sequence.The experimental results show that the method is superior to other named entity recognition methods,which lays a solid foundation for the intelligent maintenance and the real-time diagnostic tasks of CNC machine tools KEY WORDS computer numerical control machine tools;equipment failure;bidirectional long short-term memory;conditional random field with loop;named entity recognition 随着智能制造的快速发展和云计算-]时代 息而无法获取上文信息.Graves与Schmidhuber 的到来，“互联网+工业”成为了学者研究的重点， 构建了BLSTM模块，可以在输入的方向获得长时 工业设备智能化对数控机床设备的检修与诊断提 的上下文信息.杨红梅等2I提出了BLSTM-CRF 出了严峻挑战.数控机床设备智能检修与实时诊 命名实体识别模型，使标签结果更为合理.Lin等) 断是保障数控机床设备安全、稳定、经济运行的 提出了多通道BILSTM-CRF模型在社交媒体中的 重要手段，是实现数控机床智能制造的关键.数控 新兴命名实体识别方法.Bharadwaj等在BILSTM- 机床设备智能检修与实时诊断是通过整合海量、 CRF模型上加入了音韵特征和attention机制，对有 多源、异构的设备检修大数据，利用自然语言处 效的字符关注度更高；L等啊针对包装专业领域 理、语义匹配、知识图谱构建等技术对工业设备 语料匮乏的特点，提出了一个多层神经网络模型 故障现象进行全面诊断，实现设备检修、诊断的智 进行包装领域的命名实体识别，该模型可以自动 能化管理；数控机床设备故障命名实体的识别作 学习分布式单词特征和部分语音特征，实现 为图谱识别、自然语言处理、语义匹配等复杂任 NER包装产品技术；易士翔等（针对公共安全事 务的基础工作，对数控机床设备智能检修与实时 件的触发词识别任务提出BLSTM与前向神经网 诊断起着至关重要的作用.为了提高命名实体识 络相结合的模型，在突发事件语料库上取得了较 别系统的性能，为数控机床故障精准诊断提供保 好的识别效果 障，延长数控机床的使用周期，本文对数控机床设 尽管通用领域深度学习的命名实体识别方法 备故障领域的命名实体识别方法展开了研究，通 取得了较好的成果，但在数控机床领域中依然存 过提高命名实体识别效果为后续数控机床智能检 在不足.陈秋瑗等提出了一种基于紧密度的命 修和故障诊断工作打下了坚实的基础，进而防止 名实体识别，使用逻辑回归方法来计算相邻字串 意外故障带来的毁灭性事故和经济损失 之间的紧密程度，提高了机械领域新词的准确率 浅层机器学习和深度学习)是通用领域的两 在数控机床领域，学者对数控机床设备故障实体 种常用方法.浅层机器学习方法包括隐马尔可夫 识别的研究较少，现有的研究主要针对数控机床 模型、最大嫡模型和条件随机场(Conditional 特定部件存在的故障8-判：数控机床的历史维修 random fields,CRF)等.俞鸿魁等在双层隐马尔 记录是由工作人员撰写的描述数控机床异常的信 可夫模型上进行实体识别，将不同的命名实体的 息，该记录包括设备名称、故障描述、故障原因以 识别结果融合到同一个理论模型中，提高了F值； 及处理过程，这些都是数控机床的重要数据，自动 何炎祥等图提出CRF+特定规则模型，提高了召回 抽取这些信息能够更加高效、精准的收集案例支 率，改善了对实体识别的效果；王路路等例针对维 持智能检修问答系统，而历史维修记录的重复利 吾尔命名实体提出了半监督学习方法，减少了对 用主要受数据结构化程度的影响，因而对数据进 人工特征提取的依赖 行命名实体识别至关重要 近年来，命名实体的研究热点已从传统的机 目前数控机床故障领域的实体识别存在以下 器学习方法转移到深度学习方法.与传统的机器 几个难点2：第一，没有基于数控机床领域的语料 学习方法相比，深度学习速度更快、泛化性更强， 库：第二，没有数控机床故障领域的命名实体标注 并且可以让计算机自主学习得到模式特征，将其 语料；第三，数控机床故障描述过于口语化，同一 融入实验模型从而减少对人工特征的依赖，因此 故障存在多种不同的描述.针对以上难点本文提 使用深度学习进行命名实体识别的识别性能更 出了一种基于双向长短期记忆网络与具有回路的 好.Hochreiter与Schmidhubert提出了一种通过门限 条件随机场相结合的命名实体识别方法BLSTM- 机制对历史信息进行过滤的LSTM,解决了循环网 L-CRF,首先使用Word2vec2对数据集进行预训 络中的梯度消失问题，但是LSTM只能获取下文信 练获取字向量，字向量通过词嵌入层得到字向量
to obtain the global optimal sequence. The experimental results show that the method is superior to other named entity recognition methods, which lays a solid foundation for the intelligent maintenance and the real-time diagnostic tasks of CNC machine tools. KEY WORDS computer numerical control machine tools； equipment failure； bidirectional long short-term memory； conditional random field with loop；named entity recognition 随着智能制造的快速发展和云计算[1−2] 时代 的到来，“互联网+工业”成为了学者研究的重点， 工业设备智能化对数控机床设备的检修与诊断提 出了严峻挑战. 数控机床设备智能检修与实时诊 断是保障数控机床设备安全、稳定、经济运行的 重要手段，是实现数控机床智能制造的关键. 数控 机床设备智能检修与实时诊断是通过整合海量、 多源、异构的设备检修大数据，利用自然语言处 理、语义匹配、知识图谱构建等技术对工业设备 故障现象进行全面诊断，实现设备检修、诊断的智 能化管理；数控机床设备故障命名实体的识别作 为图谱识别、自然语言处理、语义匹配等复杂任 务的基础工作，对数控机床设备智能检修与实时 诊断起着至关重要的作用. 为了提高命名实体识 别系统的性能，为数控机床故障精准诊断提供保 障，延长数控机床的使用周期，本文对数控机床设 备故障领域的命名实体识别方法展开了研究，通 过提高命名实体识别效果为后续数控机床智能检 修和故障诊断工作打下了坚实的基础，进而防止 意外故障带来的毁灭性事故和经济损失. 浅层机器学习和深度学习[3] 是通用领域的两 种常用方法. 浅层机器学习方法包括隐马尔可夫 模型[4]、最大熵模型[5] 和条件随机场[6] （Conditional random fields, CRF）等. 俞鸿魁等[7] 在双层隐马尔 可夫模型上进行实体识别，将不同的命名实体的 识别结果融合到同一个理论模型中，提高了 F 值； 何炎祥等[8] 提出 CRF+特定规则模型，提高了召回 率，改善了对实体识别的效果；王路路等[9] 针对维 吾尔命名实体提出了半监督学习方法，减少了对 人工特征提取的依赖. 近年来，命名实体的研究热点已从传统的机 器学习方法转移到深度学习方法. 与传统的机器 学习方法相比，深度学习速度更快、泛化性更强， 并且可以让计算机自主学习得到模式特征，将其 融入实验模型从而减少对人工特征的依赖，因此 使用深度学习进行命名实体识别的识别性能更 好. Hochreiter 与Schmidhuber[10] 提出了一种通过门限 机制对历史信息进行过滤的 LSTM，解决了循环网 络中的梯度消失问题，但是 LSTM 只能获取下文信 息而无法获取上文信息. Graves 与 Schmidhuber[11] 构建了 BLSTM 模块，可以在输入的方向获得长时 的上下文信息. 杨红梅等[12] 提出了 BLSTM-CRF 命名实体识别模型，使标签结果更为合理. Lin 等[13] 提出了多通道 BILSTM-CRF 模型在社交媒体中的 新兴命名实体识别方法. Bharadwaj 等[14] 在BILSTMCRF 模型上加入了音韵特征和 attention机制，对有 效的字符关注度更高；Li 等[15] 针对包装专业领域 语料匮乏的特点，提出了一个多层神经网络模型 进行包装领域的命名实体识别，该模型可以自动 学 习 分 布 式 单 词 特 征 和 部 分 语 音 特 征 ， 实 现 NER 包装产品技术；易士翔等[16] 针对公共安全事 件的触发词识别任务提出 BLSTM 与前向神经网 络相结合的模型，在突发事件语料库上取得了较 好的识别效果. 尽管通用领域深度学习的命名实体识别方法 取得了较好的成果，但在数控机床领域中依然存 在不足. 陈秋瑗等[17] 提出了一种基于紧密度的命 名实体识别，使用逻辑回归方法来计算相邻字串 之间的紧密程度，提高了机械领域新词的准确率. 在数控机床领域，学者对数控机床设备故障实体 识别的研究较少，现有的研究主要针对数控机床 特定部件存在的故障[18−19] ；数控机床的历史维修 记录是由工作人员撰写的描述数控机床异常的信 息，该记录包括设备名称、故障描述、故障原因以 及处理过程，这些都是数控机床的重要数据，自动 抽取这些信息能够更加高效、精准的收集案例支 持智能检修问答系统，而历史维修记录的重复利 用主要受数据结构化程度的影响，因而对数据进 行命名实体识别至关重要. 目前数控机床故障领域的实体识别存在以下 几个难点[20] ：第一，没有基于数控机床领域的语料 库；第二，没有数控机床故障领域的命名实体标注 语料；第三，数控机床故障描述过于口语化，同一 故障存在多种不同的描述. 针对以上难点本文提 出了一种基于双向长短期记忆网络与具有回路的 条件随机场相结合的命名实体识别方法 BLSTML-CRF，首先使用 Word2vec[21] 对数据集进行预训 练获取字向量，字向量通过词嵌入层得到字向量 王 欢等： 基于数控机床设备故障领域的命名实体识别 · 477 ·
478 工程科学学报，第42卷，第4期 序列，然后将字向量序列输人BLSTM层，经过 向的LSTM与后向的LSTM拼接而成.BLSTM对 BLSTM层处理捕获每个字对应的每个标签的分 每个句子分别采用正向和反向计算，运用向量拼 数，最后将得到的标签分数输入L-CRF层，并通 接将得到的两种结果进行向量拼接从而获得最后 过L-CRF层获得全局最优序列.与BLSTM-CRF 的隐层表示.BLSTM结构如图1所示 相比，采用具有回路的CRF,约束性更好、识别效 中 果更佳. STM LSTM LSTM 1命名实体识别模型 LSTM LSTM LSTM 1.1 BLSTM模块 h- h, 长短时记忆网络（Long-short term memory, 图1 BLSTM模型结构 LSTM)是一种改进后的循环网络.与传统循环网 Fig.1 BLSTM model structure 络相比，LSTM多了一个用来储存长距离信息的单 元状态，解决了梯度过长而产生的梯度弥散问题； 1.2L-CRF模块 LSTM重复模块构造不同，包含了四个交互层并以 条件随机场是Lafferty等2四提出的一种新的 一种十分特别的形式进行交互；LSTM中特殊设计 概率图模型，该模型能从训练集数据中学习约束， 的门结构使得模型能够决定丢弃信息、确定更新 从而获得了全局最优序列，同时解决了最大嫡模 细胞、更新细胞状态.LSTM的单元结构中内部参 型中存在的标注偏置问题 数可表达为： 线性链结构的CRF是最常见的CRF,它根据 i=r(W·h-1+W:x+b) 不同应用模式下CRF中的变量关系描绘出不同的 fi=c(Wr.h-1+Wr.x:+be) 图形.例如，可以选择树状条件随机场1描绘具 o=r(W。·hr-l+W。x+bo) (1) 有阶层关系的变量.针对数控机床历史维修记录 C=f*Cr-l+i,*tanh(We·h,-l+Wc·x,+bc) 中同一故障存在多种描述的特点，本文采用L h;=0,*tanh(C:) CRF2架构来获取最优序列，与传统的CRF相比， LSTM有四个输入和一个输出，输入处都经过 L-CRF能够获取过去及未来时间点的信息，使得 激活函数，sigmoid和tanh是LSTM的两个激励函 到的序列准确率更高，L-CRF架构如图2所示. 数，激活函数c使用的是sigmoid函数，值在0到 1之间，用以模拟门打开、关闭的效果.、、分 别表示时刻输人门、忘记门、输出门的输出，C表 示t时刻状态向量；W为连接两层的权重矩阵，W、 W、W。分别表示输入门、忘记门、输出门的权重 图2L-CRF架构图 矩阵，W表示细胞状态下对于输入x的权重矩阵； Fig.2 L-CRF architecture diagram b为偏置向量，b、br、b。、be分别表示隐藏层的输 该架构图中，输入值与输出值过去与未来的 入门、忘记门、输出门及细胞状态的偏置向量； 时间点包含在相互影响的关系中，因而形成具体 x为时刻输人层的输人向量，h、h-分别为t时 回路的图形架构.为了能按照标准方法来推导模 刻、t-时刻的输出，其最终结果是一个高维实向 型，按照构建联合树的步骤来检视图形，根据图2 量.LSTM的实验包括三步，首先，通过忘记门决 建构了一个联合树，通过对各时间点的联合树进 定丢弃信息：然后，通过输入门确定更新的信息； 行组合得到与L-CRF架构对应的联合树，如图3 最后，采用sigmoid函数得到细胞状态的输出，将输 所示，图中圆节点代表团结点而方形节点代表分 出结果与tanh相乘最终确定输出的信息 割结点 LSTM仅获取了文本的过去的信息，但对数控 将图形模型所代表的联合概率分布拆解成： 机床设备故障命名实体识别任务而言，设备故障 PA(Y.H)= Πcece(he) 描述的前后几个词对预测结果都有很大的影响， ☐er4,(a,s nh+1a1e4 (2) 获取上下文信息对数控机床设备故障的命名实体 识别任务有很大的帮助.为了获取上下文信息，本 0y,》1+1)μ(h+1y1+1） 文采用了双向LSTM(BLSTM)结构，BLSTM由前 定义H为输入序列，Y为一个联合树所有接口的
序列 ，然后将字向量序列输入 BLSTM 层 ，经过 BLSTM 层处理捕获每个字对应的每个标签的分 数，最后将得到的标签分数输入 L-CRF 层，并通 过 L-CRF 层获得全局最优序列. 与 BLSTM-CRF 相比，采用具有回路的 CRF，约束性更好、识别效 果更佳. 1 命名实体识别模型 1.1 BLSTM 模块 长 短 时 记 忆 网 络 （ Long-short term memory, LSTM）是一种改进后的循环网络. 与传统循环网 络相比，LSTM 多了一个用来储存长距离信息的单 元状态，解决了梯度过长而产生的梯度弥散问题； LSTM 重复模块构造不同，包含了四个交互层并以 一种十分特别的形式进行交互；LSTM 中特殊设计 的门结构使得模型能够决定丢弃信息、确定更新 细胞、更新细胞状态. LSTM 的单元结构中内部参 数可表达为： it=σ(Wi · ht−1+Wi · xt+bi) ft= σ(Wf · ht−1+Wf · xt+bf) ot= σ(Wo · ht−1+Wo · xt+bo) Ct=ft∗Ct−1+it∗tanh(Wc · ht−1+Wc · xt+bc) ht=ot∗tanh(Ct) （1） sigmoid tan h σ sigmoid it ft ot t Ct t W Wi Wf Wo Wc xt b bi bf bo bc xt t ht ht−1 t t−1 sigmoid tan h LSTM 有四个输入和一个输出，输入处都经过 激活函数， 和 是 LSTM 的两个激励函 数 ，激活函数 使用的是 函数 ，值 在 0 到 1 之间，用以模拟门打开、关闭的效果. 、 、 分 别表示 时刻输入门、忘记门、输出门的输出， 表 示 时刻状态向量； 为连接两层的权重矩阵， 、 、 分别表示输入门、忘记门、输出门的权重 矩阵， 表示细胞状态下对于输入 的权重矩阵； 为偏置向量， 、 、 、 分别表示隐藏层的输 入门、忘记门、输出门及细胞状态的偏置向量； 为 时刻输入层的输入向量 ， 、 分别为 时 刻、 时刻的输出，其最终结果是一个高维实向 量. LSTM 的实验包括三步，首先，通过忘记门决 定丢弃信息；然后，通过输入门确定更新的信息； 最后，采用 函数得到细胞状态的输出，将输 出结果与 相乘最终确定输出的信息. LSTM 仅获取了文本的过去的信息，但对数控 机床设备故障命名实体识别任务而言，设备故障 描述的前后几个词对预测结果都有很大的影响， 获取上下文信息对数控机床设备故障的命名实体 识别任务有很大的帮助. 为了获取上下文信息，本 文采用了双向 LSTM（BLSTM）结构，BLSTM 由前 向的 LSTM 与后向的 LSTM 拼接而成. BLSTM 对 每个句子分别采用正向和反向计算，运用向量拼 接将得到的两种结果进行向量拼接从而获得最后 的隐层表示. BLSTM 结构如图 1 所示. 1.2 L-CRF 模块 条件随机场是 Lafferty 等[22] 提出的一种新的 概率图模型，该模型能从训练集数据中学习约束， 从而获得了全局最优序列，同时解决了最大熵模 型中存在的标注偏置问题. 线性链结构的 CRF 是最常见的 CRF，它根据 不同应用模式下 CRF 中的变量关系描绘出不同的 图形. 例如，可以选择树状条件随机场[23] 描绘具 有阶层关系的变量. 针对数控机床历史维修记录 中同一故障存在多种描述的特点，本文采用 LCRF[24] 架构来获取最优序列，与传统的 CRF 相比， L-CRF 能够获取过去及未来时间点的信息，使得 到的序列准确率更高，L-CRF 架构如图 2 所示. 该架构图中，输入值与输出值过去与未来的 时间点包含在相互影响的关系中，因而形成具体 回路的图形架构. 为了能按照标准方法来推导模 型，按照构建联合树的步骤来检视图形，根据图 2 建构了一个联合树，通过对各时间点的联合树进 行组合得到与 L-CRF 架构对应的联合树，如图 3 所示，图中圆节点代表团结点而方形节点代表分 割结点. 将图形模型所代表的联合概率分布拆解成： PA(Y, H) = ∏ c∈C µc(hc) ∏ y∈Y [µy(hy)]d(y)−1 = ∏N−1 t=1 µ(ht , yt , yt+1)µ(ht+1, yt , yt+1) µ(yt , yt+1)µ(ht+1, yt+1) （2） 定义 H 为输入序列， Y 为一个联合树所有接口的 LSTM LSTM LSTM LSTM LSTM LSTM xt+1 ht−1 xt−1 xt ht−1 ht ht ht+1 ht+1 图 1 BLSTM 模型结构 Fig.1 BLSTM model structure y1 h1 yt−1 ht−1 yt ht yN hN 图 2 L-CRF 架构图 Fig.2 L-CRF architecture diagram · 478 · 工程科学学报，第 42 卷，第 4 期
王欢等：基于数控机床设备故障领域的命名实体识别 479 h 表示设备实体首字，“L-Dev”表示设备实体非首字 部分，“B-Fau”表示故障实体首字，“I-Fau”表示故 图3L-CRF架构所形成的联合树 Fig.3 Joint tree formed by L-CRF architecture 障实体非首字部分，“O”表示非实体部分，因此定 义标签集合为(B-Fau、I-Fau、B-Dev、I-Dev、O) 集合，N为序列的长度；dy)为与接口相邻的子图个 然后使用jieba分词对输入语句进行分词，分词后 数.并且将μ(h,y,y41μ(h+1yy+)、μyy+1)和 进行序列标注，以“发动机中螺钉滑牙”为例进行 (h+1y+1)分别定义为： 序列标注，其中发动机、螺钉是设备，滑牙是故障 u(ht.yt.yt+1)=exp(aT.g(ht.y:)+BT-g(h.y+1)+ 现象，标注后结果如表1所示 yT·fy,y+)μ(h+l,y,y+l)=exp(ag(hr+l,y)+ 表1 句子序列标注方法 Bgh+1y+1)+y·f0y+1)μ0，Jy+1)= Table 1 Sentence sequence labeling method exp(y3·fGy,y+I).μ(hl,ymI)=exp(a3·g(hHl,y1) Sentence Labeling Sentence Labeling Sentence Labeling 令a=(Ck1,2,k3,…,kd,BT=(Bk1,B2,B3,…, 发 B-Dev 的 0 牙 I-Fau Ba,Y=(yk1,Y2,Y3,…,Yd,其中，a、B为观察向量， I-Dev 螺 B-Dev y为特征函数，将式(2)根据时间索引整理为： 机 I-Dev 钉 I-Dev P,团=hA1w+i） (3) 中 0 B-Fau 当计算正规化项Z时，可用以下的方法计算 获得标注语料后使用Word2vec进行预训练获 边界分布P(H: 取字向量，在词嵌入层将其结果转化为字向量序 P团=∑Pa,=∑Ta,hl,4id 列X,作为BLSTM层的输入.时刻序列正向输入 BLSTM中得到的隐层输出为，逆向输入得到的 (4) 隐层输出为，将两者拼接得到的，=[，]包含 定义条件式对数相似度概率为P(YH,)=P历 上下文字向量 a,A将上面所定义的相关项带 通过BLSTM输出的上下文特征信息h,得 入式中，对式子整合后使用观察向量a取代原来的 到有效的输出序列y=心y0y1,y2,…,ym),仅仅通过 α和B,特征函数b取代原来y,将式子改写成： 这样的方法进行分类还存在不足之处，序列标注 P(YH.0)=- .y 问题一般具有较强的依赖关系，每个字的标签序 列存在一定的局限性，例如：标签“B-Dev”作为设 5) F(H,) 备实体的首字部分，后面接的应该是“I-Dev”,而 不应该“I-Fau”.只有BLSTM层是不够的，针对 其中0={，，…，、aT=(a1,2,…,aa、b=(b, 此问题，本文在BLSTM层加上处理标注序列的 b2,…,bid以=(1,2，…，dd)为所求模型参数，c表 L-CRF 示实体类别数，，表示特征函数对应的权值向量， 由于输入值与输出值之间存在过去与未来的 F,表示特征函数，A表示输入与输出向量间不同实 时间点，从而相互影响，为此提出了具有回路的条 体中具有关联性的个数，B表示L-CRF中赋予定义 件随机场(L-CRF),L-CRF序列用来研究句子级别 的特征函数的总数 的序列特征，将BLSTM层的输出结果输入L~ 1.3 BLSTM-L-CRF模型 CRF层，L-CRF层对其结果添加约束，从所有可能 数控机床故障描述存在不同的表达方式，例 的标签序列空间中选出最佳序列路径，获得全局 如：发动机中的螺丝滑牙、发动机中的螺钉滑牙、 最优序列.本文的BLSTM-L-CRF模型架构如图4 发动机中的螺钉滑丝和发动机中的螺丝滑牙都是 所示 指同一故障，在命名实体识别中易产生歧义，为了 BLSTM-L-CRF算法流程如下： 解决上述挑战，本文使用BLSTM-L-CRF模型进行 l:epoch←-l 命名实体识别.在实验中，将实体分为设备和实体 2:while epoch num_epoch do 两类，用“Dev”表示设备，“Fau”表示故障.首先根 3 t←-1 据BIO标注法对实体的定义进行标记，即“B-Dev” 4: shuffle train and dev data
N µ(ht , yt , yt+1) µ(ht+1, yt , yt+1) µ(yt , yt+1) µ(ht+1, yt+1) 集合， 为序列的长度；d(y) 为与接口相邻的子图个 数. 并且将 、 、 和 分别定义为： µ(ht , yt , yt+1)=exp(α T 1 · g(ht , yt)+β T 1 · g(ht , yt+1 )+ γ T 1 · f(yt , yt+1))µ(ht+1, yt , yt+1)=exp(α T 2 · g(ht+1 , yt)+ β T 2 · g(ht+1, yt+1 )+γ T 2 · f(yt , yt+1))µ(yt , yt+1)= exp(γ T 3 · f(yt , yt+1)), µ(ht+1, yt+1)=exp(α T 3 · g(ht+1, yt+1)) α T k =(αk1,αk2,αk3,··· ,αkd) β T k =(βk1,βk2,βk3,··· , βkd) γ T k = (γk1,γk2,γk3,··· ,γkd) α β γ 令 ， ， ，其中， 、 为观察向量， 为特征函数，将式（2）根据时间索引整理为： PA(Y, H) = ∏N−1 t=1 ψ(ht , ht+1, yt , yt+1) （3） 当计算正规化项 Z 时，可用以下的方法计算 边界分布 P(H)： P(H) = ∑ y P(H,Y) = ∑ y ∏N−1 t=1 ψ(ht , ht+1, yt , yt+1) （4） PA(Y|H, θ) = 1 ∏ P(H) N−1 t=1 ψ(ht , ht+1, yt , yt+1) a α β b γ 定义条件式对数相似度概率为 ，将上面所定义的相关项带 入式中，对式子整合后使用观察向量 取代原来的 和 ，特征函数 取代原来 ，将式子改写成： P(Y|H,θ) = 1 P(H) ∏N−1 t=1 exp(a T · f(y, y ′ )+ ∑ A i=1 b T i · gi(h, y)) = 1 P(H) exp(∑ B k=1 λ T k · Fk(H,Y) ) （5） θ = { λ T 1 ,λ T 2 ,··· ,λ T B } a T = (a1, a2,··· , ad) b T i = (bi1, bi2,··· , bid) λ T k = (λk1,λk2,··· ,λkd) λk Fk A B 其中 、 、 、 为所求模型参数，c 表 示实体类别数， 表示特征函数对应的权值向量， 表示特征函数， 表示输入与输出向量间不同实 体中具有关联性的个数， 表示 L-CRF 中赋予定义 的特征函数的总数. 1.3 BLSTM-L-CRF 模型 数控机床故障描述存在不同的表达方式，例 如：发动机中的螺丝滑牙、发动机中的螺钉滑牙、 发动机中的螺钉滑丝和发动机中的螺丝滑牙都是 指同一故障，在命名实体识别中易产生歧义，为了 解决上述挑战，本文使用 BLSTM-L-CRF 模型进行 命名实体识别. 在实验中，将实体分为设备和实体 两类，用“Dev”表示设备，“Fau”表示故障. 首先根 据 BIO 标注法对实体的定义进行标记，即“B-Dev” 表示设备实体首字，“I-Dev”表示设备实体非首字 部分，“B-Fau”表示故障实体首字，“I-Fau”表示故 障实体非首字部分，“O”表示非实体部分，因此定 义标签集合为 （B-Fau、 I-Fau、 B-Dev、 I-Dev、 O） . 然后使用 jieba 分词对输入语句进行分词，分词后 进行序列标注，以“发动机中螺钉滑牙”为例进行 序列标注，其中发动机、螺钉是设备，滑牙是故障 现象，标注后结果如表 1 所示. X t −→ht ←−ht ht = [ −→ht , ←−ht] 获得标注语料后使用 Word2vec 进行预训练获 取字向量，在词嵌入层将其结果转化为字向量序 列 ，作为 BLSTM 层的输入. 时刻序列正向输入 BLSTM 中得到的隐层输出为 ，逆向输入得到的 隐层输出为 ，将两者拼接得到的 包含 上下文字向量. ht y = (y0, y1, y2,··· , yn) 通过 BLSTM 输出的上下文特征信息 ，得 到有效的输出序列 ，仅仅通过 这样的方法进行分类还存在不足之处，序列标注 问题一般具有较强的依赖关系，每个字的标签序 列存在一定的局限性，例如：标签“B-Dev”作为设 备实体的首字部分，后面接的应该是“I-Dev”，而 不应该“I-Fau”. 只有 BLSTM 层是不够的，针对 此问题，本文在 BLSTM 层加上处理标注序列的 L-CRF. 由于输入值与输出值之间存在过去与未来的 时间点，从而相互影响，为此提出了具有回路的条 件随机场（L-CRF），L-CRF 序列用来研究句子级别 的序列特征 ， 将 BLSTM 层的输出结果输 入 LCRF 层，L-CRF 层对其结果添加约束，从所有可能 的标签序列空间中选出最佳序列路径，获得全局 最优序列. 本文的 BLSTM-L-CRF 模型架构如图 4 所示. BLSTM-L-CRF 算法流程如下： 1: epoch ← 1 2: while epoch < num_epoch do 3: t ← 1 4: shuffle train and dev data 表 1 句子序列标注方法 Table 1 Sentence sequence labeling method Sentence Labeling Sentence Labeling Sentence Labeling 发 B-Dev 的 O 牙 I-Fau 动 I-Dev 螺 B-Dev 机 I-Dev 钉 I-Dev 中 O 滑 B-Fau h1y1y h y1y2 2y1y2 h2y2 hN−1yN−1yN yN−1yN−2 hNyN−1yN 图 3 L-CRF 架构所形成的联合树 Fig.3 Joint tree formed by L-CRF architecture 王 欢等： 基于数控机床设备故障领域的命名实体识别 · 479 ·
480 工程科学学报，第42卷，第4期 5: while t iteration do 改源代码中的迭代次数进行对比实验发现，迭代 6: get a batch of train and dev data 次数为100时识别效果最好.通过采用不同的 7: function forward Dropout的值对模型进行了交叉验证，结果表明 8: forward pass of BLSTM-layer Dropout值为0.68时达到最好的识别效果.BLSTM- 9: forward pass of L-CRF-layer L-CRF模型参数如表3所示 10: end function 2.3评价标准及结果分析 1: function backward 本文采用信息检索通用的评价方法作为评价 12: backward pass of BLSTM-layer 标准，即准确率(Precision)、召回率(Recall)和F-测 13: backward pass of L-CRF-layer 度值(F-measure,指精确度和召回率的调和平均， 14: end function 简称F).定义如下： 15: end while P= n 16:end while ×100% R= N×100% (6) 实验设计与结果分析 2PR F= ×100% 2.1实验数据集 P+R 为了对BLSTM-L-CRF模型进行有效的评估， 其中，n为正确识别的实体个数，M为识别出的实 本文以某工厂获取历年的数控机床历史故障维修 体总数，N为标准结果中的实体个数.根据准确 记录作为数据集，对数据进行了清洗和整理，共获 率、召回率和F值三个指标对模型的性能进行全 得17485条设备故障数据.数据集按照6：2：2的 面的评价 比例进行划分，即训练集10491条，验证集3497条， 对人民日报1998年1月份的新闻标注语料、 测试集3497条 MARA语料和玻森NLP语料分别进行实验，分析 2.2实验参数设置 了该方法的可行性，不同数据集的识别效果如表4 Word2vec是指将语言单词嵌入到向量空间从 所示 而得到词向量，即该实验中的标注语料通过训练 从实验结果可知，该模型在不同数据集上是 模型转换为向量形式.Skip-gram和CBOW是 可行的，具有有效性 Word2vec的两种常用模型，文献[25]对两种模型 使用不同模型在数控机床设备故障数据上进 进行对比实验得出以下结论：当实验训练语料较 行对比实验，不同模型下数控机床设备故障命名 少时，Skip-gram模型效果更好，当语料较多时则选 实体识别的识别效果如表5所示 用CBOW模型效果更好.本文采用Skip-gram模 对比L-CRF模型与其他模型的实验结果发 型结合数控机床历史维修数据集预训练字向量， 现，L-CRF模型的准确率高，但是单一的L-CRF模 通过对比实验获得最优参数，如表2所示 型的召回率和F值都比较低；通过对比BLSTM-L 为了确定BLSTM-L-CRF模型的参数，通过更 CRF模型与其他模型的实验结果，发现该模型的 B-Dev I-Dev I-Dev 0 B-Dev I-Dev B-Fau I-Fau Output layer L-CRF L-CRF layer LSTMLSTMLSTMLSTM LSTMLSTM LSTMLSTM LSTM BLSTM Word embedd -ing 螺 钉 牙 图4 BLSTM-L-CRF模型 Fig.4 BLSTM-L-CRF model
5: while t < iteration do 6: get a batch of train and dev data 7: function forward 8: forward pass of BLSTM-layer 9: forward pass of L-CRF-layer 10: end function 11: function backward 12: backward pass of BLSTM-layer 13: backward pass of L-CRF-layer 14: end function 15: end while 16: end while 2 实验设计与结果分析 2.1 实验数据集 为了对 BLSTM-L-CRF 模型进行有效的评估， 本文以某工厂获取历年的数控机床历史故障维修 记录作为数据集，对数据进行了清洗和整理，共获 得 17485 条设备故障数据. 数据集按照 6∶2∶2 的 比例进行划分，即训练集 10491 条，验证集 3497 条， 测试集 3497 条. 2.2 实验参数设置 Word2vec 是指将语言单词嵌入到向量空间从 而得到词向量，即该实验中的标注语料通过训练 模 型 转 换 为 向 量 形 式 . Skip-gram 和 CBOW 是 Word2vec 的两种常用模型，文献 [25] 对两种模型 进行对比实验得出以下结论：当实验训练语料较 少时，Skip-gram 模型效果更好，当语料较多时则选 用 CBOW 模型效果更好. 本文采用 Skip-gram 模 型结合数控机床历史维修数据集预训练字向量， 通过对比实验获得最优参数，如表 2 所示. 为了确定 BLSTM-L-CRF 模型的参数，通过更 改源代码中的迭代次数进行对比实验发现，迭代 次数为 100 时识别效果最好. 通过采用不同的 Dropout 的值对模型进行了交叉验证，结果表明 Dropout 值为 0.68 时达到最好的识别效果. BLSTML-CRF 模型参数如表 3 所示. 2.3 评价标准及结果分析 本文采用信息检索通用的评价方法作为评价 标准，即准确率（Precision）、召回率（Recall）和 F-测 度值（F-measure，指精确度和召回率的调和平均， 简称 F）. 定义如下： P = n M ×100% R = n N ×100% F = 2PR P+R ×100% （6） 其中，n 为正确识别的实体个数，M 为识别出的实 体总数，N 为标准结果中的实体个数. 根据准确 率、召回率和 F 值三个指标对模型的性能进行全 面的评价. 对人民日报 1998 年 1 月份的新闻标注语料、 MARA 语料和玻森 NLP 语料分别进行实验，分析 了该方法的可行性，不同数据集的识别效果如表 4 所示. 从实验结果可知，该模型在不同数据集上是 可行的，具有有效性. 使用不同模型在数控机床设备故障数据上进 行对比实验，不同模型下数控机床设备故障命名 实体识别的识别效果如表 5 所示. 对比 L-CRF 模型与其他模型的实验结果发 现，L-CRF 模型的准确率高，但是单一的 L-CRF 模 型的召回率和 F 值都比较低；通过对比 BLSTM-LCRF 模型与其他模型的实验结果，发现该模型的 发 LSTM B-Dev 动 LSTM I-Dev 机 LSTM I-Dev 中 LSTM O 的 LSTM O 螺 LSTM B-Dev 钉 LSTM I-Dev 滑 LSTM B-Fau 牙 LSTM I-Fau BLSTM Word embedd -ing Output layer L-CRF layer L-CRF 图 4 BLSTM-L-CRF 模型 Fig.4 BLSTM-L-CRF model · 480 · 工程科学学报，第 42 卷，第 4 期
王欢等：基于数控机床设备故障领域的命名实体识别 481 表2Word2vec的Skip-gram模型参数表 3结论 Table 2 Parameter list of Skip-gram model in Word2vec (I)通过对CRF进行改进，提出L-CRF,对上 Parameter Value 下文之间的关联进行更精准地推断，通过对比实 Window size 10 验发现，L-CF得到的序列更合理，命名实体识别 Vector dimension 200 效果更好 Minimum term frequency 5 (2)通过使用BLSTM-L-CRF模型对不同语料 Iterations 100 进行实验，发现该模型在不同数据集上都是可行 的：使用不同模型对数控机床数据集进行命名实 表3 BLSTM-L-CRF模型参数表 体识别工作，发现文章所提出的BLSTM-L-CRF模 Table 3 BLSTM-L-CRF model parameter table 型识别性能最好.为了防止过拟合，在模型中加 Network layer Parameter Value 入dropout,.通过调整dropout值对实验模型进行对 Learning rate 0.002 比实验，发现dropout为0.68时，防止过拟合的效 BatchSize 20 BLSTM 果最好 Iterations 100 (3)提出采用BLSTM-L-CRF模型来提高命名 Dropout 0.68 实体识别的准确率，在BLSTM层获取当前词语的 上下文信息，在L-CRF层对输入信息进行解码，利 表4不同数据集在BLSTM-L-CRF模型中的识别结果 用过去和未来时间点的信息获取最优标注序列， Table 4 Experiment result of BLSTM-L-CRF models in different data set 该模型在数控机床设备及故障的命名实体识别上 Precision/%Recall/%F-measure/% 取得了较好的结果.后续将进一步完善语料库，并 Date set 对数控机床设备及故障进行实体关系抽取 People's daily corpus(1998) 83.07 83.40 8323 MSRA corpus 82.23 80.35 8128 部 考文献 Boson NLP corpus 79.45 80.18 79.81 [1] CNC machine dataset 86.16 83.40 84.76 Zeng J D,Wang T,Jia W J,et al.A survey on sensor-cloud.J Comput Res Dev,2017,54(5):925 (曾建电，王田，贾维嘉，等.传感云研究综述.计算机研究与发 表5 BLSTM-L-CRF与其他模型综合性能对比 展，2017,54(5)：925) Table 5 Comparison of performance of BLSTM-L-CRF and other [2] Wang T.Shen X W,Luo H,et al.Research progress of trusted models sensor-cloud based on fog computing.J Commun,2019,40(3): Model Precision/% Recall/% F-measure/% 170 CRF 85.45 69.87 76.88 (王田，沈雪微，罗皓，等.基于雾计算的可信传感云研究进展 L-CRF 85.92 72.54 79.16 通信学报，2019,40(3)：170) LSTM 78.90 77.84 78.37 [3]Li J Y,Zhao Y K,Xue Z E,et al.A survey of model compression BLSTM 80.71 79.00 79.85 for deep neural networks.ChinJEng,019,41(10):1229 (李江昀，赵义凯，薛卓尔，等.深度神经网络模型压缩综述，工 CNN-LSTM 83.62 80.07 81.81 程科学学报，2019,41(10)：1229) BLSTM-CRF 81.54 80.41 80.97 [4] Bikel D M,Miller S,Schwartz R,et al.Nymble:a high- BLSTM-L-CRF 86.16 83.40 84.76 performance learning name-finder[J/OL]arXiv preprint(1998-03- 27)[2019-09-17].https:/arxiv.org/abs/cmp-lg/9803003 准确率、召回率和F值都是最优的.在数控机床故 Berger A L,Pietra V J D.Pietra S A D.A maximum entropy 障诊断领域，故障历史维修记录中的故障描述语 approach to natural language processing.Compuat Linguist,1996. 言的上下文之间关联密切，BLSTM能够获取上下 22(1):39 文语义信息，L-CF包含过去和未来时间点的信 [6] McCallum A,Li W.Early results for named entity recognition 息，对一个序列而不是某个时刻的输出进行了优 with conditional random fields,feature induction and web- enhanced lexicons l Proceedings of the Seventh Conference on 化，使得标签结果顺序更合理，都适用于数控机床 Natural Language Learning at HLT-NAACL 2003-Volume 4. 领域，由实验结果可知两种模型组合是本实验的 Edmonton,2003:188 最佳模型 [7]Yu H K,Zhang H P,Liu Q,et al.Chinese named entity
准确率、召回率和 F 值都是最优的. 在数控机床故 障诊断领域，故障历史维修记录中的故障描述语 言的上下文之间关联密切，BLSTM 能够获取上下 文语义信息，L-CRF 包含过去和未来时间点的信 息，对一个序列而不是某个时刻的输出进行了优 化，使得标签结果顺序更合理，都适用于数控机床 领域，由实验结果可知两种模型组合是本实验的 最佳模型. 3 结论 （1）通过对 CRF 进行改进，提出 L-CRF，对上 下文之间的关联进行更精准地推断，通过对比实 验发现，L-CRF 得到的序列更合理，命名实体识别 效果更好. （2）通过使用 BLSTM-L-CRF 模型对不同语料 进行实验，发现该模型在不同数据集上都是可行 的；使用不同模型对数控机床数据集进行命名实 体识别工作，发现文章所提出的 BLSTM-L-CRF 模 型识别性能最好. 为了防止过拟合，在模型中加 入 dropout，通过调整 dropout 值对实验模型进行对 比实验，发现 dropout 为 0.68 时，防止过拟合的效 果最好. （3）提出采用 BLSTM-L-CRF 模型来提高命名 实体识别的准确率，在 BLSTM 层获取当前词语的 上下文信息，在 L-CRF 层对输入信息进行解码，利 用过去和未来时间点的信息获取最优标注序列， 该模型在数控机床设备及故障的命名实体识别上 取得了较好的结果. 后续将进一步完善语料库，并 对数控机床设备及故障进行实体关系抽取. 参 考 文 献 Zeng J D, Wang T, Jia W J, et al. A survey on sensor-cloud. J Comput Res Dev, 2017, 54（5）: 925 （曾建电, 王田, 贾维嘉, 等. 传感云研究综述. 计算机研究与发 展, 2017, 54（5）：925） [1] Wang T, Shen X W, Luo H, et al. Research progress of trusted sensor-cloud based on fog computing. J Commun, 2019, 40（3）: 170 （王田, 沈雪微, 罗皓, 等. 基于雾计算的可信传感云研究进展. 通信学报, 2019, 40（3）：170） [2] Li J Y, Zhao Y K, Xue Z E, et al. A survey of model compression for deep neural networks. Chin J Eng, 2019, 41（10）: 1229 （李江昀, 赵义凯, 薛卓尔, 等. 深度神经网络模型压缩综述. 工 程科学学报, 2019, 41（10）：1229） [3] Bikel D M, Miller S, Schwartz R, et al. Nymble: a highperformance learning name-finder[J/OL]. arXiv preprint (1998-03- 27)[2019-09-17]. https://arxiv.org/abs/cmp-lg/9803003 [4] Berger A L, Pietra V J D, Pietra S A D. A maximum entropy approach to natural language processing. Computat Linguist, 1996, 22（1）: 39 [5] McCallum A, Li W. Early results for named entity recognition with conditional random fields, feature induction and webenhanced lexicons // Proceedings of the Seventh Conference on Natural Language Learning at HLT-NAACL 2003-Volume 4. Edmonton, 2003: 188 [6] [7] Yu H K, Zhang H P, Liu Q, et al. Chinese named entity 表 2 Word2vec 的 Skip-gram 模型参数表 Table 2 Parameter list of Skip-gram model in Word2vec Parameter Value Window size 10 Vector dimension 200 Minimum term frequency 5 Iterations 100 表 3 BLSTM-L-CRF 模型参数表 Table 3 BLSTM-L-CRF model parameter table Network layer Parameter Value BLSTM Learning rate 0.002 BatchSize 20 Iterations 100 Dropout 0.68 表 4 不同数据集在 BLSTM-L-CRF 模型中的识别结果 Table 4 Experiment result of BLSTM-L-CRF models in different data set Date set Precision/% Recall/% F-measure/% People's daily corpus（1998） 83.07 83.40 83.23 MSRA corpus 82.23 80.35 81.28 Boson NLP corpus 79.45 80.18 79.81 CNC machine dataset 86.16 83.40 84.76 表 5 BLSTM-L-CRF 与其他模型综合性能对比 Table 5 Comparison of performance of BLSTM-L-CRF and other models Model Precision/% Recall/% F-measure/% CRF 85.45 69.87 76.88 L-CRF 85.92 72.54 79.16 LSTM 78.90 77.84 78.37 BLSTM 80.71 79.00 79.85 CNN-LSTM 83.62 80.07 81.81 BLSTM-CRF 81.54 80.41 80.97 BLSTM-L-CRF 86.16 83.40 84.76 王 欢等： 基于数控机床设备故障领域的命名实体识别 · 481 ·
482 工程科学学报，第42卷，第4期 recognition based on cascading hidden Markov model.J Commun, [17]Chen Q Y,Cheng G,Li D,et al.Named entity recognition for 2006,27(2):87 mechanical design and manufacturing area.Comput Eng Appl, (俞鸿魁，张华平，刘群，等.基于层叠隐马尔可夫模型的中文命 2017,53(20):100 名实体识别.通信学报，2006,27(2)：87) (陈秋瑗，程光，李迪，等.机械设计领域的命名实体识别研究 [8] He Y X,Luo C W.Hu B Y.Geographic entity recognition method 计算机工程与应用.2017,53(20)：100) based on CRF model and rules combination.Comput Appl Sofiw, [18]Zhao X N,Feng Z P.Fault diagnosis of rolling element bearing 2015,32(1):179 based on ensemble empirical mode decomposition and cross (何炎样，罗楚威，胡彬尧.基于CRF和规则相结合的地理命名实 energy operator..Chin J Eng,2015,37(S1)：片65 体识别方法.计算机应用与软件，2015,32(1)：179) (赵晓宁，冯志鹏.基于集合经验模式分解和交叉能量算子的滚 [9] Wang LL,Aishan W,Maihemuti M,et al.A semi-supervised 动轴承故障诊断.工程科学学报，2015,37(S1):65) approach to Uyghur named entity recognition based on CRF.J [19]Zhang D,Feng Z P.Fault diagnosis of rolling bearings based on Chin Inf Process,2018,32(11):16 variational mode decomposition and calculus enhanced energy (王路路，艾山吾买尔，买合木提·买买提，等，基于CRF和半监 operator.Chin J Eng,2016,38(9):1327 督学习的维吾尔文命名实体识别.中文信息学报，2018， (张东，冯志鹏.基于变分模式分解和微积分增强能量算子的滚 32(11):16) 动轴承故障诊断.工程科学学报，2016,38(9)：1327) [10]Hochreiter S,Schmidhuber J.Long short-term memory.Neural [20]Zhao W H,Zhang X.Lv D,et al.Technical status and strategies Comput,1997,9(8):1735 for domestic CNC machine tools.Aeron Manyf Technol,2016, [11]Graves A,Schmidhuber J.Framewise phoneme classification with 59(9):16 bidirectional LSTM and other neural network architectures.Neural (赵万华，张星，吕盾，等.国产数控机床的技术现状与对策.航 Nenm,2005,18(5-6):602 空制造技术，2016,59(9)：16) [12]Yang H M,Li L,Yang R D,et al.Named entity recognition based [21]Mikolov T,Sutskever I,Chen K,et al.Distributed representations on bidirectional long short-term memory combined with case of words and phrases and their compositionality /Advances in report form.ChinJ Tissue Eng Res,2018,22(20):3237 Neural Information Processing Systems 26(NIPS 2013).Lake (杨红梅，李琳，杨日东，等.基于双向LSTM神经网路电子病历 Tahoe,2013:3111 命名实体的识别模型.中国组织工程研究，2018,22(20)：3237) [13]Lin B Y,Xu F,Luo Z Y,et al.Multi-channel BiLSTM-CRF model [22]Lafferty J,McCallum A,Pereira F C N.Conditional random fields: Probabilistic models for segmenting and labeling sequence data / for emerging named entity recognition in social media / Proceedings of the 3rd Workshop on Noisy User-generated Text. Proceedings of the 18th International Conference on Machine Copenhagen,2017:160 Learning 2001.Williamstown,2001:282 [14]Bharadwaj A,Mortensen D,Dyer C,et al.Phonologically aware [23]Yuan S,Tang J,Gu X T.A summary of scholars'portrait neural model for named entity recognition in low resource transfer techniques in the open interet.Comput Res Dev,2018,55(9): settings I/Proceedings of the 2016 Conference on Empirical 1903 Methods in Natural Language Processing.Austin,2016:1462 (袁莎，唐杰，顾晓韬.开放互联网中的学者画像技术综述.计算 [15]Li C Y,Wu Y Z,Hu F H,et al.Packaging domain-based named 机研究与发展，2018,55(9)：1903) entity recognition with multi-layer neural networks.Neu- [24]Zhu W Q,Liu Q.Conditional random fields with loop and its oQuantology,2018,16(6):564 inference algorithm.Compur Eng Appl,008,44(28):180 [16]Yi S X,Yin H P,Zheng H Y.Public security event trigger (朱文球，刘强.基于条件随机域的上下文人类动作识别.计算 identification based on Bidirectional LSTM.Chin J Eng,2019, 机工程与应用，2008,44(28)：180) 41(9):1201 [25]Lai S W.Word and document embeddings based on neural (易士翔，尹宏鹏，郑恒毅.基于BiLSTM的公共安全事件触发词 network approaches[J/OL]arXiv preprint (2016-11-18)2019-09- 识别.工程科学学报，2019,41(9)：1201) 17].https://arxiv.org/abs/1611.05962
recognition based on cascading hidden Markov model. J Commun, 2006, 27（2）: 87 （俞鸿魁, 张华平, 刘群, 等. 基于层叠隐马尔可夫模型的中文命 名实体识别. 通信学报, 2006, 27（2）：87） He Y X, Luo C W, Hu B Y. Geographic entity recognition method based on CRF model and rules combination. Comput Appl Softw, 2015, 32（1）: 179 （何炎祥, 罗楚威, 胡彬尧. 基于CRF和规则相结合的地理命名实 体识别方法. 计算机应用与软件, 2015, 32（1）：179） [8] Wang L L, Aishan W, Maihemuti M, et al. A semi-supervised approach to Uyghur named entity recognition based on CRF. J Chin Inf Process, 2018, 32（11）: 16 （王路路, 艾山•吾买尔, 买合木提•买买提, 等. 基于CRF和半监 督 学 习 的 维 吾 尔 文 命 名 实 体 识 别 . 中 文 信 息 学 报 , 2018, 32（11）：16） [9] Hochreiter S, Schmidhuber J. Long short-term memory. Neural Comput, 1997, 9（8）: 1735 [10] Graves A, Schmidhuber J. Framewise phoneme classification with bidirectional LSTM and other neural network architectures. Neural Netw, 2005, 18（5-6）: 602 [11] Yang H M, Li L, Yang R D, et al. Named entity recognition based on bidirectional long short-term memory combined with case report form. Chin J Tissue Eng Res, 2018, 22（20）: 3237 （杨红梅, 李琳, 杨日东, 等. 基于双向LSTM神经网络电子病历 命名实体的识别模型. 中国组织工程研究, 2018, 22（20）：3237） [12] Lin B Y, Xu F, Luo Z Y, et al. Multi-channel BiLSTM-CRF model for emerging named entity recognition in social media // Proceedings of the 3rd Workshop on Noisy User-generated Text. Copenhagen, 2017: 160 [13] Bharadwaj A, Mortensen D, Dyer C, et al. Phonologically aware neural model for named entity recognition in low resource transfer settings // Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing. Austin, 2016: 1462 [14] Li C Y, Wu Y Z, Hu F H, et al. Packaging domain-based named entity recognition with multi-layer neural networks. NeuroQuantology, 2018, 16（6）: 564 [15] Yi S X, Yin H P, Zheng H Y. Public security event trigger identification based on Bidirectional LSTM. Chin J Eng, 2019, 41（9）: 1201 （易士翔, 尹宏鹏, 郑恒毅. 基于BiLSTM的公共安全事件触发词 识别. 工程科学学报, 2019, 41（9）：1201） [16] Chen Q Y, Cheng G, Li D, et al. Named entity recognition for mechanical design and manufacturing area. Comput Eng Appl, 2017, 53（20）: 100 （陈秋瑗, 程光, 李迪, 等. 机械设计领域的命名实体识别研究. 计算机工程与应用, 2017, 53（20）：100） [17] Zhao X N, Feng Z P. Fault diagnosis of rolling element bearing based on ensemble empirical mode decomposition and cross energy operator. Chin J Eng, 2015, 37（S1）: 65 （赵晓宁, 冯志鹏. 基于集合经验模式分解和交叉能量算子的滚 动轴承故障诊断. 工程科学学报, 2015, 37（S1）：65） [18] Zhang D, Feng Z P. Fault diagnosis of rolling bearings based on variational mode decomposition and calculus enhanced energy operator. Chin J Eng, 2016, 38（9）: 1327 （张东, 冯志鹏. 基于变分模式分解和微积分增强能量算子的滚 动轴承故障诊断. 工程科学学报, 2016, 38（9）：1327） [19] Zhao W H, Zhang X, Lv D, et al. Technical status and strategies for domestic CNC machine tools. Aeron Manuf Technol, 2016, 59（9）: 16 （赵万华, 张星, 吕盾, 等. 国产数控机床的技术现状与对策. 航 空制造技术, 2016, 59（9）：16） [20] Mikolov T, Sutskever I, Chen K, et al. Distributed representations of words and phrases and their compositionality // Advances in Neural Information Processing Systems 26(NIPS 2013). Lake Tahoe, 2013: 3111 [21] Lafferty J, McCallum A, Pereira F C N. Conditional random fields: Probabilistic models for segmenting and labeling sequence data // Proceedings of the 18th International Conference on Machine Learning 2001. Williamstown, 2001: 282 [22] Yuan S, Tang J, Gu X T. A summary of scholars' portrait techniques in the open internet. J Comput Res Dev, 2018, 55（9）: 1903 （袁莎, 唐杰, 顾晓韬. 开放互联网中的学者画像技术综述. 计算 机研究与发展, 2018, 55（9）：1903） [23] Zhu W Q, Liu Q. Conditional random fields with loop and its inference algorithm. Comput Eng Appl, 2008, 44（28）: 180 （朱文球, 刘强. 基于条件随机域的上下文人类动作识别. 计算 机工程与应用, 2008, 44（28）：180） [24] Lai S W. Word and document embeddings based on neural network approaches[J/OL]. arXiv preprint (2016-11-18)[2019-09- 17]. https://arxiv.org/abs/1611.05962 [25] · 482 · 工程科学学报，第 42 卷，第 4 期