工程科学学报.第42卷，第4期：455-462.2020年4月 Chinese Journal of Engineering,Vol.42,No.4:455-462,April 2020 https://doi.org/10.13374/j.issn2095-9389.2019.09.16.005;http://cje.ustb.edu.cn 基于强化学习的工控系统恶意软件行为检测方法 高 洋，王礼伟2,39，任望，谢丰)，莫晓锋234，罗熊2,34区，王卫苹2,34 杨 玺) 1)中国信息安全测评中心.北京1000852)北京科技大学计算机与通信工程学院，北京1000833)北京科技大学人工智能研究院.北京 1000834)材料领域知识工程北京市重点实验室，北京1000835)北京市智能物流系统协同创新中心.北京101149 ☒通信作者，E-mail:xuo@ustb.edu.cn 摘要网络环境下的恶意软件严重威胁着工控系统的安全，随着目前恶意软件变种的逐渐增多，给工控系统恶意软件的检 测和安全防护带来了巨大的挑战.现有的检测方法存在着自适应检测识别的智能化程度不高等局限性.针对此问题，围绕威 胁工控系统网络安全的恶意软件对象，本文通过结合利用强化学习这一高级的机器学习算法，设计了一个检测应用方法框 架.在实现过程中，根据恶意软件行为检测的实际需求，充分结合强化学习的序列决策和动态反馈学习等智能特征，详细讨 论并设计了其中的特征提取网络、策略网络和分类网络等关键应用模块.基于恶意软件实际测试数据集进行的应用实验验 证了本文方法的有效性，可为一般恶意软件行为检测提供一种智能化的决策辅助手段. 关键词恶意软件：检测方法：强化学习：特征提取：策略网络 分类号TP273 Reinforcement learning-based detection method for malware behavior in industrial control systems GAO Yang.WANG Li-wep),REN Wang,XIE Feng,MO Xiao-feng LUO Xiong,WANG Wei-ping,YANGXi) 1)China Information Technology Security Evaluation Center,Beijing 100085,China 2)School of Computer and Communication Engineering,University of Science and Technology Beijing,Beijing 100083,China 3)Institute of Artificial Intelligence,University of Science and Technology Beijing,Beijing 100083,China 4)Beijing Key Laboratory of Knowledge Engineering for Materials Science,Beijing 100083,China 5)Beijing Intelligent Logistics System Collaborative Innovation Center,Beijing 101149,China Corresponding author,E-mail:xluo@ustb.edu.cn ABSTRACT Due to the popularity of intelligent mobile devices,malwares in the internet have seriously threatened the security of industrial control systems.Increasing number of malware attacks has become a major concern in the information security community. Currently,with the increase of malware variants in a wide range of application fields,some technical challenges must be addressed to detect malwares and achieve security protection in industrial control systems.Although many traditional solutions have been developed to provide effective ways of detecting malwares,some current approaches have their limitations in intelligently detecting and recognizing malwares,as more complex malwares exist.Given the success of machine learning methods and techniques in data analysis applications,some advanced algorithms can also be applied in the detection and analysis of complex malwares.To detect malwares and 收稿日期：2019-09-15 基金项目：国家自然科学基金资助项目(U1736117.U1836106):北京市自然科学基金资助项目(19L2029.9204028):北京市智能物流系统协 同创新中心开放课题资助项目(BILSCIC-2019KF-O8:北京科技大学顺德研究生院科技创新专项资金资助项目(BK19BF006:材料领域知 识工程北京市重点实验室基本业务费资助项目(FRF-BD-19-012A)基于强化学习的工控系统恶意软件行为检测方法 高    洋1)，王礼伟2,3,4)，任    望1)，谢    丰1)，莫晓锋2,3,4)，罗    熊2,3,4) 苣，王卫苹2,3,4)， 杨    玺5) 1) 中国信息安全测评中心，北京 100085    2) 北京科技大学计算机与通信工程学院，北京 100083    3) 北京科技大学人工智能研究院，北京 100083    4) 材料领域知识工程北京市重点实验室，北京 100083    5) 北京市智能物流系统协同创新中心，北京 101149 苣通信作者，E-mail：xluo@ustb.edu.cn 摘    要    网络环境下的恶意软件严重威胁着工控系统的安全，随着目前恶意软件变种的逐渐增多，给工控系统恶意软件的检 测和安全防护带来了巨大的挑战. 现有的检测方法存在着自适应检测识别的智能化程度不高等局限性. 针对此问题，围绕威 胁工控系统网络安全的恶意软件对象，本文通过结合利用强化学习这一高级的机器学习算法，设计了一个检测应用方法框 架. 在实现过程中，根据恶意软件行为检测的实际需求，充分结合强化学习的序列决策和动态反馈学习等智能特征，详细讨 论并设计了其中的特征提取网络、策略网络和分类网络等关键应用模块. 基于恶意软件实际测试数据集进行的应用实验验 证了本文方法的有效性，可为一般恶意软件行为检测提供一种智能化的决策辅助手段. 关键词    恶意软件；检测方法；强化学习；特征提取；策略网络 分类号    TP273 Reinforcement  learning-based  detection  method  for  malware  behavior  in  industrial control systems GAO Yang1) ，WANG Li-wei2,3,4) ，REN Wang1) ，XIE Feng1) ，MO Xiao-feng2,3,4) ，LUO Xiong2,3,4) 苣 ，WANG Wei-ping2,3,4) ，YANG Xi5) 1) China Information Technology Security Evaluation Center, Beijing 100085, China 2) School of Computer and Communication Engineering, University of Science and Technology Beijing, Beijing 100083, China 3) Institute of Artificial Intelligence, University of Science and Technology Beijing, Beijing 100083, China 4) Beijing Key Laboratory of Knowledge Engineering for Materials Science, Beijing 100083, China 5) Beijing Intelligent Logistics System Collaborative Innovation Center, Beijing 101149, China 苣 Corresponding author, E-mail: xluo@ustb.edu.cn ABSTRACT    Due  to  the  popularity  of  intelligent  mobile  devices,  malwares  in  the  internet  have  seriously  threatened  the  security  of industrial control systems. Increasing number of malware attacks has become a major concern in the information security community. Currently, with the increase of malware variants in a wide range of application fields, some technical challenges must be addressed to detect malwares and achieve security protection in industrial control systems. Although many traditional solutions have been developed to  provide  effective  ways  of  detecting  malwares,  some  current  approaches  have  their  limitations  in  intelligently  detecting  and recognizing malwares, as more complex malwares exist. Given the success of machine learning methods and techniques in data analysis applications, some advanced algorithms can also be applied in the detection and analysis of complex malwares. To detect malwares and 收稿日期: 2019−09−15 基金项目: 国家自然科学基金资助项目 (U1736117，U1836106)；北京市自然科学基金资助项目 (19L2029，9204028)；北京市智能物流系统协 同创新中心开放课题资助项目 (BILSCIC-2019KF-08)；北京科技大学顺德研究生院科技创新专项资金资助项目 (BK19BF006)；材料领域知 识工程北京市重点实验室基本业务费资助项目 (FRF-BD-19-012A) 工程科学学报，第 42 卷，第 4 期：455−462，2020 年 4 月 Chinese Journal of Engineering, Vol. 42, No. 4: 455−462, April 2020 https://doi.org/10.13374/j.issn2095-9389.2019.09.16.005; http://cje.ustb.edu.cn