第15卷第3期 智能系统学报 Vol.15 No.3 2020年5月 CAAI Transactions on Intelligent Systems May 2020 D0L:10.11992tis.201812015 多智能体系统安全性问题及防御机制综述 丁俐夫1，颜钢锋 (1.浙江大学电气工程学院，浙江杭州310027：2.浙江大学华南工业技术研究院，广东广州510760) 摘要：多智能体系统作为分布式人工智能的重要分支，已成为解决大型、复杂、分布式及难预测问题的重要 手段。在开放网络中，多智能体系统仍面临许多安全问题，潜在的安全威胁很可能影响其实际应用的稳定性 快速性和准确性。基于目前已知的多智能体系统通用模型，介绍了多智能体系统通信协议、访问控制和协调机 制中潜在的安全问题，规范了多智能体系统安全性问题的研究体系，总结了系统设计过程中可行的防御技术和 隐私保护技术，最后展望了多智能体系统安全研究的发展方向。 关键词：多智能体系统；分布式人工智能：安全威胁：防御机制；网络安全；通信协议：访问控制：协调机制 中图分类号：TP18:TP309文献标志码：A文章编号：1673-4785(2020)03-0425-10 中文引用格式：丁俐夫，颜钢锋.多智能体系统安全性问题及防御机制综述J.智能系统学报，2020,15(3)：425-434. 英文引用格式：DING Lifu,YAN Gangfeng.A survey of the security issues and defense mechanisms of multi-agent systems[J, CAAI transactions on intelligent systems,2020,15(3):425-434. A survey of the security issues and defense mechanisms of multi-agent systems DING Lifu',YAN Gangfeng' (1.College of Electrical Engineering,Zhejiang University,Hangzhou 310027,China;2.Huanan Industrial Technology Research In- stitute,Zhejiang University,Guangzhou 510760,China) Abstract:Currently,multi-agent systems are an important branch of distributed artificial intelligence and an important means of solving large,complex,distributed,and difficult-to-predict problems.However,in an open network,multi- agent systems still face many security issues.Potential security threats are likely to affect the stability,speed,and accur- acy of the practical applications of multi-agent systems.Based on the general models of currently known multi-agent systems,the potential security problems in multi-agent system communication protocol,access control,and coordina- tion mechanism are introduced.Research on multi-agent system security problems is standardized,and feasible defense and privacy protection technologies in the system design process are summarized.Finally,the development trend of multi-agent system security research is analyzed. Keywords:multi-agent system;distributed artificial intelligence;security threat;defense mechanism;network security; communication protocol;access control;coordination mechanism 人工智能已经成为当前计算机研究最热门和杂度和综合性都有所提高，而单个智能体的计算 应用最广泛的领域之一。在人工智能的不断发展 能力和计算资源能力都有限，无法满足分布式人 中，逐渐产生了一个前沿领域，即智能体理论。 工智能(distributed artificial intelligence,DA)）的需 智能体所具有的自治性、社交性和灵活性山，使其 求。因此，多智能体系统(multi-agent system, 成为许多复杂系统的核心技术。随着计算机技术 MAS)在开放的分布式环境中被开发，并被广泛 和人工智能的发展，计算机需要处理的问题在复 应用于与日常生活及工业生产相关的领域四，例 收稿日期：2018-12-13. 基金项目：国家重点研发计划项目(2018YFB0904900). 如：智能机器人（协同式机器人）、水下机器人。 通信作者：丁俐夫.E-mail:dinglifu@zju.edu.cn. 交通控制（智能城市交通、路径规划，柔性制DOI: 10.11992/tis.201812015 多智能体系统安全性问题及防御机制综述 丁俐夫1 ，颜钢锋2 （1. 浙江大学 电气工程学院，浙江 杭州 310027; 2. 浙江大学 华南工业技术研究院，广东 广州 510760） 摘 要：多智能体系统作为分布式人工智能的重要分支，已成为解决大型、复杂、分布式及难预测问题的重要 手段。在开放网络中，多智能体系统仍面临许多安全问题，潜在的安全威胁很可能影响其实际应用的稳定性、 快速性和准确性。基于目前已知的多智能体系统通用模型，介绍了多智能体系统通信协议、访问控制和协调机 制中潜在的安全问题，规范了多智能体系统安全性问题的研究体系，总结了系统设计过程中可行的防御技术和 隐私保护技术，最后展望了多智能体系统安全研究的发展方向。 关键词：多智能体系统；分布式人工智能；安全威胁；防御机制；网络安全；通信协议；访问控制；协调机制 中图分类号：TP18；TP309 文献标志码：A 文章编号：1673−4785(2020)03−0425−10 中文引用格式：丁俐夫, 颜钢锋. 多智能体系统安全性问题及防御机制综述 [J]. 智能系统学报, 2020, 15(3): 425–434. 英文引用格式：DING Lifu, YAN Gangfeng. A survey of the security issues and defense mechanisms of multi-agent systems[J]. CAAI transactions on intelligent systems, 2020, 15(3): 425–434. A survey of the security issues and defense mechanisms of multi-agent systems DING Lifu1 ，YAN Gangfeng2 (1. College of Electrical Engineering, Zhejiang University, Hangzhou 310027, China; 2. Huanan Industrial Technology Research In￾stitute, Zhejiang University, Guangzhou 510760, China) Abstract: Currently, multi-agent systems are an important branch of distributed artificial intelligence and an important means of solving large, complex, distributed, and difficult-to-predict problems. However, in an open network, multi￾agent systems still face many security issues. Potential security threats are likely to affect the stability, speed, and accur￾acy of the practical applications of multi-agent systems. Based on the general models of currently known multi-agent systems, the potential security problems in multi-agent system communication protocol, access control, and coordina￾tion mechanism are introduced. Research on multi-agent system security problems is standardized, and feasible defense and privacy protection technologies in the system design process are summarized. Finally, the development trend of multi-agent system security research is analyzed. Keywords: multi-agent system; distributed artificial intelligence; security threat; defense mechanism; network security; communication protocol; access control; coordination mechanism 人工智能已经成为当前计算机研究最热门和 应用最广泛的领域之一。在人工智能的不断发展 中，逐渐产生了一个前沿领域，即智能体理论。 智能体所具有的自治性、社交性和灵活性[1] ，使其 成为许多复杂系统的核心技术。随着计算机技术 和人工智能的发展，计算机需要处理的问题在复 杂度和综合性都有所提高，而单个智能体的计算 能力和计算资源能力都有限，无法满足分布式人 工智能 (distributed artificial intelligence, DAI) 的需 求。因此，多智能体系统 (multi-agent system, MAS) 在开放的分布式环境中被开发，并被广泛 应用于与日常生活及工业生产相关的领域[2] ，例 如：智能机器人 (协同式机器人[3] 、水下机器人[4] )， 交通控制 (智能城市交通[5] 、路径规划[6] )，柔性制 收稿日期：2018−12−13. 基金项目：国家重点研发计划项目 (2018YFB0904900). 通信作者：丁俐夫. E-mail：dinglifu@zju.edu.cn. 第 15 卷第 3 期 智 能 系 统 学 报 Vol.15 No.3 2020 年 5 月 CAAI Transactions on Intelligent Systems May 2020