第36卷第6期 计算机学报 Vol.36 No.6 2013年6月 CHINESE JOURNAL OF COMPUTERS June 2013 网络大数据：现状与展望 王元卓靳小龙程学旗 (中国科学院计算技术研究所网络数据科学与技术重点实验室北京100190) 摘要网络大数据是指“人、机、物”三元世界在网络空间(Cyberspace)中交互、融合所产生并在互联网上可获得 的大数据.网络大数据的规模和复杂度的增长超出了硬件能力增长的摩尔定律，给现有的T架构以及机器处理和 计算能力带来了极大挑战.同时，也为人们深度挖掘和充分利用网络大数据的大价值带来了巨大机遇，因此，迫切 需要探讨大数据的科学问题，发现网络大数据的共性规律，研究网络大数据定性、定量分析的基础理论与基本方 法.文中分析了网络大数据的复杂性、不确定性和涌现性，总结了网络空间感知与数据表示、网络大数据存储与管 理体系、网络大数据挖据和社会计算以及网络数据平台系统与应用等方面的主要问题与研究现状，并对大数据科 学、数据计算需要的新模式与新范式、新型的IT基础架构和数据的安全与隐私等方面的发展趋势进行了展望. 关键词大数据：网络大数据：网络空间感知：大数据存储：数据挖据：社会计算 中图法分类号TP393 D0I号10.3724/SP.J.1016.2013.01125 Network Big Data:Present and Future WANG Yuan-Zhuo JIN Xiao-Long CHENG Xue-Qi (Key Laboratory of Web Data Science &Technology,Institute of Computing Technology.Chinese Academy of Sciences,Beijing 100190) Abstract Network big data refer to the massive data generated by interaction and fusion of the ternary human-machine-thing universe in the Cyberspace and available on the Internet.The increase of their scale and complexity exceeds that of the capacity of hardware characterized by the Moore law,which brings grand challenges to the architecture and the processing and computing capacity of the contemporary IT systems,meanwhile presents unprecedented opportunities on deeply mining and taking full advantage of the big value of network big data.Therefore,it is pressing to investigate the disciplinary issues and discover the common laws of network big data, and further study the fundamental theory and basic approach to qualitatively or quantitatively dealing with network big data.This paper analyzes the challenges caused by the complexity, uncertainty and emergence of network big data,and summarizes major issues and research status of the awareness,representation,storage,management,mining,and social computing of network big data,as well as network data platforms and applications.It also looks ahead to the development trends of big data science,new modes and paradigm of data computing,new IT infrastructures, and data security and privacy,etc. Keywords big data;network big data;cyberspace awareness;storage of big data;data mining; social computing 收稿日期：2012-12-18：最终修改稿收到日期：2013-0320.本课题得到国家自然基金重点项目“在线社会关系网络挖掘与分析”(61232010)、 “支持與情监控的Wb搜索与挖掘的新理论和新方法”(60933005)、国家“九七三”重点基础研究发展规划项目课题“面向公共安全的社会感 知数据处理”“(2012CB316303):国家自然基金面上项目“基于随机博弈网的网络用户信息行为模型及演化性分析”(61173008)、国家自然科学 基金青年项目“通信网络中可变服务容量调度系统的性能建模、分析与优化”(61100175)资助.王元卓，男，1978年生，博士，副研究员，中国 计算机学会(CCF)高级会员，主要研究方向为社会计算.网铬行为分析，信息安全等.E-mail:wangyuanzhuo@ict.ac.cn.新小龙，男，l976 年生，博士，副研究员，主要研究方向为社会计算、网络性能建模与分析、多智能体系统等.程学旗，男，1971年生，博士，研究员，主要研究 领域为网络科学、网络与信息安全以及互联网搜索与服务. ?1994-2015 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net第３６卷 第６期 ２０１３年６月 计 算 机 学 报 ＣＨＩＮＥＳＥＪＯＵＲＮＡＬＯＦＣＯＭＰＵＴＥＲＳ Ｖｏｌ．３６ Ｎｏ．６ Ｊｕｎｅ２０１３ 收稿日期：２０１２－１２－１８；最终修改稿收到日期：２０１３－０３－２０．本课题得到国家自然基金重点项目“在线社会关系网络挖掘与分析”（６１２３２０１０）、 “支持舆情监控的 Ｗｅｂ搜索与挖掘的新理论和新方法”（６０９３３００５）、国家“九七三”重点基础研究发展规划项目课题“面向公共安全的社会感 知数据处理”（２０１２ＣＢ３１６３０３）；国家自然基金面上项目“基于随机博弈网的网络用户信息行为模型及演化性分析”（６１１７３００８）、国家自然科学 基金青年项目“通信网络中可变服务容量调度系统的性能建模、分析与优化”（６１１００１７５）资助．王元卓，男，１９７８年生，博士，副研究员，中国 计算机学会（ＣＣＦ）高级会员，主要研究方向为社会计算、网络行为分析、信息安全等．Ｅ－ｍａｉｌ：ｗａｎｇｙｕａｎｚｈｕｏ＠ｉｃｔ．ａｃ．ｃｎ．靳小龙，男，１９７６ 年生，博士，副研究员，主要研究方向为社会计算、网络性能建模与分析、多智能体系统等．程学旗，男，１９７１年生，博士，研究员，主要研究 领域为网络科学、网络与信息安全以及互联网搜索与服务． 网络大数据：现状与展望 王元卓 靳小龙 程学旗 （中国科学院计算技术研究所 网络数据科学与技术重点实验室 北京 １００１９０） 摘 要 网络大数据是指“人、机、物”三元世界在网络空间（Ｃｙｂｅｒｓｐａｃｅ）中交互、融合所产生并在互联网上可获得 的大数据．网络大数据的规模和复杂度的增长超出了硬件能力增长的摩尔定律，给现有的ＩＴ 架构以及机器处理和 计算能力带来了极大挑战．同时，也为人们深度挖掘和充分利用网络大数据的大价值带来了巨大机遇．因 此，迫 切 需要探讨大数据的科学问题，发现网络大数据的共性规律，研究网络大数据定性、定量分析的基础理论与基本方 法．文中分析了网络大数据的复杂性、不确定性和涌 现 性，总结了网络空间感知与数据表示、网络大数据存储与管 理体系、网络大数据挖掘和社会计算以及网络数据平台系统与应用等方面的主要问题与研究现状，并 对 大 数 据 科 学、数据计算需要的新模式与新范式、新型的ＩＴ基础架构和数据的安全与隐私等方面的发展趋势进行了展望． 关键词 大数据；网络大数据；网络空间感知；大数据存储；数据挖掘；社会计算 中图法分类号 ＴＰ３９３ ＤＯＩ号 １０．３７２４／ＳＰ．Ｊ．１０１６．２０１３．０１１２５ ＮｅｔｗｏｒｋＢｉｇＤａｔａ：ＰｒｅｓｅｎｔａｎｄＦｕｔｕｒｅ ＷＡＮＧＹｕａｎ－Ｚｈｕｏ ＪＩＮＸｉａｏ－Ｌｏｎｇ ＣＨＥＮＧＸｕｅ－Ｑｉ （ＫｅｙＬａｂｏｒａｔｏｒｙｏｆＷｅｂＤａｔａＳｃｉｅｎｃｅ＆ Ｔｅｃｈｎｏｌｏｇｙ，ＩｎｓｔｉｔｕｔｅｏｆＣｏｍｐｕｔｉｎｇＴｅｃｈｎｏｌｏｇｙ，ＣｈｉｎｅｓｅＡｃａｄｅｍｙｏｆＳｃｉｅｎｃｅｓ，Ｂｅｉｊｉｎｇ １００１９０） Ａｂｓｔｒａｃｔ Ｎｅｔｗｏｒｋｂｉｇｄａｔａｒｅｆｅｒｔｏｔｈｅｍａｓｓｉｖｅｄａｔａｇｅｎｅｒａｔｅｄｂｙｉｎｔｅｒａｃｔｉｏｎａｎｄｆｕｓｉｏｎｏｆｔｈｅ ｔｅｒｎａｒｙｈｕｍａｎ－ｍａｃｈｉｎｅ－ｔｈｉｎｇｕｎｉｖｅｒｓｅｉｎｔｈｅＣｙｂｅｒｓｐａｃｅａｎｄａｖａｉｌａｂｌｅｏｎｔｈｅＩｎｔｅｒｎｅｔ．Ｔｈｅ ｉｎｃｒｅａｓｅｏｆｔｈｅｉｒｓｃａｌｅａｎｄｃｏｍｐｌｅｘｉｔｙｅｘｃｅｅｄｓｔｈａｔｏｆｔｈｅｃａｐａｃｉｔｙｏｆｈａｒｄｗａｒｅｃｈａｒａｃｔｅｒｉｚｅｄｂｙｔｈｅ Ｍｏｏｒｅｌａｗ，ｗｈｉｃｈｂｒｉｎｇｓｇｒａｎｄｃｈａｌｌｅｎｇｅｓｔｏｔｈｅａｒｃｈｉｔｅｃｔｕｒｅａｎｄｔｈｅｐｒｏｃｅｓｓｉｎｇａｎｄｃｏｍｐｕｔｉｎｇ ｃａｐａｃｉｔｙｏｆｔｈｅｃｏｎｔｅｍｐｏｒａｒｙＩＴｓｙｓｔｅｍｓ，ｍｅａｎｗｈｉｌｅｐｒｅｓｅｎｔｓｕｎｐｒｅｃｅｄｅｎｔｅｄｏｐｐｏｒｔｕｎｉｔｉｅｓｏｎ ｄｅｅｐｌｙｍｉｎｉｎｇａｎｄｔａｋｉｎｇｆｕｌｌａｄｖａｎｔａｇｅｏｆｔｈｅｂｉｇｖａｌｕｅｏｆｎｅｔｗｏｒｋｂｉｇｄａｔａ．Ｔｈｅｒｅｆｏｒｅ，ｉｔｉｓ ｐｒｅｓｓｉｎｇｔｏｉｎｖｅｓｔｉｇａｔｅｔｈｅｄｉｓｃｉｐｌｉｎａｒｙｉｓｓｕｅｓａｎｄｄｉｓｃｏｖｅｒｔｈｅｃｏｍｍｏｎｌａｗｓｏｆｎｅｔｗｏｒｋｂｉｇｄａｔａ， ａｎｄｆｕｒｔｈｅｒｓｔｕｄｙｔｈｅｆｕｎｄａｍｅｎｔａｌｔｈｅｏｒｙａｎｄｂａｓｉｃａｐｐｒｏａｃｈｔｏｑｕａｌｉｔａｔｉｖｅｌｙｏｒｑｕａｎｔｉｔａｔｉｖｅｌｙ ｄｅａｌｉｎｇｗｉｔｈｎｅｔｗｏｒｋｂｉｇｄａｔａ．Ｔｈｉｓｐａｐｅｒａｎａｌｙｚｅｓｔｈｅｃｈａｌｌｅｎｇｅｓｃａｕｓｅｄｂｙｔｈｅｃｏｍｐｌｅｘｉｔｙ， ｕｎｃｅｒｔａｉｎｔｙａｎｄｅｍｅｒｇｅｎｃｅｏｆｎｅｔｗｏｒｋｂｉｇｄａｔａ，ａｎｄｓｕｍｍａｒｉｚｅｓｍａｊｏｒｉｓｓｕｅｓａｎｄｒｅｓｅａｒｃｈｓｔａｔｕｓｏｆ ｔｈｅａｗａｒｅｎｅｓｓ，ｒｅｐｒｅｓｅｎｔａｔｉｏｎ，ｓｔｏｒａｇｅ，ｍａｎａｇｅｍｅｎｔ，ｍｉｎｉｎｇ，ａｎｄｓｏｃｉａｌｃｏｍｐｕｔｉｎｇｏｆｎｅｔｗｏｒｋ ｂｉｇｄａｔａ，ａｓｗｅｌｌａｓｎｅｔｗｏｒｋｄａｔａｐｌａｔｆｏｒｍｓａｎｄａｐｐｌｉｃａｔｉｏｎｓ．Ｉｔａｌｓｏｌｏｏｋｓａｈｅａｄｔｏｔｈｅｄｅｖｅｌｏｐｍｅｎｔ ｔｒｅｎｄｓｏｆｂｉｇｄａｔａｓｃｉｅｎｃｅ，ｎｅｗ ｍｏｄｅｓａｎｄｐａｒａｄｉｇｍｏｆｄａｔａｃｏｍｐｕｔｉｎｇ，ｎｅｗＩＴｉｎｆｒａｓｔｒｕｃｔｕｒｅｓ， ａｎｄｄａｔａｓｅｃｕｒｉｔｙａｎｄｐｒｉｖａｃｙ，ｅｔｃ． Ｋｅｙｗｏｒｄｓ ｂｉｇｄａｔａ；ｎｅｔｗｏｒｋｂｉｇｄａｔａ；ｃｙｂｅｒｓｐａｃｅａｗａｒｅｎｅｓｓ；ｓｔｏｒａｇｅｏｆｂｉｇｄａｔａ；ｄａｔａｍｉｎｉｎｇ； ｓｏｃｉａｌｃｏｍｐｕｔｉｎｇ