6期 王元卓等：网络大数据：现状与展望 1133 有关系的异质性、结构的多尺度性以及网络的动态 演化性3方面特性.社会网络中个体因血缘关系或 6网络数据平台系统与应用 兴趣爱好等因素而形成了连接紧密的圈子，这种内 部关系紧密而对外关系相对稀疏的结构被称为社 为了应对网络大数据的发展趋势，更好地为企 区，社区结构是社会网络所普遍具有的结构特征，社 业和个人提供数据分析的需求，亟需构建各类不同 区结构的存在对于网络的高效搜索、网络演化、信息 的网络大数据平台，支持用户对数据的多种需求.下 扩散等具有重要意义.针对社区结构的研究可分为 面我们从数据平台建设、基于数据平台的高端数据 社区发现、社区结构演化等方面6]， 分析以及网络大数据平台的应用3个角度总结相关 社区发现[6)旨在识别出网络固有的社区结构， 的内容. 按照节点间的连边关系把节点划分成若干节点组， 6.1网络大数据平台引擎建设 使得节点内部的连边相对稠密，不同节点之间的连 构建网络大数据平台就是要将不同渠道、不同 边相对稀疏.Girvan和Newman2]提出分裂式层次 来源、不同结构的数据进行有机的整合，与传统数据 聚类方法，是一种自顶向下的社区分割过程；文 平台不同的是，网络大数据海量的规模、多样的类 献[63]提出模块度概念，采用一种被假定没有社区 型、快速的流动和动态的体系以及巨大的价值是大 结构的网络作为参照网络，对于一个给定的网络划 数据平台构建需要重点考虑的几个因素.除此之外， 分，通过对比原有网络和参照网络中处于该划分的 数据的分类存储、数据平台的开放性、数据的智能处 各个分量内部边的比例，给出一种度量网络划分质 理以及数据平台与用户的交互都为网络大数据平台 量的方法；对于重叠社区结构的研究，Palla等人[s) 的建设带来前所未有的挑战.网络大数据平台处理 提出了一种基于完全子图渗流的社区发现方法，已 的数据类型是多种多样的.根据数据类型的不同，网 应用到生物、信息、社会等网络中：进一步，文献[65] 络大数据平台可以分为不同的类型，比如本体数据 定义新的网络模块度，采用聚合式层次聚类的方式， 平台、企业日常事务数据平台、流数据平台、电子商务 提出了能够同时揭示网络层次重叠社区结构（如 数据平台等等.目前这些平台的搭建已经具有了一些 图4所示)的社区发现方法. 有代表性的工作.如Google公司的Freebase①、微软 公司的Probase②s]、国内著名的中文信息结构 Scientists Physicists 库一知网(Hownet)③等.在商用数据平台方面， Department of Biological Physics IBM公司的Infosphere大数据分析平台④、天睿公 司的Teradata统一数据环境⑤以及由国内天猫、阿 Mathematicians ,忆oomt *Zoom 里云、万网联合推出的国内首个电商云工作平台聚 Seientifi Family Community 石塔@是3个典型的数据平台， 6.2网络大数据下的高端数据分析 一个优秀的综合大数据处理平台不但可以为企 业的决策和个人的生活提供服务，甚至还可以为国 图4层次重叠社区结构示意图s] 家政策的制定提供支持.首先，依托大数据平台，国 社区演化是网络自身结构与在其上频繁发生的 家可以分析各实体和产业之间的关联关系，从而了 交互过程相互作用的结果，社区演化分析主要研究 解行业发展的趋势，找到影响产业发展的关键性因 社区随时间变化的情况，并分析导致这些变化的机 素，统筹规划资金、人才、技术的良性流动与优化配 制和原因，包括社区的形成、生长、缩减、合并、分裂 置.其次，大数据平台可以为企业提供巨大的商业价 和消亡等.在动态演化过程网络建模研究方面， 值.企业分析人员可以分析多种多样的内容.譬如， Barabasi和Albertt]提出了著名的BA网络生成模 分析顾客偏好及顾客群体，对群体进行细分并量体 型，建立了网络微观机制和宏观拓扑结构特征的关联 规律.文献[67]基于完全子图渗流社区发现方法研究 ① http://www.freebase.com/ 社区演化，得出了小社区稳定性是保证其存在的前提 http://research.microsoft.com/en-us/projects/probase/ ③ http://www.keenage.com/ 而大社区的动态性是存在的基础的结论.随着含时间 0 http://www.ibm.com/software/data/infosphere http://www.teradata.com.cn/ 数据的积累，关于社区演化的研究将会是一个热点. http://cloud.tmall.com/index.htm ?1994-2015 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net有关系的异质性、结构的多尺度性以及网络的动态 演化性３方面特性．社会网络中个体因血缘关系或 兴趣爱好等因素而形成了连接紧密的圈子，这种内 部关系紧密 而 对 外 关 系 相 对 稀 疏 的 结 构 被 称 为 社 区．社区结构是社会网络所普遍具有的结构特征，社 区结构的存在对于网络的高效搜索、网络演化、信息 扩散等具有重要意义．针对社区结构的研究可分为 社区发现、社区结构演化等方面［６０］ ． 社区发现［６１］旨在识别出网络固有的社区结构， 按照节点间的连边关系把节点划分成若干节点组， 使得节点内部的连边相对稠密，不同节点之间的连 边相对稀疏．Ｇｉｒｖａｎ和 Ｎｅｗｍａｎ［６２］提出分裂式层次 聚类 方 法，是 一 种 自 顶 向 下 的 社 区 分 割 过 程；文 献［６３］提出模块度概念，采用一种被假定没有社区 结构的网络作为参照网络，对于一个给定的网络划 分，通过对比原有网络和参照网络中处于该划分的 各个分量内部边的比例，给出一种度量网络划分质 量的方法；对于重叠社区结构的研究，Ｐａｌｌａ等人［６４］ 提出了一种基于完全子图渗流的社区发现方法，已 应用到生物、信息、社会等网络中；进一步，文献［６５］ 定义新的网络模块度，采用聚合式层次聚类的方式， 提出了能够同时揭示网络层次重叠社区 结 构 （如 图４所示）的社区发现方法． 图 ４ 层次重叠社区结构示意图［６５］ 社区演化是网络自身结构与在其上频繁发生的 交互过程相互作用的结果．社区演化分析主要研究 社区随时间变化的情况，并分析导致这些变化的机 制和原因，包括社区的形成、生长、缩减、合并、分裂 和 消 亡 等．在 动 态 演 化 过 程 网 络 建 模 研 究 方 面， Ｂａｒａｂｓｉ和 Ａｌｂｅｒｔ［６６］提出了著名的 ＢＡ 网络生成模 型，建立了网络微观机制和宏观拓扑结构特征的关联 规律．文献［６７］基于完全子图渗流社区发现方法研究 社区演化，得出了小社区稳定性是保证其存在的前提 而大社区的动态性是存在的基础的结论．随着含时间 数据的积累，关于社区演化的研究将会是一个热点． ６ 网络数据平台系统与应用 为了应对网络大数据的发展趋势，更好地为企 业和个人提供数据分析的需求，亟需构建各类不同 的网络大数据平台，支持用户对数据的多种需求．下 面我们从数据平台建设、基于数据平台的高端数据 分析以及网络大数据平台的应用３个角度总结相关 的内容． ６．１ 网络大数据平台引擎建设 构建网络大数据平台就是要将不同渠道、不同 来源、不同结构的数据进行有机的整合．与传统数据 平台不同的 是，网 络 大 数 据 海 量 的 规 模、多 样 的 类 型、快速的流动和动态的体系以及巨大的价值是大 数据平台构建需要重点考虑的几个因素．除此之外， 数据的分类存储、数据平台的开放性、数据的智能处 理以及数据平台与用户的交互都为网络大数据平台 的建设带来前所未有的挑战．网络大数据平台处理 的数据类型是多种多样的．根据数据类型的不同，网 络大数据平台可以分为不同的类型，比如本体数据 平台、企业日常事务数据平台、流数据平台、电子商务 数据平台等等．目前这些平台的搭建已经具有了一些 有代表性的工作．如 Ｇｏｏｇｌｅ公司的 Ｆｒｅｅｂａｓｅ①、微软 公 司 的 Ｐｒｏｂａｓｅ②［６８］、国内著名的中文信息 结 构 库———知网（Ｈｏｗｎｅｔ）③等．在商用数据平台方面， ＩＢＭ 公司 的Ｉｎｆｏｓｐｈｅｒｅ大 数 据 分 析 平 台④、天 睿 公 司的 Ｔｅｒａｄａｔａ统一数据环 境⑤以 及 由 国 内 天 猫、阿 里云、万网联合推出的国内首个电商云工作平台聚 石塔⑥是３个典型的数据平台． ６．２ 网络大数据下的高端数据分析 一个优秀的综合大数据处理平台不但可以为企 业的决策和个人的生活提供服务，甚至还可以为国 家政策的制定提供支持．首先，依托大数据平台，国 家可以分析各实体和产业之间的关联关系，从而了 解行业发展的趋势，找到影响产业发展的关键性因 素，统筹规划资金、人才、技术的良性流动与优化配 置．其次，大数据平台可以为企业提供巨大的商业价 值．企业分析人员可以分析多种多样的内容．譬如， 分析顾客偏好及顾客群体，对群体进行细分并量体 ６ 期 王元卓等：网络大数据：现状与展望 ３３１１ ① ② ③ ④ ⑤ ⑥ ｈｔｔｐ：／／ｗｗｗ．ｆｒｅｅｂａｓｅ．ｃｏｍ／ ｈｔｔｐ：／／ｒｅｓｅａｒｃｈ．ｍｉｃｒｏｓｏｆｔ．ｃｏｍ／ｅｎ－ｕｓ／ｐｒｏｊｅｃｔｓ／ｐｒｏｂａｓｅ／ ｈｔｔｐ：／／ｗｗｗ．ｋｅｅｎａｇｅ．ｃｏｍ／ ｈｔｔｐ：／／ｗｗｗ．ｉｂｍ．ｃｏｍ／ｓｏｆｔｗａｒｅ／ｄａｔａ／ｉｎｆｏｓｐｈｅｒｅ ｈｔｔｐ：／／ｗｗｗ．ｔｅｒａｄａｔａ．ｃｏｍ．ｃｎ／ ｈｔｔｐ：／／ｃｌｏｕｄ．ｔｍａｌｌ．ｃｏｍ／ｉｎｄｅｘ．ｈｔｍ