第1卷第6期 VoL 1 No 6 012年11月 网络新媒体技术 Nov.2012 面向大数据的海云数据系统关键技术研究 黄哲学曹付元李俊杰陈小军 (中国科学院深圳先进技术研究院深圳518055深圳市高性能数据挖掘重点实验室深圳518055) 摘要:由于数据产生成本的急速下降,人类社会产生的数据不仅以指数级别增长,而且数据的结构变得日趋复杂,使得传统的 数据分析技术遇到了极大的挑战。如何对大量复杂数据进行分析和挖掘,从中提取有价值的知识用于决策,已经成为产业界 和学术界的广泛关注问题,在一些国家已己上升到国家战略层面。本文介绍了大数据的基本概念、特征和面临的科学问题,总 结了中国科学院战略性先导科技专项“面向感知中国的新一代信息技术研究”中“海云数据系统关键技术研究与系统研制”课 题的一些先期成果,为开发大数据管理、分析和挖掘系统提供一些参考依据。 关键词:大数据系统,大数据分析,数据挖掘,可视分析 Developing Sea Cloud Data System Key Technologies for Large Data Analysis and mining HUANG Zhexue, CAO Fuyuan, LI Junjie, CHEN Xiaojun (Shenzhen Institutes of Advanced Technology, CAS, Shenzhen,518055,China Shenzhen Key Laboratory of High Performance Data Mining, Shenzhen, 518055, China) Abstract: As the cost of data generation is going down, the data generated in the society potentially. Furthermore, the complexity of the data structure is increasing as well. This phenomenon presents an extremely big challenge to the traditional data anal ysis techniques. How to analyze and mine big data and extract valuable knowledge for decision making has become a popular big con cern in academics and industry. Some countries have raised this issue to the national strategic level. In this paper, we some basic concepts about big data, its characteristics and scientifie research problems. We then summarize some initial project of"research and development of key technologies for sea and cloud data systems" in the program of"sensing China oriented next generation information technologies" being carried out in Chinese Academy of Sciences. We propose further innovations on the re- lated technologies to spearhead the research on big data management, analysis and mining in the near future. Keywords: Big data system, big data analysis, data mining, visual analytics 引言 随着物联网、移动互联网和云计算技术及应用的蓬勃发展,人类产生的数据量不仅以指数级增长,而且数 据的结构变得日趋复杂,超越了传统数据库的管理能力。大数据问题( Big data problen)近两年成为信息技术 学术界和产业界热论的焦点。普遍舆论认为,大数据问题已经成为信息科学技术领域的重要前沿课题之 本文于2012-09-17收到 *中国科学院战略性先导科技专项“面向感知中国的新一代信息技术研究”(XDA06000000课题“海云数据系统关键技术研究与系统研制” o1994-2013CHinaAcademicJournalElectronicpUblishingHouse.Allrightsreservedhttp://www.cnki.net第 1 卷第 6 期 2012 年 11 月 网 络 新 媒 体 技 术 Vol. 1 No. 6 Nov. 2012 面向大数据的海云数据系统关键技术研究* 黄哲学 曹付元 李俊杰 陈小军 ( 中国科学院深圳先进技术研究院 深圳 518055 深圳市高性能数据挖掘重点实验室 深圳 518055) 摘要: 由于数据产生成本的急速下降，人类社会产生的数据不仅以指数级别增长，而且数据的结构变得日趋复杂，使得传统的 数据分析技术遇到了极大的挑战。如何对大量复杂数据进行分析和挖掘，从中提取有价值的知识用于决策，已经成为产业界 和学术界的广泛关注问题，在一些国家已上升到国家战略层面。本文介绍了大数据的基本概念、特征和面临的科学问题，总 结了中国科学院战略性先导科技专项“面向感知中国的新一代信息技术研究”中“海云数据系统关键技术研究与系统研制”课 题的一些先期成果，为开发大数据管理、分析和挖掘系统提供一些参考依据。 关键词: 大数据系统，大数据分析，数据挖掘，可视分析 Developing Sea Cloud Data System Key Technologies for Large Data Analysis and Mining HUANG Zhexue，CAO Fuyuan，LI Junjie，CHEN Xiaojun ( Shenzhen Institutes of Advanced Technology，CAS，Shenzhen，518055，China， Shenzhen Key Laboratory of High Performance Data Mining，Shenzhen，518055，China) Abstract: As the cost of data generation is going down，the data generated in the society increases exponentially. Furthermore，the complexity of the data structure is increasing as well. This phenomenon presents an extremely big challenge to the traditional data anal￾ysis techniques. How to analyze and mine big data and extract valuable knowledge for decision making has become a popular big con￾cern in academics and industry. Some countries have raised this issue to the national strategic level. In this paper，we first introduce some basic concepts about big data，its characteristics and scientific research problems. We then summarize some initial results of the project of“research and development of key technologies for sea and cloud data systems”in the program of“sensing China oriented next generation information technologies”being carried out in Chinese Academy of Sciences. We propose further innovations on the re￾lated technologies to spearhead the research on big data management，analysis and mining in the near future. Keywords: Big data system，big data analysis，data mining，visual analytics 1 引言 随着物联网、移动互联网和云计算技术及应用的蓬勃发展，人类产生的数据量不仅以指数级增长，而且数 据的结构变得日趋复杂，超越了传统数据库的管理能力。大数据问题( Big Data Problem) 近两年成为信息技术 学术界和产业界热论的焦点。普遍舆论认为，大数据问题已经成为信息科学技术领域的重要前沿课题之一。 本文于 2012 － 09 － 17 收到。 * 中国科学院战略性先导科技专项“面向感知中国的新一代信息技术研究”( XDA06000000) 课题“海云数据系统关键技术研究与系统研制” ( XDA06010500) 资助