■大数据的研究现状与科学思考 用性、分区容错性三者不可兼得,因而并行|定、资源投入、人才培养等方面给予强有力 关系数据库必然无法获得较强的扩展性和的支持:另一方面,建立良性的大数据生态 良好的系统可用性。系统的高扩展性是大环境是有效应对大数据挑战的唯一出路,需 数据分析最重要的需求,必须寻找高扩展性要科技界、工业界以及政府部门在国家政策 的数据分析技术。以 MapReduce和 Hadoop的引导下共同努力,通过消除壁垒、成立联 为代表的非关系数据分析技术,以其适合非盟、建立专业组织等途径,建立和谐的大数 结构数据处理、大规模并行处理、简单易用据生态系统。 等突出优势,在互联网信息搜索和其他大数 就大数据研究计划与措施,我们有如下 据分析领域取得了重大进展,已成为大数据的建议 分析的主流技术。 MapReduce和 Hadoop在6.1优先支持网络大数据研究 应用性能等方面还存在不少问题,还需要研 大数据涉及物理、生物、脑科学、医疗、 究开发更有效、更实用的大数据分析和管理环保、经济、文化、安全等众多领域。网络空 技术 间中的数据是大数据的重要组成部分,这类 (6)适合不同行业的大数据挖掘分析工|大数据与人的活动密切相关,因此也与社会 具和开发环境。不同行业需要不同的大数科学密切相关。而网络数据科学和工程是 据分析工具和开发环境,应鼓励计算机算法信息科学技术与社会科学等多个不同领域 研究人员与各领域的科研人员密切合作,在高度交叉的新型学科方向,对国家的稳定与 分析工具和开发环境上创新。当前跨领域发展有独特的作用,因此应特别重视与支持 跨行业的数据共享仍存在大量壁垒,海量数网络大数据的研究。大数据涉及应用领域 据的收集,特别是关联领域的同时收集还存很广,当前大数据的研究应与国计民生密切 在很大挑战。只有跨领域的数据分析才更相关的科学决策、环境与社会管理、金融工 有可能形成真正的知识和智能,产生更大的程、应急管理(如疾病防治、灾害预测与控 价 制、食品安全与群体事件)以及知识经济为 (7)大幅度降低数据处理、存储和通信主要应用领域。 能耗的新技术。大数据的获取、通信、存储、62大数据科学的基础研究 管理与分析处理都需要消耗大量的能源 无论是国外政府的大数据研究计划,还 在能源问题日益突出的今天,研究创新的数是国内外大公司的大数据研发,当前最重视 据处理和传送的节能方法与技术是重要的的都是大数据分析算法和大数据系统的效 研究方向。 率。因此,当工业界把主要精力放在应对大 数据的工程技术挑战的时候,科技界应开始 6建议和举措 着手关注大数据的基础理论研究。大数据 尽管大数据意味着大机遇,但同时也意科学作为一个新兴的交叉学科方向,其共性 味着工程技术、管理政策、人才培养等方面理论基础将来自多个不同的学科领域,包括 的大挑战。只有解决了这些基础性的挑战计算机科学、统计学、人工智能、社会科学 问题,才能充分利用这个大机遇,得到大数等。因此,大数据的基础研究离不开对相关 据的大价值。因此,我国亟需在国家层面对学科的领域知识与研究方法论的借鉴。在 大数据给予高度重视特别需要从政策制大数据的基础研究方面,建议研究大数据的 中阉縛找院刊655 C1994-2013ChinaAcademicJournalElectronicPublishingHouse.Allrightsreservedhttp://www.cnki.net院刊 用性、分区容错性三者不可兼得，因而并行 关系数据库必然无法获得较强的扩展性和 良好的系统可用性。系统的高扩展性是大 数据分析最重要的需求，必须寻找高扩展性 的数据分析技术。以MapReduce 和Hadoop 为代表的非关系数据分析技术，以其适合非 结构数据处理、大规模并行处理、简单易用 等突出优势，在互联网信息搜索和其他大数 据分析领域取得了重大进展，已成为大数据 分析的主流技术。MapReduce 和Hadoop在 应用性能等方面还存在不少问题，还需要研 究开发更有效、更实用的大数据分析和管理 技术； （6）适合不同行业的大数据挖掘分析工 具和开发环境。不同行业需要不同的大数 据分析工具和开发环境，应鼓励计算机算法 研究人员与各领域的科研人员密切合作，在 分析工具和开发环境上创新。当前跨领域 跨行业的数据共享仍存在大量壁垒，海量数 据的收集，特别是关联领域的同时收集还存 在很大挑战。只有跨领域的数据分析才更 有可能形成真正的知识和智能，产生更大的 价值； （7）大幅度降低数据处理、存储和通信 能耗的新技术。大数据的获取、通信、存储、 管理与分析处理都需要消耗大量的能源。 在能源问题日益突出的今天，研究创新的数 据处理和传送的节能方法与技术是重要的 研究方向。 6 建议和举措 尽管大数据意味着大机遇，但同时也意 味着工程技术、管理政策、人才培养等方面 的大挑战。只有解决了这些基础性的挑战 问题，才能充分利用这个大机遇，得到大数 据的大价值。因此，我国亟需在国家层面对 大数据给予高度重视，特别需要从政策制 定、资源投入、人才培养等方面给予强有力 的支持；另一方面，建立良性的大数据生态 环境是有效应对大数据挑战的唯一出路，需 要科技界、工业界以及政府部门在国家政策 的引导下共同努力，通过消除壁垒、成立联 盟、建立专业组织等途径，建立和谐的大数 据生态系统。 就大数据研究计划与措施，我们有如下 的建议： 6.1 优先支持网络大数据研究 大数据涉及物理、生物、脑科学 、医疗、 环保、经济、文化、安全等众多领域。网络空 间中的数据是大数据的重要组成部分，这类 大数据与人的活动密切相关，因此也与社会 科学密切相关。而网络数据科学和工程是 信息科学技术与社会科学等多个不同领域 高度交叉的新型学科方向，对国家的稳定与 发展有独特的作用，因此应特别重视与支持 网络大数据的研究。大数据涉及应用领域 很广，当前大数据的研究应与国计民生密切 相关的科学决策、环境与社会管理、金融工 程、应急管理（如疾病防治、灾害预测与控 制、食品安全与群体事件）以及知识经济为 主要应用领域。 6.2 大数据科学的基础研究 无论是国外政府的大数据研究计划，还 是国内外大公司的大数据研发，当前最重视 的都是大数据分析算法和大数据系统的效 率。因此，当工业界把主要精力放在应对大 数据的工程技术挑战的时候，科技界应开始 着手关注大数据的基础理论研究。大数据 科学作为一个新兴的交叉学科方向，其共性 理论基础将来自多个不同的学科领域，包括 计算机科学、统计学、人工智能、社会科学 等。因此，大数据的基础研究离不开对相关 学科的领域知识与研究方法论的借鉴。在 大数据的基础研究方面，建议研究大数据的 655 大数据的研究现状与科学思考