战略与决策研 Strategy Policy Decisior 大数据研究:未来科技 及经济社会发展的重大战略领域 大数据的研究现状与科学思考 文/李国杰程学旗 中国科学院计算技术研究所北京100190 【摘要】近来,大数据引起了产业界、科技界和政府部门的高度关注。本文简要 阐述了大数据的研究现状与重大意义,探讨了大数据的科学问题,介绍了大数据 应用与研究所面临的问题与挑战。最后,对大数据发展战略提出了几点建议。 【关键词】大数据,数据科学,数据工程,第四范式 DOI10.3969/isn.1000-30452012.06.001 近年来,大数据引起了产业界、科技界|学等)的研究产生了越来越多的数据。例 和政府部门的高度关注。2012年3月22如,用电子显微镜重建大脑中的突触网络,1 ,奥巴马宣布美国政府投资2亿美元启动立方毫米大脑的图像数据就超过PB。但 “大数据研究和发展计划 Big Data Re-近年来大数据的飙升主要还是来自日常生 search and Development Initiative)”。这是活,特别是互联网公司的服务。据著名咨询 继1993年美国宣布“信息高速公路”计划后公司DDC的统计,2011年全球被创建和复制 的又一次重大科技发展部署。美国政府认的数据总量为1.8ZB(10的21次方),其中 为,大数据是“未来的新石油”,并将对大数75%来自于个人(主要是图片、视频和音 据的研究上升为国家意志,这对未来的科技乐),远远超过人类有史以来所有印刷材料 与经济发展必将带来深远影响。 的数据总量(200PB)叫。 Google公司通过 大规模集群和 Mapreduce软件,每月处理 1何谓大数据 的数据量超过400PB:百度每天大约要处理 人、机、物三元世界的高度融合引发了几十PB数据: Facebow注册用户超过10 数据规模的爆炸式增长和数据模式的高度亿,每月上传的照片超过10亿张,每天生成 复杂化,世界已进入网络化的大数据Bg30B以上的日志数据:淘宝网会员超过 Data时代。以数据为中心的传统学科37亿,在线商品超过88亿,每天交易数千 (如基因组学、蛋白组学,天体物理学和脑科万笔,产生约20TB数据。传感网和物联网 *修改稿收到日期:2012年11月12日 的蓬勃发展是大数据的又一推动力,各个城 中子汽院刊 C1994-2013ChinaAcademicJournalElectronicPublishingHouse.Allrightsreservedhttp://www.cnki.net院刊 * 修改稿收到日期：2012年11月12日 647 【摘 要】 近来，大数据引起了产业界、科技界和政府部门的高度关注。本文简要 阐述了大数据的研究现状与重大意义，探讨了大数据的科学问题，介绍了大数据 应用与研究所面临的问题与挑战。最后，对大数据发展战略提出了几点建议。 【关键词】 大数据，数据科学，数据工程，第四范式 DOI 10.3969/j.issn.1000-3045.2012.06.001 文 / 李国杰 程学旗 中国科学院计算技术研究所 北京 100190 战略与决策研究 大数据研究：未来科技 及经济社会发展的重大战略领域 ——大数据的研究现状与科学思考* Strategy & Policy Decision Research 近年来，大数据引起了产业界、科技界 和政府部门的高度关注。2012 年 3 月 22 日，奥巴马宣布美国政府投资2亿美元启动 “ 大 数 据 研 究 和 发 展 计 划（Big Data Re￾search and Development Initiative）”。这是 继1993年美国宣布“信息高速公路”计划后 的又一次重大科技发展部署。美国政府认 为，大数据是“未来的新石油”，并将对大数 据的研究上升为国家意志，这对未来的科技 与经济发展必将带来深远影响。 1 何谓大数据 人、机、物三元世界的高度融合引发了 数据规模的爆炸式增长和数据模式的高度 复杂化，世界已进入网络化的大数据（Big Data）时代[1,16] 。以数据为中心的传统学科 （如基因组学、蛋白组学，天体物理学和脑科 学等）的研究产生了越来越多的数据。例 如，用电子显微镜重建大脑中的突触网络，1 立方毫米大脑的图像数据就超过 1PB。但 近年来大数据的飙升主要还是来自日常生 活，特别是互联网公司的服务。据著名咨询 公司IDC的统计，2011年全球被创建和复制 的数据总量为 1.8ZB（10 的 21 次方），其中 75%来自于个人（主要是图片、视频和音 乐），远远超过人类有史以来所有印刷材料 的数据总量（200PB）[11] 。Google 公司通过 大规模集群和 MapReduce 软件，每月处理 的数据量超过400PB；百度每天大约要处理 几十 PB 数据；Facebook 注册用户超过 10 亿，每月上传的照片超过10亿张，每天生成 300TB 以上的日志数据；淘宝网会员超过 3.7 亿，在线商品超过 8.8 亿，每天交易数千 万笔，产生约20TB数据。传感网和物联网 的蓬勃发展是大数据的又一推动力，各个城