第5期 何明，等：基于SQL-on-Hadoop查询引擎的日志挖掘及其应用 ·727. 2)明细查询：如图18所示，对网上交易日志的 机研究与发展.2013,50(1)：146-149. 明细查询，实现千亿级数据秒级查询响应。主要用 MENG Xiaofeng,CI Xiang.Big data management: Concepts,techniques and challenges [J].Journal of 于实时明细查询，根据时间、系统、站点等多维条件 computer research and development,2013,50(1): 查询从TB级别的日志数据中快速准确地找到所需 146-149. 数据，查询时效均能达到秒级响应。极大地方便了 [5]JOSHI S B.Apache hadoop performance-tuning methodologies 运维管理人员的工作，在节约大量的时间的同时提 and best practices[C]//Proceedings of the 3rd ACM/SPEC 高了问题排查效率。 Interational Conference on Performance Engineering.New Yok,USA,2012:241-242. 在询条件账号时同间01？/0/0m■⊙-2011/09/10■⊙姑店 哈能名蒋动复国号飘候类型柜台类型所企察号请来时树转时护童业能名格新点国可 [6]LAMB W.The storyteller,the scribe,and a missing man: 货金余税酸货散野 ■10：23：3486 hidden influences from printed sources in the gaelic tales of duncan and neil macdonald J].Oral tradition,2012,27 详细信息 明细内容 (1):109-160. 一功能号： 柜台英型：融验券金账号： 客户名称：账户余额：232L.13情求时间：10：23：34耗时：86e: [7]Apache.org.Apache Chukwa EB/OL].[2017-06-07]. P:4时C: 站点：站点务P:国 http://chukwa.apache.org/ [8]GOODHOPE K.KOSHY J,KREPS J,et al.Building 图18明细查询 LinkedIn's real-time activity data pipeline [J].Data Fig.18 Query details engineering,2012,35(2):33-45. [9]APACHE ORG.Apache Flume EB/OL].[2017-06-07]. 6 结束语 https://flume.apache.org. [10]GHEMAWAAT S,GOBIOFF H,LEUNG S T.The Google 本文研究了SQL-on-Hadoop技术在网络日志分 file system[C]//Proc of the 19th ACM Symp on Operating 析中的应用。我们选取了其中最有代表性的3种 Systems Principles.New York,USA,2003:29-43. SQL查询引擎一Hive、Impala和Spark SQL,并使 [11]THUSOO A,SARMA J S,JAIN N,et al.Hive-a 用TPC-H的测试基准对它们的决策支持能力进行 petabyte scale data warehouse using Hadoop [C]/Proc 测试及评估。构建面向证券行业的网络日志分析 of 2010 IEEE 26th International Conference.Piscataway, 平台，实现万亿级日志存储和高效、灵活的查询系 NJ.2010:996-1005. 统，为海量日志集中分析与管理系统应用提供支 [12]APACHE ORG.Apache HBase EB/OL].[2017-06- 持。目前SQL-on-Hadoop系统还存在若干问题有待 07].https://Hbase.apache.org. [13]APACHE ORG.Hadoop Streaming [EB/OL].[2017-06- 解决，在有限的资源使用情况下和特定数据分布场 07].http://hadoop.apache.org/docs/r1.2.1/streaming. 景下提高查询处理效率等问题都有待进一步的 html. 研究。 [14]WEI J,ZHAO Y,JIANG K,et al.Analysis farm:A 参考文献： cloud-based scalable aggregation and query platform for network log analysis C]//International Conference on [1]OLINER A,GANAPATHI A,XU W.Advances and challenges Cloud and Service Computing.Hong Kong,China,2011: in log analysis [J].Communications of the ACM,2012,55 354-359. (2)：55-61 [15]RABKIN A,KATZ R H.Chukwa:a system for reliable [2]李国杰，程学旗.大数据研究：未来科技及经济社会发展 large-scale log collection[C]//International Conference 的重大战略领域一大数据的研究现状与科学思考 on Large Installation System Administration.New York, [J].中国科学院院刊，2012,27(6)：647-657. USA,2010:163-177. LI Guojie,CHENG Xueqi.Research status and scientific [16]LOGOTHETIS D,TREZZO C,WEBB K,et al.In-situ thinking of big data[J].Bulletin of Chinese academy of mapreduce for log processing [C]//Usenix Conference on sciences,2012,27(6):647-657. Hot Topics in Cloud Computing.Berkeley,USA,2012: [3]王元卓，靳小龙，程学旗.网络大数据：现状与展望[J]. 26-26. 计算机学报，2013,36(6)：1125-1138. [17]TREZZO C J.Continuous mapreduce:an architecture for WANG Yuanzhuo,JIN Xiaolong,CHENG Xueqi.Network large-scale in-situ data processing[J].Dissertations and big data:present and future [J].Chinese journal of theses-gradworks,2010,126(7):14. computer,2013,36(6):1125-1138. [18]Apache.org.HDFS Architecture Guide [EB/OL].[2017- [4]孟小峰，慈祥.大数据管理：概念技术与挑战[J刀.计算 06-07].http://hadoop.apache.org/docs/r2.7.2/hadoop-２）明细查询：如图 １８ 所示，对网上交易日志的 明细查询，实现千亿级数据秒级查询响应。 主要用 于实时明细查询，根据时间、系统、站点等多维条件 查询从 ＴＢ 级别的日志数据中快速准确地找到所需 数据，查询时效均能达到秒级响应。 极大地方便了 运维管理人员的工作，在节约大量的时间的同时提 高了问题排查效率。 图 １８ 明细查询 Ｆｉｇ．１８ Ｑｕｅｒｙ ｄｅｔａｉｌｓ ６ 结束语 本文研究了 ＳＱＬ⁃ｏｎ⁃Ｈａｄｏｏｐ 技术在网络日志分 析中的应用。 我们选取了其中最有代表性的 ３ 种 ＳＱＬ 查询引擎———Ｈｉｖｅ、Ｉｍｐａｌａ 和 Ｓｐａｒｋ ＳＱＬ，并使 用 ＴＰＣ⁃Ｈ 的测试基准对它们的决策支持能力进行 测试及评估。 构建面向证券行业的网络日志分析 平台，实现万亿级日志存储和高效、灵活的查询系 统，为海量日志集中分析与管理系统应用提供支 持。 目前 ＳＱＬ⁃ｏｎ⁃Ｈａｄｏｏｐ 系统还存在若干问题有待 解决，在有限的资源使用情况下和特定数据分布场 景下提高查询处理效率等问题都有待进一步的 研究。 参考文献： ［１］ＯＬＩＮＥＲ Ａ， ＧＡＮＡＰＡＴＨＩ Ａ， ＸＵ Ｗ． Ａｄｖａｎｃｅｓ ａｎｄ ｃｈａｌｌｅｎｇｅｓ ｉｎ ｌｏｇ ａｎａｌｙｓｉｓ ［Ｊ］． Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｏｆ ｔｈｅ ＡＣＭ， ２０１２， ５５ （２）： ５５－６１． ［２］李国杰，程学旗． 大数据研究：未来科技及经济社会发展 的重大战略领域———大数据的研究现状与科学思考 ［Ｊ］． 中国科学院院刊，２０１２， ２７（６）： ６４７－６５７． ＬＩ Ｇｕｏｊｉｅ， ＣＨＥＮＧ Ｘｕｅｑｉ． Ｒｅｓｅａｒｃｈ ｓｔａｔｕｓ ａｎｄ ｓｃｉｅｎｔｉｆｉｃ ｔｈｉｎｋｉｎｇ ｏｆ ｂｉｇ ｄａｔａ ［ Ｊ］． Ｂｕｌｌｅｔｉｎ ｏｆ Ｃｈｉｎｅｓｅ ａｃａｄｅｍｙ ｏｆ ｓｃｉｅｎｃｅｓ， ２０１２， ２７（６）： ６４７－６５７． ［３］王元卓，靳小龙，程学旗． 网络大数据：现状与展望［ Ｊ］． 计算机学报， ２０１３， ３６（６）： １１２５－１１３８． ＷＡＮＧ Ｙｕａｎｚｈｕｏ， ＪＩＮ Ｘｉａｏｌｏｎｇ， ＣＨＥＮＧ Ｘｕｅｑｉ． Ｎｅｔｗｏｒｋ ｂｉｇ ｄａｔａ： ｐｒｅｓｅｎｔ ａｎｄ ｆｕｔｕｒｅ ［ Ｊ ］． Ｃｈｉｎｅｓｅ ｊｏｕｒｎａｌ ｏｆ ｃｏｍｐｕｔｅｒ， ２０１３， ３６（６）： １１２５－１１３８． ［４］孟小峰，慈祥． 大数据管理：概念、技术与挑战［ Ｊ］． 计算 机研究与发展， ２０１３， ５０（１）： １４６－１４９． ＭＥＮＧ Ｘｉａｏｆｅｎｇ， ＣＩ Ｘｉａｎｇ． Ｂｉｇ ｄａｔａ ｍａｎａｇｅｍｅｎｔ： Ｃｏｎｃｅｐｔｓ， ｔｅｃｈｎｉｑｕｅｓ ａｎｄ ｃｈａｌｌｅｎｇｅｓ ［ Ｊ ］． Ｊｏｕｒｎａｌ ｏｆ ｃｏｍｐｕｔｅｒ ｒｅｓｅａｒｃｈ ａｎｄ ｄｅｖｅｌｏｐｍｅｎｔ， ２０１３， ５０ （ １ ）： １４６－１４９． ［５］ＪＯＳＨＩ Ｓ Ｂ． Ａｐａｃｈｅ ｈａｄｏｏｐ ｐｅｒｆｏｒｍａｎｃｅ⁃ｔｕｎｉｎｇ ｍｅｔｈｏｄｏｌｏｇｉｅｓ ａｎｄ ｂｅｓｔ ｐｒａｃｔｉｃｅｓ ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ３ｒｄ ＡＣＭ／ ＳＰＥＣ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐｅｒｆｏｒｍａｎｃｅ Ｅｎｇｉｎｅｅｒｉｎｇ． Ｎｅｗ Ｙｏｒｋ， ＵＳＡ， ２０１２： ２４１－２４２． ［６］ＬＡＭＢ Ｗ． Ｔｈｅ ｓｔｏｒｙｔｅｌｌｅｒ， ｔｈｅ ｓｃｒｉｂｅ， ａｎｄ ａ ｍｉｓｓｉｎｇ ｍａｎ： ｈｉｄｄｅｎ ｉｎｆｌｕｅｎｃｅｓ ｆｒｏｍ ｐｒｉｎｔｅｄ ｓｏｕｒｃｅｓ ｉｎ ｔｈｅ ｇａｅｌｉｃ ｔａｌｅｓ ｏｆ ｄｕｎｃａｎ ａｎｄ ｎｅｉｌ ｍａｃｄｏｎａｌｄ ［ Ｊ］． Ｏｒａｌ ｔｒａｄｉｔｉｏｎ， ２０１２， ２７ （１）： １０９－１６０． ［７］Ａｐａｃｈｅ．ｏｒｇ． Ａｐａｃｈｅ Ｃｈｕｋｗａ ［ＥＢ／ ＯＬ］． ［ ２０１７－ ０６－ ０７］． ｈｔｔｐ： ／ ／ ｃｈｕｋｗａ．ａｐａｃｈｅ．ｏｒｇ ／ ［８］ ＧＯＯＤＨＯＰＥ Ｋ， ＫＯＳＨＹ Ｊ， ＫＲＥＰＳ Ｊ， ｅｔ ａｌ． Ｂｕｉｌｄｉｎｇ ＬｉｎｋｅｄＩｎ’ ｓ ｒｅａｌ⁃ｔｉｍｅ ａｃｔｉｖｉｔｙ ｄａｔａ ｐｉｐｅｌｉｎｅ ［ Ｊ ］． Ｄａｔａ ｅｎｇｉｎｅｅｒｉｎｇ， ２０１２， ３５（２）： ３３－４５． ［ ９］ＡＰＡＣＨＥ ＯＲＧ． Ａｐａｃｈｅ Ｆｌｕｍｅ ［ＥＢ／ ＯＬ］． ［２０１７－０６－０７］． ｈｔｔｐｓ： ／ ／ ｆｌｕｍｅ．ａｐａｃｈｅ．ｏｒｇ． ［１０］ＧＨＥＭＡＷＡＡＴ Ｓ， ＧＯＢＩＯＦＦ Ｈ， ＬＥＵＮＧ Ｓ Ｔ． Ｔｈｅ Ｇｏｏｇｌｅ ｆｉｌｅ ｓｙｓｔｅｍ［Ｃ］ ／ ／ Ｐｒｏｃ ｏｆ ｔｈｅ １９ｔｈ ＡＣＭ Ｓｙｍｐ ｏｎ Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍｓ Ｐｒｉｎｃｉｐｌｅｓ． Ｎｅｗ Ｙｏｒｋ， ＵＳＡ， ２００３： ２９－４３． ［１１ ］ ＴＨＵＳＯＯ Ａ， ＳＡＲＭＡ Ｊ Ｓ， ＪＡＩＮ Ｎ， ｅｔ ａｌ． Ｈｉｖｅ—ａ ｐｅｔａｂｙｔｅ ｓｃａｌｅ ｄａｔａ ｗａｒｅｈｏｕｓｅ ｕｓｉｎｇ Ｈａｄｏｏｐ ［Ｃ］ ／ ／ Ｐｒｏｃ ｏｆ ２０１０ ＩＥＥＥ ２６ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ． Ｐｉｓｃａｔａｗａｙ， ＮＪ， ２０１０： ９９６－１００５． ［１２］ＡＰＡＣＨＥ ＯＲＧ． Ａｐａｃｈｅ ＨＢａｓｅ ［ ＥＢ／ ＯＬ］． ［ ２０１７ － ０６ － ０７］． ｈｔｔｐｓ： ／ ／ Ｈｂａｓｅ．ａｐａｃｈｅ．ｏｒｇ． ［１３］ＡＰＡＣＨＥ ＯＲＧ． Ｈａｄｏｏｐ Ｓｔｒｅａｍｉｎｇ ［ＥＢ／ ＯＬ］． ［２０１７－０６－ ０７］． ｈｔｔｐ： ／ ／ ｈａｄｏｏｐ． ａｐａｃｈｅ． ｏｒｇ ／ ｄｏｃｓ／ ｒ１． ２． １ ／ ｓｔｒｅａｍｉｎｇ． ｈｔｍｌ． ［１４］ ＷＥＩ Ｊ， ＺＨＡＯ Ｙ， ＪＩＡＮＧ Ｋ， ｅｔ ａｌ． Ａｎａｌｙｓｉｓ ｆａｒｍ： Ａ ｃｌｏｕｄ⁃ｂａｓｅｄ ｓｃａｌａｂｌｅ ａｇｇｒｅｇａｔｉｏｎ ａｎｄ ｑｕｅｒｙ ｐｌａｔｆｏｒｍ ｆｏｒ ｎｅｔｗｏｒｋ ｌｏｇ ａｎａｌｙｓｉｓ ［ Ｃ ］ ／ ／ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｌｏｕｄ ａｎｄ Ｓｅｒｖｉｃｅ Ｃｏｍｐｕｔｉｎｇ． Ｈｏｎｇ Ｋｏｎｇ， Ｃｈｉｎａ， ２０１１： ３５４－３５９． ［１５］ ＲＡＢＫＩＮ Ａ， ＫＡＴＺ Ｒ Ｈ． Ｃｈｕｋｗａ： ａ ｓｙｓｔｅｍ ｆｏｒ ｒｅｌｉａｂｌｅ ｌａｒｇｅ－ｓｃａｌｅ ｌｏｇ ｃｏｌｌｅｃｔｉｏｎ［Ｃ］ ／ ／ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｌａｒｇｅ Ｉｎｓｔａｌｌａｔｉｏｎ Ｓｙｓｔｅｍ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ． Ｎｅｗ Ｙｏｒｋ ， ＵＳＡ， ２０１０： １６３－１７７． ［１６］ ＬＯＧＯＴＨＥＴＩＳ Ｄ， ＴＲＥＺＺＯ Ｃ， ＷＥＢＢ Ｋ， ｅｔ ａｌ． Ｉｎ⁃ｓｉｔｕ ｍａｐｒｅｄｕｃｅ ｆｏｒ ｌｏｇ ｐｒｏｃｅｓｓｉｎｇ ［Ｃ］ ／ ／ Ｕｓｅｎｉｘ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｈｏｔ Ｔｏｐｉｃｓ ｉｎ Ｃｌｏｕｄ Ｃｏｍｐｕｔｉｎｇ． Ｂｅｒｋｅｌｅｙ， ＵＳＡ， ２０１２： ２６－２６． ［１７］ＴＲＥＺＺＯ Ｃ Ｊ． Ｃｏｎｔｉｎｕｏｕｓ ｍａｐｒｅｄｕｃｅ： ａｎ ａｒｃｈｉｔｅｃｔｕｒｅ ｆｏｒ ｌａｒｇｅ⁃ｓｃａｌｅ ｉｎ⁃ｓｉｔｕ ｄａｔａ ｐｒｏｃｅｓｓｉｎｇ ［ Ｊ］． Ｄｉｓｓｅｒｔａｔｉｏｎｓ ａｎｄ ｔｈｅｓｅｓ⁃ｇｒａｄｗｏｒｋｓ， ２０１０， １２６（７）： １４． ［１８］Ａｐａｃｈｅ．ｏｒｇ． ＨＤＦＳ Ａｒｃｈｉｔｅｃｔｕｒｅ Ｇｕｉｄｅ ［ＥＢ／ ＯＬ］． ［２０１７－ ０６－ ０７］． ｈｔｔｐ： ／ ／ ｈａｄｏｏｐ． ａｐａｃｈｅ． ｏｒｇ ／ ｄｏｃｓ／ ｒ２．７．２ ／ ｈａｄｏｏｐ⁃ 第 ５ 期 何明，等：基于 ＳＱＬ⁃ｏｎ⁃Ｈａｄｏｏｐ 查询引擎的日志挖掘及其应用 ·７２７·