·724· 智能系统学报 第12卷 SUM(field4)as alias2, S ” ORDER AVG(field5)as alias3, AGG3 …, [S2] COUNT(*)as alias4 CROSS TMP2 PRODUCT AGGD FROM TableExpression TMP2 OUTERJOIN WHERE TMPI (AGG2 [field6 <date'yyyy-mm-dd'-interval 'DELTA ] day(3)] Customer TMPI Orders GROUP BY field6.field7 6 Implementation of Q22 ORDER BY field6,field7] Fig.6 Q22的执行过程 根据该语句的执行计划，可以判断查询时对整 个表进行了遍历。对于Spark SQL而言，其在大多 实验分析对比了不同的查询方式在运行Q22时 数查询上的表现优于Hive和Impala。由于Spark的 集群资源使用情况（如图7~11所示），包括CPU、内 接口丰富和$QL优势，在执行查询时的速度较快。 存、网络、磁盘/0。注意到，在查询Q22执行过程 4.3Q22资源消耗情况 中，Impala对集群资源的占用是最少的，其次是 Q22的查询语句如下： Hive,Spark SQL占用资源最多。由于Spark SQL是 基于内存计算的框架，所以在内存占用方面和磁盘 SELECT cntrycode,COUNT (*as numcust,sum (c_ 读取上更为明显。 acctbal)as totacctbal 70 60 Hive FROM Impala Spark SQL SELECT substring (cphone from 1 for 2)as 30 cntrycode, ★ 10 c_acctbal FROM customer 0 102030405060708090 WHERE substring(c_phone from 1 for 2)in 时间/s ('[I1]','[I2]','[I3]','[4]','[5]','[16]', 图7集群平均CPU使用率 [I7]') Fig.7 Average cluster CPU usage and c_acctbal > 由于Hive和Spark SQL均在JVM之上运行，对 SELECT AVG (c_acetbal) CPU和内存的使用依赖于JVM。如图7所示， FROM customer WHERE c_acctbal 0.00 Impala的CPU占用时间要明显少于Hive和Spark and substring (c_phone from 1 for 2)in SQL,这是由于Impala在执行查询过程中，在每个计 ('[1]','[12]','[13]','[14]','[15]',[16]', 算节点上运行只占用一个CPU线程。而Hive和 '[I7]')) Spark SQL在CPU使用上的优化完全依赖于JVM。 and not exists (SELECT FROM orders where 如图8所示，Impala和Hive内存使用率明显小于 o_custkey=c_custkey) Spark SQL,同时使用线程来执行耗费资源较多的 ）as custsale Executor Backend进程。 Group BY cntrycode ORDER BY cntrycode; 8230 如图6所示，Q22中作业由3个子查询组成。子 200 150 Hive Impala-Spark SQL 查询S1对customer表进行扫描并将结果保存到临 时表Temp1中；子查询S2对Templ进行聚集操作 AGG1后将结果保存到临时表Temp2中；子查询S3 50 在与表Orders执行聚集操作AGG2后依次与Templ 102030405060708090 时间/s 和Temp2进行关联操作求笛卡尔乘积AGG3然后 排序。 图8集群内存平均使用量 Fig.8 Average cluster memory usageＳＵＭ（ｆｉｅｌｄ４） ａｓ ａｌｉａｓ２， ……， ＡＶＧ（ｆｉｅｌｄ５） ａｓ ａｌｉａｓ３， ……， ＣＯＵＮＴ（∗） ａｓ ａｌｉａｓ４ ｝ ＦＲＯＭ ＴａｂｌｅＥｘｐｒｅｓｓｉｏｎ ＷＨＥＲＥ ［ｆｉｅｌｄ６ ＜ ＝ ｄａｔｅ′ｙｙｙｙ⁃ｍｍ⁃ｄｄ′⁃ｉｎｔｅｒｖａｌ ′［ＤＥＬＴＡ］′ ｄａｙ （３）］ ＧＲＯＵＰ ＢＹ ［ｆｉｅｌｄ６， ｆｉｅｌｄ７］ ＯＲＤＥＲ ＢＹ ［ｆｉｅｌｄ６， ｆｉｅｌｄ７］ 根据该语句的执行计划，可以判断查询时对整 个表进行了遍历。 对于 Ｓｐａｒｋ ＳＱＬ 而言，其在大多 数查询上的表现优于 Ｈｉｖｅ 和 Ｉｍｐａｌａ。 由于 Ｓｐａｒｋ 的 接口丰富和 ＳＱＬ 优势，在执行查询时的速度较快。 ４．３ Ｑ２２ 资源消耗情况 Ｑ２２ 的查询语句如下： ＳＥＬＥＣＴ ｃｎｔｒｙｃｏｄｅ， ＣＯＵＮＴ （ ∗） ａｓ ｎｕｍｃｕｓｔ， ｓｕｍ （ ｃ ＿ ａｃｃｔｂａｌ） ａｓ ｔｏｔａｃｃｔｂａｌ ＦＲＯＭ （ ＳＥＬＥＣＴ ｓｕｂｓｔｒｉｎｇ （ ｃ ＿ ｐｈｏｎｅ ｆｒｏｍ １ ｆｏｒ ２ ） ａｓ ｃｎｔｒｙｃｏｄｅ， ｃ＿ａｃｃｔｂａｌ ＦＲＯＭ ｃｕｓｔｏｍｅｒ ＷＨＥＲＥ ｓｕｂｓｔｒｉｎｇ（ｃ＿ｐｈｏｎｅ ｆｒｏｍ １ ｆｏｒ ２） ｉｎ （′［Ｉ１］′，′［Ｉ２］′，′［Ｉ３］′，′［Ｉ４］′，′［ Ｉ５］′，′［１６］′， ′［Ｉ７］′） ａｎｄ ｃ＿ａｃｃｔｂａｌ ＞ （ ＳＥＬＥＣＴ ＡＶＧ （ｃ＿ａｃｃｔｂａｌ） ＦＲＯＭ ｃｕｓｔｏｍｅｒ ＷＨＥＲＥ ｃ＿ａｃｃｔｂａｌ ＞ ０．００ ａｎｄ ｓｕｂｓｔｒｉｎｇ （ｃ＿ｐｈｏｎｅ ｆｒｏｍ １ ｆｏｒ ２） ｉｎ （′［１］′，′［１２］′，′［１３］′，′［１４］′，′［１５］′，′［１６］′， ′［Ｉ７］′）） ａｎｄ ｎｏｔ ｅｘｉｓｔｓ （ ＳＥＬＥＣＴ ∗ ＦＲＯＭ ｏｒｄｅｒｓ ｗｈｅｒｅ ｏ＿ｃｕｓｔｋｅｙ ＝ ｃ＿ｃｕｓｔｋｅｙ） ） ａｓ ｃｕｓｔｓａｌｅ Ｇｒｏｕｐ ＢＹ ｃｎｔｒｙｃｏｄｅ ＯＲＤＥＲ ＢＹ ｃｎｔｒｙｃｏｄｅ； 如图 ６ 所示，Ｑ２２ 中作业由 ３ 个子查询组成。 子 查询 Ｓ１ 对 ｃｕｓｔｏｍｅｒ 表进行扫描并将结果保存到临 时表 Ｔｅｍｐ１ 中；子查询 Ｓ２ 对 Ｔｅｍｐ１ 进行聚集操作 ＡＧＧ１ 后将结果保存到临时表 Ｔｅｍｐ２ 中；子查询 Ｓ３ 在与表 Ｏｒｄｅｒｓ 执行聚集操作 ＡＧＧ２ 后依次与 Ｔｅｍｐ１ 和 Ｔｅｍｐ２ 进行关联操作求笛卡尔乘积 ＡＧＧ３ 然后 排序。 图 ６ Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆ Ｑ２２ Ｆｉｇ．６ Ｑ２２ 的执行过程 实验分析对比了不同的查询方式在运行 Ｑ２２ 时 集群资源使用情况（如图 ７～１１ 所示），包括 ＣＰＵ、内 存、网络、磁盘 Ｉ／ Ｏ。 注意到，在查询 Ｑ２２ 执行过程 中，Ｉｍｐａｌａ 对集群资源的占用是最少的， 其次是 Ｈｉｖｅ，Ｓｐａｒｋ ＳＱＬ 占用资源最多。 由于 Ｓｐａｒｋ ＳＱＬ 是 基于内存计算的框架，所以在内存占用方面和磁盘 读取上更为明显。 图 ７ 集群平均 ＣＰＵ 使用率 Ｆｉｇ．７ Ａｖｅｒａｇｅ ｃｌｕｓｔｅｒ ＣＰＵ ｕｓａｇｅ 由于 Ｈｉｖｅ 和 Ｓｐａｒｋ ＳＱＬ 均在 ＪＶＭ 之上运行，对 ＣＰＵ 和 内 存 的 使 用 依 赖 于 ＪＶＭ。 如 图 ７ 所 示， Ｉｍｐａｌａ 的 ＣＰＵ 占用时间要明显少于 Ｈｉｖｅ 和 Ｓｐａｒｋ ＳＱＬ，这是由于 Ｉｍｐａｌａ 在执行查询过程中，在每个计 算节点上运行只占用一个 ＣＰＵ 线程。 而 Ｈｉｖｅ 和 Ｓｐａｒｋ ＳＱＬ 在 ＣＰＵ 使用上的优化完全依赖于 ＪＶＭ。 如图 ８ 所示，Ｉｍｐａｌａ 和 Ｈｉｖｅ 内存使用率明显小于 Ｓｐａｒｋ ＳＱＬ，同时使用线程来执行耗费资源较多的 Ｅｘｅｃｕｔｏｒ Ｂａｃｋｅｎｄ 进程。 图 ８ 集群内存平均使用量 Ｆｉｇ．８ Ａｖｅｒａｇｅ ｃｌｕｓｔｅｒ ｍｅｍｏｒｙ ｕｓａｇｅ ·７２４· 智 能 系 统 学 报 第 １２ 卷