基于成本的Spark SQL优化器框架
我们把基于成本的优化器框架贡献给社区版本Spark2.2。在我们的框架中,我们计算每个数据库操作符的基数和输出大小。通过可靠的统计和精确的估算,我们能够在这些领域做出好的决定:选择散列连接(hashjoin)操作的正确构建端(buildside),选择正确的连接算法(如broadcasthashjoin与shuffledhashjoin),调整连接的顺序等等。这个基于成本的优化器框架对SparkSQL查询的性能有很好的提升。在这次演讲中,我们将展示SparkSQL的新的基于成本的优化器框架及其对TPC-DS查询的性能影响。
用户评论
推荐下载
-
优化基站成本的混合能源方案
悲哀但真切的现实:普通手机和智能手机魅力无穷,吸引了无数人的注意力,但正是看不见的网络和基站或蜂窝基站的管理才使得所有这种移动连接真正成为可能。而在一个成功的蜂窝基站设计中,很大而又更少被人认识的部分
12 2020-12-31 -
煤矿企业安全成本的优化研究
基于安全性与经济性的合理统一,将安全成本分为保证性和损失性两大类,引入了安全成本指数这一分析评价指标,给出了煤矿企业安全度的确定方法,构建了安全成本指数与安全度的函数模型,以及最优安全成本指数的计算式
13 2020-07-17 -
浅谈战略采购的成本优化途径
浅谈战略采购的成本优化途径,赵松,,战略采购是一种有别于常规思维的采购,前者注重要素是“最低总成本”而后者关注的“单一采购价格”;前者注重与供应商形成战略合
17 2020-08-17 -
Spark SQL Relational Data Processing in Spark Paper.rar
SparkSQL的Paper, 阐述了Spark-SQL的内部机制. 建议同学可以多看看底层原理.
13 2020-08-19 -
18SQL优化其他SQL的优化.doc
18SQL优化--其他SQL的优化.doc
33 2019-09-19 -
spark lp基于Apache Spark的分布式线性编程求解器源码
spark-lp:基于Apache Spark的分布式线性编程求解器
8 2021-02-19 -
Learning Spark SQL Aurobindo Sarkar
LearningSparkSQL-AurobindoSarkar aeasywaytolearnsparkandbecomeabigdatascientist
27 2019-09-08 -
Spark SQL最佳实践.pdf
spark优化最佳实践,推荐下载,好使请点赞
36 2019-07-27 -
mastering spark sql.pdf
Jacek Laskowski的mastering-spark-sql.pdf,该资源为spark-sql部分
10 2021-04-19 -
Spark SQL.xmind.zip
大数据课程笔记,按照各个章节分别总结。包括部分Hadoop 基础,scale基础,以及整套数据流程应用
8 2020-08-14
暂无评论