自从去年SparkSubmit2013MichaelArmbrust分享了他的Catalyst,到至今1年多了,Spark SQL的贡献者从几人到了几十人,而且发展速度异常迅猛,究其原因,个人认为有以下2点:1、整合:将SQL类型的查询语言整合到Spark的核心RDD概念里。这样可以应用于多种任务,流处理,批处理,包括机器学习里都可以引入Sql。2、效率:因为Shark受到hive的编程模型限制,无法再继续优化来适应Spark模型里。前一段时间测试过Shark,并且对SparkSQL也进行了一些测试,但是还是忍不住对Spar