Spark学习一:安装、IDEA编写代码

文章目录Spark下载和安装Spark的部署模式spark on yarnIDEA编写spark程序下载Scala安装Scala插件建立Maven工程编写wordcount程序打成jar包验证JAR包 Spark下载和安装 可以去Spark官网下载对应的spark版本。此处我选择了 spark-2.4.5-bin-hadoop2.6.tgz。注意该spark版本是2.4.5,与hadoop2.6相匹配,用的scala 2.11版本编译的spark源码。 如果觉得官网比较慢,可以去中国科学技术大学镜像网站和清华大学镜像网站下载。 将spark-2.4.5-bin-hadoop2.6.tgz上传