spark scala hdfs docker example:使用Scala的Spark将文件写入HDFS并使用Docker“ scale”自动添加新的Spa
spark-scala-hdfs-docker-example 使用Scala的Spark可以使用Docker“ scale”自动添加新的Spark工人,从而将文件读/写到HDFS 默认值: 工作区目录位于/ app Jar文件位于/app/app.jar。 主类是app.Main 如果要在Sparky,Scala,远程Spark Master的示例中但在Jupyter Notebook环境中,请查看 用法 创建docker-compose.yml version : ' 3.3 ' services : # SPARK EXAMPLE APPLICATION spark
文件列表
spark-scala-hdfs-docker-example-master.zip
(预估有个11文件)
spark-scala-hdfs-docker-example-master
.gitignore
8B
Dockerfile
352B
startup.sh
102B
app
project
assembly.sbt
57B
src
main
scala
暂无评论