星火ETL 源码
下载Ubuntu 18.04(附带python-3.6的船舶),安装JDK-8,scala,pip3,spark + hadoop-2.4.0(因为它需要与python-3.6和java-8兼容,所以很关键),git ...(最近了解到还可以使用从Docker Hub安装的spark启动docker映像!) 启动一个Spark实例(在spark-install.PNG和bashrc中检查->环境设置) 启动一个Postgres数据库实例(CHECKOUT-> postgresql-install.PNG) 处理以下链接中的文件,并将其加载到数据库中的表(stock_prices)中。 (
文件列表
Spark-ETL-master.zip
(预估有个13文件)
Spark-ETL-master
spark_etl.log
20KB
spark-install.PNG
305KB
spark_etl.sh
181B
spark_etl.py
2KB
scheduling.PNG
519KB
stock_prices.sql
687B
README.md
955B
stock_prices.csv
61KB
bashrc
361B
暂无评论