Udacity Datalake Spark:具有Spark的Udacity数据湖 源码
Sparkify的Data Lake ELT流程 概括 介绍 该项目将为Sparkify提取歌曲和日志数据,以使其更易于理解其数据并对该数据进行分析。 该项目正在使用EMR将数据处理到S3上。 入门 该ELT过程是一个非常简单的过程。 如果这是您第一次运行此项目,则应复制dl.cfg.example文件,并为项目dl.cfg配置参数。 然后在您的本地计算机上: python main.py 该过程将检查目标存储桶是否存在。 如果存在,则该进程将删除存储桶以及该存储桶中的所有内容,然后在s3上为我们的进程创建一个文件夹结构。 该过程将为我们的表,emr配置(引导文件)和我们的pyspark代码创建文件夹,然后上传所有需要的文件以运行该过程。 请注意,此过程使用默认的EMR作业流程角色(EMR_EC2_DefaultRole),默认的EC2服务角色(EMR_DefaultRole)和默
文件列表
Udacity-Datalake-Spark:具有Spark的Udacity数据湖
(预估有个490文件)
_SUCCESS
0B
_SUCCESS
0B
.part-00006-39a513df-1b59-4ef5-a004-aebb185a2ac5.c000.snappy.parquet.crc
56B
.part-00009-39a513df-1b59-4ef5-a004-aebb185a2ac5.c000.snappy.parquet.crc
44B
.part-00004-39a513df-1b59-4ef5-a004-aebb185a2ac5.c000.snappy.parquet.crc
64B
.part-00005-39a513df-1b59-4ef5-a004-aebb185a2ac5.c000.snappy.parquet.crc
64B
.part-00011-39a513df-1b59-4ef5-a004-aebb185a2ac5.c000.snappy.parquet.crc
40B
.part-00000-39a513df-1b59-4ef5-a004-aebb185a2ac5.c000.snappy.parquet.crc
84B
.part-00008-39a513df-1b59-4ef5-a004-aebb185a2ac5.c000.snappy.parquet.crc
44B
.part-00001-39a513df-1b59-4ef5-a004-aebb185a2ac5.c000.snappy.parquet.crc
72B
暂无评论