Sparkify的Data Lake ELT流程 概括 介绍 该项目将为Sparkify提取歌曲和日志数据,以使其更易于理解其数据并对该数据进行分析。 该项目正在使用EMR将数据处理到S3上。 入门 该ELT过程是一个非常简单的过程。 如果这是您第一次运行此项目,则应复制dl.cfg.example文件,并为项目dl.cfg配置参数。 然后在您的本地计算机上: python main.py 该过程将检查目标存储桶是否存在。 如果存在,则该进程将删除存储桶以及该存储桶中的所有内容,然后在s3上为我们的进程创建一个文件夹结构。 该过程将为我们的表,emr配置(引导文件)和我们的pyspark代码创建文件夹,然后上传所有需要的文件以运行该过程。 请注意,此过程使用默认的EMR作业流程角色(EMR_EC2_DefaultRole),默认的EC2服务角色(EMR_DefaultRole)和默