基于SQL的ETL和EKS上的Spark 这是一个解决方案的项目-基于SQL的ETL,具有由Apache Spark支持的声明性框架。 我们通过利用开源为以用户为中心的声明性ETL解决方案,引入了质量感知设计,以提高数据处理效率。 此外,我们考虑了客户在数据分析中的需求和期望的技能,并加快了他们与ETL实践的互动,以促进简便性,同时最大限度地提高效率。 概述 目录 部署基础架构 通过CloudFormation模板进行配置,大约需要花费时间。 30分钟。 地区 启动模板 --------------------------- ----------------------- 弗吉尼亚州博客(us-east-1) 俄勒冈州解决方案(us-west-2) 选项1:默认部署。 选项2:使用自定义用户名登录Jupyter。 选项3:如果ETL是您自己的数据,请在S3存储桶中输入参数da