DSGA1004-大数据 实验3:Spark和列导向的存储: 布莱恩·麦克菲教授(bm106) 亚历克·汉(Alh Hon)(ABH466) 阿努莎·帕蒂尔(arp624) 发放日期:2021-03-11 提交截止日期:2021-03-26 23:55ET 内容: 第1部分。果皮上的火花 在此作业中,我们将使用Spark分析Peel Cluster上的数据。 要在Peel集群上运行Spark作业,请首先在git repo中运行以下命令: source shell_setup.sh 通过以下方式为实验室准备了当前会话: 为Hadoop指定系统环境变量 在Peel的登录节点上加载适当的Python模块 设置别名hfs ,我们通常的hadoop fs别名 设置别名spark-submit ,以简化提交pyspark作业 Peel自然会加载Spark 2.4.0 ,这是我们将在本