设置安装sudo pip install awscli后,您可能需要链接到可执行文件:


sudo ln -s /opt/local/Library/Frameworks/Python.framework/Versions/2.7/bin/aws /opt/local/bin/aws

然后,使用您的AWS密钥、秘密和默认区域(例如us-east-1)配置系统。默认输出格式可以留空。


aws configure

您随时可以重新运行此命令以更改设置。现在,可以通过询问您正在运行的EC2实例来测试它(您可能没有实例):


aws ec2 describe-instances

要运行任何演示,您需要做两件事:创建一个用于存储日志、代码、输入和输出数据的S3存储桶,以及一个用于运行示例的EMR集群。要启动一个简单的测试集群,可以执行以下操作:


aws emr create-cluster --name "Test Cluster" --release-label emr-5.30.1 --applications Name=Hadoop Name=Spark --ec2-attributes KeyName=myKey --instance-type m5.xlarge --instance-count 3

如果您需要预配置EMR集群的源码,请查看这个Terraform模块。或者,您对创建EC2实例的脚本代码感兴趣吗?这里有详细内容

对EMR技术的深入了解,可以参考这篇技术分享。如果您需要更多关于EC2和EMR的实例配置源码,以下资源可能对您有帮助: