lambda上的spark:AWS Lambda上的Apache Spark 源码

注意:“此仓库包含易受攻击的代码,因此无论任何目的均不得将其用于任何目的。” Lambda上的Spark-自述文件 AWS Lambda是一种无服务器的功能即服务,可快速扩展并以100ms的粒度计费。 我们认为,看看能否在Lambda上运行Apache Spark会很有趣。 这是一个有趣的想法,为了进行验证,我们只是将其砍入原型中以查看其是否有效。 我们能够使它在Spark的调度程序和随机播放区域中进行一些更改而起作用。 由于AWS Lambda的最大运行时间限制为5分钟,因此我们必须改组外部存储。 因此,我们修改了Spark代码的混编部分,以对S3等外部存储进行混编。 这是一个原型,未经测