ml-werkflows 一个项目,提供了一种简单的方法来开始使用Prefect和Dask为AWS中的机器学习工作流构建分布式环境。 我想使用pythonic方法来构建引导资源,以使任何人都能快速开始使用Dask和Prefect进行云环境中的分布式数据处理和ML资源操作。 我已经在一个AWS环境中为我工作过的一家独立公司创建了一个流程,但是我想按照类似的方法为一家独立公司创建另一个项目。 为了能够采用这种出色的技术堆栈,我决定着手进行一个项目,该项目将使其他人可以轻松地采用类似的方法,并允许自己为我的其他工作建立一个项目。 这个想法是使用Pulumi基础架构代码(IaC)定义和管理AWS中的无服务器基础架构,然后可以将其与Prefect和Dask一起使用。 我将Poetry用于工作流文件夹中的程序包管理,以使启动过程更流畅。 该项目有2个主要目录: :IaC,用于在AWS云环境中