luigi:Luigi是一个Python模块,可以帮助您构建批处理作业的复杂管道。 它处理依赖关系解析,工作流管理,可视化等。它还内置了Hadoop支持