马拉管道 该软件包包含一个轻量级的数据转换框架,重点是透明性和降低复杂性。 它具有许多固有的假设/原则: 数据集成管道作为代码:管道,任务和命令是使用声明性的Python代码创建的。 PostgreSQL作为数据处理引擎。 广泛的Web用户界面。 Web浏览器是检查,运行和调试管道的主要工具。 GNU使语义。 节点取决于上游节点的完成。 没有数据依赖性或数据流。 无需应用内数据处理:命令行工具是与数据库和数据进行交互的主要工具。 基于Python的单机流水线执行。 无需分布式任务队列。 易于调试和输出记录。 基于成本的优先级队列:首先运行具有较高成本(基于记录的运行时间)的节点