高级:以增量步骤转换数据 源码
进步 Advance是用于构建数据转换管道的框架。 Advance使您可以简洁地编写数据转换过程的脚本,并逐步构建并轻松调试该过程。 每个数据转换都是一个步骤,每个步骤的结果成为下一步的输入。 每个步骤的工件都保存在名为目录的步骤中。 当步骤的结果不正确时,只需调整高级脚本,删除包含错误数据的步骤目录,然后重新运行脚本。 跳过先前成功的步骤,因此脚本可快速移至未完成的步骤。 同样,当步骤失败时,结果将保留在以“ tmp_”为前缀的目录中。 这样可以隔离不完整的步骤数据,并确保在解决问题后重新处理步骤。 您使用Advance的项目包含一个主要的ruby脚本,该脚本导入Advance并包括您的
文件列表
advance-master.zip
(预估有个24文件)
advance-master
.travis.yml
107B
bin
concat_csv_nh.rb
427B
split_csv.rb
730B
concat_csv.rb
824B
csv_select.rb
490B
csv_split_on_change_nh.rb
948B
csv_select_nh.rb
231B
Rakefile
198B
暂无评论