pdm 并行数据移动器是在RabbitMQ消息传递的帮助下使用分布式工作节点集在文件系统之间移动大量文件的通用工具。 这个版本是用golang编写的lustre-data-mover( )的显着改进。 通常,最好分多次复制数据。 迁移大型文件系统涉及HPC群集停机,可以通过从实时文件系统复制大多数数据,然后在停机期间(用户未进行任何更改)完成副本的复制来最大程度地减少HPC群集停机。 一个复制通行证可以包含以下3个动作之一: 复制数据。 复制源上与目标上不同的文件(包括最后一个不存在的情况)。 还涉及在目标上创建文件夹。 删除。 当我们要删除目标上的文件,而最后一次迁移发生后,这些文件已由用户从源中删除时,则需要最后一次通过。 Dirs mtime同步。 在目标文件系统上对文件进行所有更改之后,此过程将使目标文件夹mtime与源文件上的mtime同步,以创建文件系统的相同副