SD2程序数据的ETL组件 该存储库包含用于开发各种ETL组件的源代码和测试材料,以为DARPA SD2程序提供数据和元数据的提取,转换和加载。 ETL组件是在TACC的Cloud API平台中开发和操作的,该平台具有Agave和Reactors应用程序运行时的功能。 是平台即服务,它是包括和在内的多个大型网络基础设施平台的基础。 它是从头开始设计的,旨在支持可重现和协作科学,它提供数据管理和编组,全面的应用程序生命周期支持,身份管理和访问控制,文档存储功能,回调驱动的编程以及与各种云,hpc和htc资源的集成类型。 Reactors是一种基于REST的Web服务,将功能即服务引入了分析计算。 该系统正在积极开发中,将在Q0工作会议之后集成到ETL流程中。 不久将有更多关于React堆的信息。 假设条件 支持每个应用程序和ETL流程的软件资产被打包到一个版本化的Docker容器中 这些