TRTorch:使用TensorRT的NVIDIA GPU的PyTorchTorchScript编译器 源码

TRT火炬 PyTorch JIT的提前(AOT)编译 TRTorch是PyTorch / TorchScript的编译器,通过NVIDIA的TensorRT深度学习优化器和运行时针对NVIDIA GPU。 与PyTorch的即时(JIT)编译器不同,TRTorch是一种提前(AOT)编译器,这意味着在部署TorchScript代码之前,您需要经过一个显式的编译步骤,才能将标准的TorchScript程序转换为模块。以TensorRT引擎为目标。 TRTorch充当PyTorch扩展,并编译与JIT运行时无缝集成的模块。 使用优化图进行编译后,应该感觉与运行TorchScript模块没有什么