通用深度学习推理服务 可在生产环境中快速上线由TensorFlow,PyTorch,Caffe框架训练出的深度学习模型。 dl_inference是58同城推出的通用深度学习推理服务,使用dl_inference只需将模型文件放在指定目录然后启动服务就可以进行推理请求调用。dl_inference当前支持TensorFlow,PyTorch和Caffe模型,提供GPU和CPU两种布置方式,并且实现了模型多例程部署时的负载均衡策略,支持线上海量推理请求。 dl_inference具备的功能如下: 简化深度学习模型在生产环境上的推理服务部署,只需重新将模型文件放入指定目录。 支持模型多预算部署并实现负载均衡。 提供统一的RPC服务调用接口。 提供GPU和CPU两种部署方式。 PyTorch / Caffe模型支持推理前后数据处理,开放模型调用。 为什么需要dl_inference 将深度