皮质:大规模推论 源码

大规模推论 Cortex是用于大规模机器学习推理工作负载的开源平台。 工作量 实时API-实时响应预测请求 部署TensorFlow,PyTorch和其他模型。 通过服务器端批处理和基于请求的自动伸缩进行扩展以处理生产工作负载。 配置滚动更新和实时模型重新加载以更新API,而无需停机。 通过多模型缓存有效地服务许多模型。 通过可配置的流量分配执行A / B测试。 将性能指标和结构化日志流式传输到任何监视工具。 批处理API-在大型数据集上运行分布式推理 部署TensorFlow,PyTorch和其他模型。 配置工作程序数量和每个工作程序的计算资源。 通过自动重试和死信队列从故障中