为了实现与TensorFlow Serving服务的交互,Python应用程序需要配置相应的gRPC客户端。TensorFlow Serving官方文档提供了一个生成mnist Python客户端的示例,但由于该示例依赖bazel编译,生成的Python脚本无法直接执行。您可以通过以下命令运行完整的例子:
./predict_client.py --host 127.0.0.1 --port 9000 --model_name linear --model_version 1
不同模型的输入格式有所不同,只需修改Python脚本中构建TensorProto的代码即可。建议使用此项目编译生成的文件和示例代码。实现Python gRPC客户端的关键在于编译TensorFlow serving和TensorFlow的proto文件。由于官方项目使用bazel编译,需要调整proto文件中的依赖路径。生成的Python文件可直接导入,并按照TensorFlow文档生成TensorProto对象,然后按照gRPC文档调用gRPC服务端。
暂无评论