TensorFlow Serving 是一个高性能的开源服务器，它可以将训练好的 TensorFlow 模型部署到生产环境中。在 tensorflow_serving_tutorial/deployment 路径下，我们将深入了解 TensorFlow Serving 的部署流程。

部署流程概述

  1. 模型保存：首先，你需要将训练好的 TensorFlow 模型保存为 TensorFlow SavedModel 格式。
  2. 模型加载：使用 TensorFlow Serving 的 serving_server 工具加载保存的模型。
  3. 配置文件：创建一个配置文件，指定模型服务的相关信息，如模型路径、版本等。
  4. 启动服务：启动 TensorFlow Serving 服务，开始接收和处理请求。

实例演示

以下是一个简单的示例，展示如何使用 TensorFlow Serving 部署一个线性回归模型。


python train.py --output_path /path/to/saved_model

# 创建配置文件
cat > config.yaml <<EOF
model_name: linear_regression
model_base_path: /path/to/saved_model
model_version: 1
rest_api_port: 8501
grpc_api_port: 8500
EOF

# 启动 TensorFlow Serving
tensorflow_model_server --model_name=linear_regression --model_base_path=/path/to/saved_model --config_file=config.yaml

扩展阅读

想要了解更多关于 TensorFlow Serving 的信息，可以访问以下链接：

TensorFlow Serving Architecture