TensorFlow Serving 是一个开源的、高性能的机器学习模型部署解决方案。它允许你轻松地将 TensorFlow 模型部署到生产环境中，并支持大规模的在线和离线推理。

特点

  • 高性能：支持高效的模型加载和推理。
  • 灵活：支持多种模型格式和推理引擎。
  • 可扩展：易于水平扩展以满足高并发需求。
  • 监控：提供详细的监控和日志记录功能。

使用场景

  • 在线服务：将机器学习模型作为 API 提供给其他服务或应用程序。
  • 离线批处理：处理大量数据，进行预测或训练。
  • 模型更新：轻松更新模型而不影响在线服务。

快速开始

  1. 安装 TensorFlow Serving：安装指南
  2. 准备模型：确保你的 TensorFlow 模型已经训练好，并且可以导出为 SavedModel 格式。
  3. 配置 TensorFlow Serving：编辑 tensorflow_serving/server/config.yaml 文件，配置模型和服务器设置。
  4. 启动服务器：运行 start_tensorflow_server.sh 脚本启动 TensorFlow Serving 服务器。

示例


model_name: my_model
model_base_path: /path/to/my_model

社区资源

TensorFlow Serving Architecture