ONNXRuntime 是一个开源的推理引擎，它支持 ONNX（Open Neural Network Exchange）格式，旨在提供高性能的推理服务。ONNXRuntime 可以在多种平台上运行，包括 CPU、GPU 和其他加速器。

特点

  • 跨平台支持：ONNXRuntime 支持多种操作系统和硬件平台，包括 Windows、Linux、macOS 和 Android。
  • 高性能：ONNXRuntime 提供了优化的推理引擎，可以加速模型的运行。
  • 易于使用：ONNXRuntime 提供了简单的 API，使得开发者可以轻松地将模型部署到生产环境中。

安装

要安装 ONNXRuntime，您可以使用以下命令：

pip install onnxruntime

示例

以下是一个简单的示例，展示了如何使用 ONNXRuntime 加载和推理一个 ONNX 模型：

import onnxruntime as ort

# 加载模型
session = ort.InferenceSession("model.onnx")

# 准备输入数据
input_data = ort.Tensor("input", [[1.0, 2.0], [3.0, 4.0]])

# 推理
output = session.run(None, {"input": input_data})

print(output)

资源

ONNXRuntime Logo