TensorFlow 提供了多种分布式策略，帮助开发者高效利用多设备/多节点资源进行模型训练。以下是常见策略的简要说明：
1. MirroredStrategy 🧩
适用于单机多 GPU 场景，通过同步更新实现模型并行。
- 特点: 数据并行 + 模型并行
- 优势: 高吞吐量，适合中等规模模型
2. TPUStrategy ⚙️
专为 TPUs 设计，自动优化分布式训练流程。
- 适用: 大规模模型训练
- 链接: TPU 分布式训练详解
3. MultiWorkerMirroredStrategy 🤝
支持多节点多设备协作，适合跨机器训练。
- 核心: 每个 worker 独立运行模型副本
- 扩展阅读: 分布式训练架构设计
策略选择建议 📝
| 场景 | 推荐策略 |
|---|---|
| 单机多 GPU | MirroredStrategy |
| 多节点多 GPU | MultiWorkerMirroredStrategy |
| TPU 硬件加速 | TPUStrategy |