自动微分（Automatic Differentiation, AD）是现代机器学习框架的核心技术之一，它通过程序化方式自动计算函数的导数，极大简化了复杂模型的优化过程。以下是关于自动微分的关键知识点：
1. 什么是自动微分？
自动微分结合了数值微分和符号微分的优点，利用链式法则在计算函数值的同时自动求导数。它通过构建计算图（Computation Graph）来追踪变量间的依赖关系，例如：
- 前向传播计算输出值
- 反向传播计算梯度
2. 机器学习中的作用
- 参数优化：梯度下降等优化算法依赖自动微分计算损失函数的梯度
- 模型训练：深度学习框架如PyTorch、TensorFlow通过自动微分实现高效训练
- 正则化与监控：自动计算梯度有助于实现L2正则化、学习率调整等技巧
3. 实现方式对比
| 方法 | 优点 | 缺点 |
|---|---|---|
| 符号微分 | 求导结果精确 | 难以处理复杂动态计算图 |
| 数值微分 | 实现简单 | 计算精度低，效率差 |
| 自动微分 | 精度与效率平衡 | 需要框架支持（如JAX、MindSpore） |
4. 应用场景示例
- 神经网络训练（如CNN、RNN）
- 概率模型推断（如贝叶斯网络）
- 模型解释性分析（如梯度加权类激活映射）