🧠 自动微分是机器学习和深度学习中的核心技术,用于高效计算函数的导数。
核心原理
- 链式法则分解:将复杂函数拆解为基本运算的组合,例如
dy/dx = (dy/du) * (du/dx)
。 - 向前/反向模式:
- 向前模式:逐层计算导数,适合计算图较浅的场景。
- 反向模式:从输出反推输入的导数,广泛用于深度学习(如反向传播)。
- 动态计算图:支持实时构建计算流程,适应复杂模型需求。
应用场景
- 🤖 神经网络训练:通过梯度下降优化参数。
- 🧠 模型构建:如变分自编码器(VAE)、生成对抗网络(GAN)。
- 🔍 科学计算:用于物理模拟、金融建模等需要精确导数的领域。