梯度下降是深度学习中用于优化模型参数的核心算法，其目标是通过迭代方式最小化损失函数。以下是关键知识点：
1. 基本概念
- 定义：梯度下降通过计算损失函数对参数的梯度（导数）来调整参数值，使模型逐渐逼近最优解。
- 核心公式：
$$ \theta_{new} = \theta_{old} - \eta \cdot \nabla J(\theta) $$
其中 $\eta$ 是学习率，$\nabla J(\theta)$ 是损失函数的梯度。 - 应用场景：适用于线性回归、神经网络训练等需要参数优化的场景。
2. 实现类型
- 批量梯度下降 (BGD)：使用全部训练数据计算梯度，稳定性好但计算量大
- 随机梯度下降 (SGD)：每次迭代仅用一个样本，收敛速度快但波动较大
- 小批量梯度下降 (MBGD)：折中方案，使用部分样本平衡计算与稳定性
3. 优化技巧
- 学习率调整：可使用衰减策略（如
η = initial_rate / (1 + decay_rate * iteration)） - 动量法：通过引入历史梯度方向加速收敛
- 自适应学习率：如Adam算法可根据参数自动调整学习率
4. 扩展阅读
如需深入了解其他优化算法，可参考：
/community/abc_compute_forum/tutorials/deep-learning-tutorials/optimization-algorithms