resources/math_for_dl/optimization_techniques

深度学习中的优化技术 📈

在深度学习模型训练中，优化技术是调整参数以最小化损失函数的核心手段。以下是几种经典方法：

1. 随机梯度下降（SGD）
   通过计算损失函数梯度并沿负方向更新参数，但易受噪声影响。

   [了解更多SGD原理](/resources/math_for_dl/gradient_descent)

2. 动量法（Momentum）
   引入历史梯度的加权平均，加速收敛并抑制震荡。

   [扩展阅读：动量法数学推导](/resources/math_for_dl/momentum_math)

3. Adam优化器
   结合动量法与RMSProp，自适应调整学习率，成为默认选择。

   [探索Adam算法细节](/resources/math_for_dl/adam_optimizer)

📌 优化技术的选择会显著影响模型训练效率，建议根据具体场景实验不同方案！