🧠 为什么需要调整学习率？

在深度学习训练中，学习率（Learning Rate）是控制模型参数更新幅度的核心超参数。不当的学习率可能导致：

  • 🚫 训练不稳定（如损失函数震荡）
  • 📉 收敛速度慢 或 陷入局部最优
  • 🔄 过拟合/欠拟合 风险

📌 点击了解优化技术全景图

📊 常用学习率调整策略

1. Step Decay

每隔固定epoch数降低学习率，例如：

learning_rate = initial_rate * (0.1)^(epoch//step_size)
Step Decay 概念

2. Exponential Decay

按指数规律衰减学习率，公式为：

learning_rate = initial_rate * e^(-k*epoch)
Exponential Decay 示意图

3. Cosine Annealing

使用余弦函数周期性调整学习率，适合复杂模型：

learning_rate = min_lr + 0.5*(max_lr - min_lr)*(1 + cos(epoch/T))
Cosine Annealing 曲线

4. Reduce on Plateau

当验证集性能停滞时降低学习率，需配合监控工具使用

🔧 实践建议

  • 📈 建议从0.001开始，根据训练表现调整
  • 🔄 使用学习率调度器（如PyTorch的torch.optim.lr_scheduler）
  • 🧪 尝试组合策略，如"Step Decay + Reduce on Plateau"
  • 📚 深入理解优化器原理可提升调整效果

📌 图片关键词生成规则：若需展示具体方法示意图，可使用"Step_Decay"、"Exponential_Decay"、"Cosine_Annealing"等作为搜索词