SARSA（State-Action-Reward-State-Action）是强化学习中的经典on-policy算法，常用于解决动态环境中的决策问题。以下是关键知识点：
1. 核心概念
- SARSA通过动作-奖励-状态-动作的序列更新策略，与Q学习不同，它直接学习动作值函数（Action-Value Function）
- 每个状态转移依赖当前动作和下一个状态的动作，形成闭环更新
- 公式：$ Q(s, a) \leftarrow Q(s, a) + \alpha [r + \gamma Q(s', a') - Q(s, a)] $
2. 与Q学习对比
| 特性 | SARSA | Q学习 |
|---|---|---|
| 策略更新 | 使用当前策略选择动作 | 使用最优策略选择动作 |
| 探索机制 | 依赖ε-greedy策略 | 依赖UCB或Boltzmann探索 |
| 适用场景 | 更适合连续动作空间 | 更适合离散动作空间 |
3. 应用案例
- 机器人路径规划：通过SARSA学习最优移动策略
- 游戏AI：如棋类游戏或回合制策略游戏的决策优化
- 工业控制：自动化设备的动态调整
🔗 想深入学习SARSA的实现细节？可参考 /community/machine-learning-tutorials/reinforcement-learning-q-learning 了解Q学习的对比实现。