深度学习中的激活函数详解

激活函数是神经网络的核心组件之一，它决定了神经元是否被激活以及激活的程度。以下是常见激活函数的解析👇

常见激活函数类型

1. ReLU（Rectified Linear Unit）

   • 公式：$f(x) = \max(0, x)$
   • 优点：计算高效，缓解梯度消失问题
   • 缺点：可能导致神经元“死亡”（输出恒为0）
   *延伸学习：[神经网络基础](/zh/tutorials/神经网络基础)*

2. Sigmoid

   • 公式：$f(x) = \frac{1}{1+e^{-x}}$
   • 优点：输出范围在0-1，适合二分类问题
   • 缺点：梯度消失严重
   

3. Tanh（双曲正切函数）

   • 公式：$f(x) = \tanh(x)$
   • 优点：输出范围-1到1，梯度更饱满
   • 缺点：仍存在梯度消失风险
   

4. Leaky ReLU

   • 公式：$f(x) = \max(0.01x, x)$
   • 优点：缓解ReLU的“死亡”问题
   • 缺点：需要调整负向斜率参数
   

5. Swish

   • 公式：$f(x) = x \cdot \sigma(\beta x)$
   • 优点：自适应性更强，表现优于ReLU
   • 缺点：计算成本略高
   

选择激活函数的建议

• 隐藏层常用ReLU或Swish
• 输出层二分类用Sigmoid，多分类用Softmax
• 需要处理负输入时可选择Leaky ReLU

进一步探索：深度学习优化方法