激活函数是神经网络中决定神经元输出的核心组件，它赋予模型非线性表达能力。以下是常见激活函数及其特点：

1. 常见类型 📊

  • ReLU（Rectified Linear Unit）

    ReLU_Function
    公式：f(x) = max(0, x) 优点：计算高效，缓解梯度消失问题 缺点：可能产生“死亡神经元”现象

  • Sigmoid 函数

    Sigmoid_Function
    公式：f(x) = 1 / (1 + e^(-x)) 优点：输出范围限定在0-1，适合二分类问题 缺点：梯度消失严重，输出非零中心

  • Tanh 函数

    Tanh_Function
    公式：f(x) = (e^x - e^(-x)) / (e^x + e^(-x)) 优点：输出范围-1到1，梯度比Sigmoid更饱满 缺点：依然存在梯度消失问题

  • Leaky ReLU

    Leaky_ReLU
    公式：f(x) = max(0.01x, x) 优点：缓解ReLU死亡问题，计算简单 缺点：需要手动调整斜率参数

2. 应用场景 🎯

  • 用于神经网络的非线性建模（如 /AI_Tutorials/Documentation/Deep_Learning/Neural_Networks）
  • 在分类任务中常用Sigmoid或Softmax
  • 在隐藏层中推荐使用ReLU或其变体

3. 选择建议 💡

情况 推荐函数
需要解决梯度消失 ReLU、Swish
二分类输出 Sigmoid
需要平滑梯度 Softmax（多分类）、Tanh

4. 扩展阅读 📘

点击查看神经网络基础教程
了解优化算法与激活函数的关系

📌 激活函数的选择会显著影响模型性能，建议结合具体任务和网络结构进行实验！