tutorial/activation-functions

激活函数是神经网络中不可或缺的部分，它们用于将神经元的输入转换为输出。以下是一些常见的激活函数：

常见激活函数

• Sigmoid 函数：将输入压缩到 0 和 1 之间。

  • 公式：σ(x) = 1 / (1 + e^(-x))
  • 

    Sigmoid Function Graph

• ReLU 函数：当输入大于 0 时，输出等于输入，否则输出 0。

  • 公式：ReLU(x) = max(0, x)
  • 

    ReLU Function Graph

• Tanh 函数：将输入压缩到 -1 和 1 之间。

  • 公式：tanh(x) = (e^x - e^{-x}) / (e^x + e^{-x})
  • 

    Tanh Function Graph

• Leaky ReLU 函数：改进的 ReLU 函数，对于负输入也有轻微的线性斜率。

  • 公式：Leaky ReLU(x) = max(0.01x, x)
  • 

    Leaky ReLU Function Graph

更多信息

想要了解更多关于神经网络的知识，可以访问我们的[神经网络教程](/tutorial neural-networks)页面。