激活函数是神经网络中非常重要的组成部分，它们决定了神经元的输出。以下是几种常见的激活函数：

Sigmoid 函数

Sigmoid 函数是一种常用的非线性激活函数，其输出值介于 0 和 1 之间。它可以将输入映射到概率值。

  • 公式：σ(x) = 1 / (1 + e^(-x))
  • Sigmoid Function Graph

ReLU 函数

ReLU（Rectified Linear Unit）函数是一种线性激活函数，其输出为输入值大于 0 的部分，否则输出为 0。

  • 公式：ReLU(x) = max(0, x)
  • ReLU Function Graph

Tanh 函数

Tanh 函数是 Sigmoid 函数的改进版本，其输出值介于 -1 和 1 之间。

  • 公式：tanh(x) = 2 / (1 + e^(-2x)) - 1
  • Tanh Function Graph

Leaky ReLU 函数

Leaky ReLU 函数是 ReLU 函数的一种改进版本，它允许小于 0 的输入值有一个小的梯度，从而避免死神经元问题。

  • 公式：Leaky ReLU(x) = max(αx, x)，其中 α 是一个小的常数

更多关于激活函数的内容，您可以参考激活函数详解。