激活函数是神经网络的核心组件，用于引入非线性特性。以下是常见激活函数的数学解析：
1. Sigmoid 函数
公式：
$$ \sigma(x) = \frac{1}{1 + e^{-x}} $$
特点：输出范围在 (0,1)，常用于二分类问题。
应用场景：逻辑回归、早期神经网络层。
2. ReLU 函数
公式：
$$ \text{ReLU}(x) = \max(0, x) $$
特点：计算高效，缓解梯度消失问题。
应用场景：隐藏层激活函数，CNN中广泛使用。
3. Tanh 函数
公式：
$$ \tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}} $$
特点：输出范围 (-1,1)，梯度更饱满。
应用场景：RNN等需要对称输出的场景。
4. Softmax 函数
公式：
$$ \text{Softmax}(z_i) = \frac{e^{z_i}}{\sum_{j} e^{z_j}} $$
特点：将输出转化为概率分布。
应用场景：多分类问题的输出层。
5. Leaky ReLU 函数
公式：
$$ \text{Leaky ReLU}(x) = \max(0.01x, x) $$
特点：改进ReLU的“死亡”问题，允许小负值。
应用场景：需要处理负输入的深层网络。
如需深入理解神经网络基础，可访问 /神经网络基础 进行扩展学习。