激活函数是神经网络中至关重要的组成部分，它能够使神经网络具备非线性学习能力。以下是一些常见的激活函数及其应用。

常见激活函数

Sigmoid函数

Sigmoid函数是一种将输入值压缩到0和1之间的函数，常用于二分类问题。

### Sigmoid函数

Sigmoid函数是一种将输入值压缩到0和1之间的函数，常用于二分类问题。

$$
\sigma(x) = \frac{1}{1 + e^{-x}}
$$

![Sigmoid函数图像](https://cloud-image.ullrai.com/q/Sigmoid/)

ReLU函数

ReLU函数（Rectified Linear Unit）是一种非线性激活函数，其特点是在输入为正数时输出等于输入值，在输入为负数时输出为0。

### ReLU函数

ReLU函数（Rectified Linear Unit）是一种非线性激活函数，其特点是在输入为正数时输出等于输入值，在输入为负数时输出为0。

$$
f(x) = \max(0, x)
$$

![ReLU函数图像](https://cloud-image.ullrai.com/q/ReLU/)

Tanh函数

Tanh函数（Hyperbolic Tangent）是一种将输入值压缩到-1和1之间的函数，常用于多分类问题。

### Tanh函数

Tanh函数（Hyperbolic Tangent）是一种将输入值压缩到-1和1之间的函数，常用于多分类问题。

$$
\tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}}
$$

![Tanh函数图像](https://cloud-image.ullrai.com/q/Tanh/)

总结

激活函数是神经网络的基础，选择合适的激活函数对于模型的性能至关重要。如果您想了解更多关于神经网络的知识，可以访问神经网络教程。

## 总结

激活函数是神经网络的基础，选择合适的激活函数对于模型的性能至关重要。如果您想了解更多关于神经网络的知识，可以访问[神经网络教程](/neural_network_tutorial)。