激活函数（Activation Functions）在机器学习中的核心作用 🧠
激活函数是神经网络中决定神经元输出的关键组件，它赋予模型非线性表达能力。以下是常见的激活函数及其特性：
1. Sigmoid 函数
- 公式：σ(x) = 1 / (1 + e^(-x))
- 特点：输出范围在 (0,1)，常用于二分类问题，但易出现梯度消失问题。
- 应用场景：逻辑回归、早期神经网络的输出层
2. ReLU 函数
- 公式：f(x) = max(0, x)
- 特点：计算高效，缓解梯度消失，但可能造成神经元“死亡”。
- 应用场景：隐藏层激活函数（主流选择）
3. Tanh 函数
- 公式：tanh(x) = (e^x - e^(-x)) / (e^x + e^(-x))
- 特点：输出范围在 (-1,1)，比Sigmoid更擅长处理中心化数据。
- 应用场景：需要输出对称分布的场景
4. Softmax 函数
- 公式：σ(z_i) = e^z_i / Σ(e^z_j)
- 特点：将向量转换为概率分布，常用于多分类输出层。
- 应用场景：分类问题（如图像识别）
5. Leaky ReLU 与 Swish 函数
- Leaky ReLU：f(x) = max(0.01x, x)（解决ReLU的“死亡”问题）
- Swish：f(x) = x * σ(x)（自适应激活函数，表现优于ReLU）
如需深入理解神经网络的基础概念，可访问：
/ AI_Tutorials_Machine_Learning/Concepts/Neural_Network_Basics
（注：图片链接为示例，实际使用时需确保资源可用性）