激活层是神经网络中引入非线性的关键组件，通过将非线性函数应用到输入数据上，使模型能够学习复杂的模式。以下是 Keras 中常用的激活函数及其用法：

常用激活函数 🔧

  • ReLU（Rectified Linear Unit）
    最常用的激活函数，计算为 max(0, x)。适用于隐藏层，能有效缓解梯度消失问题。

    ReLU 激活函数

  • Sigmoid
    输出范围为 (0, 1)，常用于二分类问题的输出层。

    Sigmoid 激活函数曲线

  • Tanh（双曲正切）
    输出范围为 (-1, 1)，比 Sigmoid 更适合中心化的数据。

    Tanh 激活函数图像

  • Softmax
    用于多分类问题的输出层，将输入转换为概率分布。

    Softmax 分类概率

如何使用激活层 📌

在 Keras 中，可通过 Activation 层或直接在层中指定 activation 参数实现： 

from keras.layers import Dense, Activation

# 方法1: 使用 Activation 层
model.add(Dense(64))
model.add(Activation('relu'))

# 方法2: 直接在 Dense 层指定激活函数
model.add(Dense(64, activation='sigmoid'))

扩展阅读 📚

如需深入了解激活函数的数学原理及选择建议，可访问 Keras 激活函数详解。