激活函数在神经网络中扮演着至关重要的角色。以下是一些常见的激活函数及其应用：

常见激活函数

  • Sigmoid 函数：将输入值压缩到 0 和 1 之间，常用于二分类问题。
  • ReLU 函数：在 0 以下的输入输出为 0，在 0 以上的输入输出为输入值，常用于隐藏层。
  • Tanh 函数：将输入值压缩到 -1 和 1 之间，常用于回归问题。

示例

假设我们有一个简单的神经网络，输入层有 2 个神经元，隐藏层有 3 个神经元，输出层有 1 个神经元。

  • 输入层：[x1, x2]
  • 隐藏层：[h1, h2, h3]
  • 输出层：[y]

h1 = max(0, x1 * w1 + b1)
h2 = max(0, x2 * w2 + b2)
h3 = max(0, x3 * w3 + b3)

# 输出层
y = max(0, h1 * w4 + b4 + h2 * w5 + b5 + h3 * w6 + b6)

扩展阅读

想了解更多关于激活函数的知识？请访问我们的 神经网络教程。

激活函数示例