pytorch/激活函数

PyTorch 激活函数是神经网络中非常重要的组成部分，它能够引入非线性因素，使模型能够学习更复杂的函数映射。以下是一些常用的激活函数及其在 PyTorch 中的实现：

常用激活函数

1. ReLU (Rectified Linear Unit): 最常用的激活函数之一，输出为输入的正值部分。

   • PyTorch 实现: torch.nn.ReLU()
   • 

     ReLU

2. Sigmoid: 将输入值压缩到 [0, 1] 区间，常用于二分类问题中的输出层。

   • PyTorch 实现: torch.nn.Sigmoid()
   • 

     Sigmoid

3. Tanh (Hyperbolic Tangent): 将输入值压缩到 [-1, 1] 区间，输出范围更广，但数值范围有限。

   • PyTorch 实现: torch.nn.Tanh()
   • 

     Tanh

4. Leaky ReLU: 改进的 ReLU，允许小于 0 的输入值有很小的梯度，防止梯度消失。

   • PyTorch 实现: torch.nn.LeakyReLU(negative_slope=0.01)
   • 

     Leaky ReLU

5. ELU (Exponential Linear Unit): 当输入小于 0 时，使用指数函数来引入非线性，防止梯度消失。

   • PyTorch 实现: torch.nn.ELU(alpha=1.0)
   • 

     ELU

更多内容

想要了解更多关于 PyTorch 的知识，可以访问我们的PyTorch 教程页面。