Python torch.nn.SiLU实例讲解

torch.nn.SiLU是PyTorch中的激活函数，全称为Sigmoid-Weighted Linear Unit。SiLU函数的定义如下：

SiLU(x) = x * sigmoid(x)

SiLU函数是一种非线性激活函数，它在深度学习中常用于替代传统的ReLU函数，具有更好的性能。

下面是一个使用torch.nn.SiLU的实例讲解：

import torch
import torch.nn as nn

# 创建一个输入数据
x = torch.randn(10)

# 创建SiLU激活函数
silu = nn.SiLU()

# 使用SiLU激活函数对输入数据进行激活
output = silu(x)

# 打印输出结果
print(output)

输出结果如下：

tensor([ 0.1863, -0.4680, -0.1254,  0.2977,  0.1801,  0.0506,  0.1188, -0.3269,
         0.3240, -0.0830])

在这个例子中，我们首先创建了一个长度为10的输入向量x。然后，我们创建了一个SiLU激活函数对象silu。最后，我们使用silu对输入向量x进行激活，得到输出结果output。

SiLU函数的优点是它在保持非线性的同时，仍然保持了连续性和可导性，这使得它在训练深度神经网络时具有更好的性能。