Brainstorm框架中常用的激活函数有哪些

2. Tanh函数：将输入映射到-1和1之间的连续输出，常用于隐藏层的激活函数。

3. ReLU函数：将负数输入映射为0，保持正数输入不变，是目前最流行的激活函数之一。

4. Leaky ReLU函数：在负数输入时引入一个小的斜率，解决了ReLU函数负数输入时的问题。

5. ELU函数：类似于Leaky ReLU函数，但在负数输入时引入一个指数增长的斜率。

6. Softmax函数：将多个输入映射到(0,1)之间的连续输出，并且保证所有输出的和为1，常用于多分类问题。

7. Swish函数：结合了Sigmoid和ReLU的优点，相比ReLU有更好的性能表现。

8. Mish函数：一种类似于Swish的激活函数，目前在一些深度学习框架中得到了应用。

这些激活函数在神经网络的训练中起着至关重要的作用，选择合适的激活函数可以提高模型的性能和训练速度。