117笔记问答ResNet（残差神经网络）是一种深度卷积神经网络架构，通过引入“残差学习”来解决深度网络训练中的退化问题。其核心思想在于通过跳过某些中间层级，将层的激活值直接链接到后续层，从而创建一个残差块。这些残差块被堆叠起来以创建ResNet。以下是关于ResNet网络结构的相关信息：
ResNet的基本结构
- 残差块（Residual Block）：每个残差块通常包含两个卷积层，每个卷积层后接一个批量规范化层和ReLU激活函数。然后，输入直接加到输出上，形成跳跃连接。
- 网络结构：ResNet网络是参考了VGG19网络，在其基础上进行了修改，并通过短路机制加入了残差单元。变化主要体现在ResNet直接使用stride=2的卷积做下采样，并且用global average pool层替换了全连接层。
ResNet的工作原理
- 残差学习的作用：残差学习通过引入快捷连接（shortcut connections）或跳跃连接（skip connections），允许信息在不经过中间层的情况下直接传递到后续层，这有助于缓解梯度消失问题，使网络可以更有效地训练更深的层次结构。
- 如何通过残差学习提高性能：通过残差学习，网络不是去拟合底层的映射，而是去拟合残差映射（H(x) - x），这样降低了学习难度，提高了模型的收敛速度。
ResNet的主要优势
- 解决梯度消失问题：通过引入残差连接，使得信息可以更容易地在网络中传递，从而有效解决了梯度消失和梯度爆炸的问题。
- 训练更深的网络：ResNet能够训练超过100层甚至更多层次的深度神经网络，而不会出现梯度消失或梯度爆炸的问题。
- 高表达能力：由于其结构设计，ResNet具有很高的表达能力，可以捕捉到复杂的特征和模式。
ResNet的应用
- 计算机视觉：ResNet在计算机视觉领域取得了显著成效，广泛应用于图像分类、目标检测和语义分割等任务。
- 其他领域：尽管主要应用于计算机视觉，但ResNet的原理也可以应用于其他深度学习领域，如自然语言处理和语音识别等。
通过上述分析，我们可以看到ResNet网络结构通过其独特的残差学习机制，不仅解决了深度网络训练中的关键问题，还显著提高了模型的性能，使其成为深度学习领域的重要里程碑。