课程中提到残差是图像的信息
来源：4-2 卷积神经网络进阶（Vggnet-Resnet）
weibo_向小韬韬韬韬韬韬_0
2019-09-04
老师在课中提到，AlexNet和VGG都是经过了几层卷积pooling后，最后输入到全连接层，其中每一层都是学的图像全部信息。而ResNet不同，它的残差部分只是图像的某些表达（可以说是图像的部分信息），而X里面是承载的图像的全部信息。我在这里的理解是，当网络层次更深的时候，残差部分学不到什么东西，直接将X中的内容拿来继续学习，这里的X可以视为图像信息的一种备份，不知道这样的理解对不对。然后我想问的是，ResNet它也是经过了卷积层和池化层，过程几乎和Alex、VGG一样，为什么前者就是学到图像部分信息，而后者就是学到图像的全部信息呢？
写回答
1回答
-
回顾一下残差的公式，f(x) = res(x) + x, 其中你说的经过了卷积层和池化层的结构，应该指的是res(x), 即残差部分，此时，相当于你给res(x)的任务就是f(x) - x，-x就已经把全部的图像信息给排除掉了，所以残差学到的目标本来就不是为了学到全部的信息，而是多余的信息(或者更加抽象的信息)。
还有一个点需要注意，正因为有了这个残差连接，才使得梯度能够比较好的传递下去，这也是它效果好的一个原因。
112019-11-08
