VGG和ResNet的降采样与信息损失？
来源：4-2 卷积神经网络进阶（Vggnet-Resnet）
慕虎9426780
2019-10-04
重新看了一下视频，里面有提到“ResNet每经过一个降采样过程，都会使它的输出的channel数翻倍”，查了下论文的原文，里面对比了VGG-19和ResNet-34都随着pooling过程提升通道数的操作。尺寸小一半，通道增一倍，据说是为了避免“信息损失”。请问这个怎么理解？
除以2再乘以2，数据在数量上确实没有变，图像小一半信息损失掉了，但channel增加是使得能够提取的特征数量增加，多出来的一倍的特征怎么能保证把压缩的一半的图像的信息保存下来呢，这个跟避免信息损失是什么关系，不是很理解。
写回答
1回答
-
同学你好，能提出这个问题，说明你思考的比较深入。关于这个问题，由于没有定量的分析，所以没有统一的理解。我的理解是这样的：就是越高层的特征越抽象，多种抽象的特征可以复现大致的细节。可以举个例子，就是警察对嫌疑人的素描，受害者只需要将嫌疑人的主要特征，比如鼻子大小，长度，嘴宽度和方向等等，就可以大致画出嫌疑人的样貌。卷积网络也如此，做了pooling相当于忽略了一些细节，提取多种特征，在于提高了抽象特征的数目。所以这个操作就是把信息从细节转成了抽象。而抽象的特征对分类比细节更有用。因而避免信息损失的原因是在细节信息和抽象信息的此消彼涨之间。
112019-10-20
相似问题