1回答

会写代码的好厨师

2020-03-22

首先理解下Attention的本质是什么意思。实际上，可以把它简单的理解为加权。对于一个网络中的特征图，它的大小和维度如果定义为H*W*C，那我们可以去加权的地方就可以是包括了H这个维度，或者W这个维度，或者C这个维度。当前实际上H*W表示了特征图上的点的数量，一般会作为一个整体去加权，也就是乘上一个W*H的权重矩阵。除此之外就是C这个维度，正常再不做加权的时候，我们认为每个Channel上的数据都是相同权重的。但是实际上，如果你将特征图进行反卷积可视化出来会发现可能会存在容易，而且不同channel上的特征图也会包含不同的信息，到底哪个特征图更总要，这个我们很多难自己去判断，所以干脆直接用网络去学习每个channel的重要性，也就是这里的senet，具体如何操作呢？实际上就是再每个卷积操作上面，同时再拉一个分支出来，用FC层去学习C个权重，分别对应C和channel上的特征图。

1

0