参数共享理解

来源:3-2 卷积神经网络(1)

慕数据4013138

2019-07-03

卢老师您好,3-2课程中,参数共享问题的理解,我一个参数块只能捕捉到一个局部特征?
(我真的反复听了3遍+了)

不确定性内容:您课上提到,从局部连接到参数共享,“图像的特征和图像图片描述的位置是无关的?”这个是说爱意斯坦图像中眼镜这个特征可能会出现在图片中的其它位置?而出现在哪个位置并不影响眼镜这个特征本身的含义?
“强迫每个神经元与图像的局部连接都使用同样的参数,如果每个神经元去学习固定位置的特征的话,这个神经元也不知道它学的是什么?”因为这个特征出现位置是可以变化的?
我们强制每个神经元与图像的局部连接都使用同样的参数。我用我的某个参数块去划过图像的所有位置,不管图片中的特征出现在哪个位置,我这个参数块总是能滑到这个特征上(我这个学习到的参数块存在的意义也就是去为了捕捉这个特征的),把相应的位置信息通过点积把某个神经元激活。
参数共享利用的是图像特征与位置无关,实现方式是强迫每个神经元与局部连接用的信息是一样的。

所以可不可以这样理解,一个参数块其实只能学习捕捉到一个局部特征?

写回答

1回答

正十七

2019-07-10

同学你好,大部分你的理解都是正确的。

”这个是说爱意斯坦图像中眼镜这个特征可能会出现在图片中的其它位置?而出现在哪个位置并不影响眼镜这个特征本身的含义?“

是的。


”强迫每个神经元与图像的局部连接都使用同样的参数,如果每个神经元去学习固定位置的特征的话,这个神经元也不知道它学的是什么?”因为这个特征出现位置是可以变化的?“

对的,在学习完后,卷积遇到类似的图像patch,就会得到较大的激活值,而其他的像素模式则不会有较大的激活值。


但最后,你可以理解为一组参数可以学到一类特征而不是一个局部特征,在我们举的例子是爱因斯坦的眼睛,所以看起来是个局部特征,但是其实还可以是山的边缘特征,可能是一个横条,或者是树木信息,一旦有树木就会被激活等等。

0
2
正十七
回复
Raydo
卷积核是学习出来的,使用的梯度下降算法。
2019-10-18
共2条回复

深度学习之神经网络(CNN/RNN/GAN)算法原理+实战

深度学习算法工程师必学,深入理解深度学习核心算法CNN RNN GAN

2617 学习 · 935 问题

查看课程