明明是每一层都采用的相同同的初始化方法，为什么每一层的参数分布会不一样？比如 5-2 的15分钟处

首页课程实战体系课手记专栏慕课教程

明明是每一层都采用的相同同的初始化方法，为什么每一层的参数分布会不一样？比如 5-2 的15分钟处

来源：5-2 激活函数到调参技巧（1）

心不在焉3245945

2019-03-08

写回答

1回答

正十七

正十七

2019-03-20

同学您好，5-2的15分钟处显示的不是参数的分布，而是数据经过某一层后得到的激活值的分布。所以虽然参数的分布一样，但由于每一层的输入的分布是不同的，所以每一层的激活值的分布也是不同的。

2

0

深度学习之神经网络(CNN/RNN/GAN)算法原理+实战

深度学习算法工程师必学，深入理解深度学习核心算法CNN RNN GAN

2617 学习 · 935 问题

相似问题

老师，网络正态分布初始化，是指全连接层的w和b都服从正态分布初始化吗

回答 1

xavier初始化方法为什么有效

回答 1

老师，在5-2调参技巧讲网络初始化的时候。参数是指每个卷积核的参数，还是说模型训练最终的参数。还是第一层的参数，这里没讲清楚。

回答 1

关于padding的same和valid以及降采样图像变为原来一半的疑惑

回答 2

老师请问restore是怎样恢复训练好的数据的？

回答 1

打开慕课网App查看更多内容