关于finetune

来源：5-6 fine-tune-实战

慕设计0394643

2020-04-02

老师，如果模型中权重为0的地方，它finetune后还会为0吗；如果为0说吗finetune只会调整非0的权重参数吗

写回答

1回答

正十七

2020-04-04

不一定。一般fine-tune会调整最顶层的几层，所以如果不在调整的范围之内，那么权重不会变。

假设模型的所有层都需要微调，那么权重为0的地方以后未必一直是0，因为权重是0，不代表梯度为0。

深度学习之神经网络(CNN/RNN/GAN)算法原理+实战

深度学习算法工程师必学，深入理解深度学习核心算法CNN RNN GAN

2617 学习 · 935 问题

相似问题

回答 1

trainable

回答 1

回答 1

回答 1

回答 1