请问老师，embedding层的训练是如何进行的呢？
来源：7-3 数据padding、模型构建与训练
OliverSong
2019-09-05
- 使用预训练的embedding层，trainable = False，这个好理解。
- 如果想从自己的语料训练一个embedding，那么是
a) 先彻底完成embedding层的训练（skip-gram），将此层固定下来后，继续训练剩余层。还是
b）embedding层也是与其他层一样，是根据最终的loss来更新的。
我觉得应该是a) 合理些，求教老师解答。
谢谢！
写回答
1回答
-
应该是b，之前大家都用word2vec或者自行训练embedding，然后再保持embedding不变去训练网络其他部分。但是后来通用的做法就是一块训练，因为效果好。
032019-10-31
相似问题