老师之后还会更新么?

来源:10-33 GPT与Bert与课程总结

qq_雨后天晴_0

2019-11-12

老师之后还会更新么,能不能补充一点自己搭建语言模型去训练词向量的知识和实践呢?

写回答

1回答

正十七

2019-11-17

同学你好,后面应该会有更新代码的操作,视频应该不会更新新内容了。

另外,我们的LSTM的训练章节其实有词向量的概念了。这样的LSTM也是语言模型。修改一些代码(把LSTM替换成FC)应该就能训练词向量了。

最后,现在,训练词向量已经过时了,大家更偏向用Bert/GPT来预训练整个网络。


0
2
qq_雨后天晴_0
还有就是现在某些环境比如高校研究环境对相关算法在应用领域下的研究可能设备不够,导致训练bert和GPT成为很难的事,然后只能采用迁移的方式,这样会不会使得相关研究变成一个没有什么技术含量的事情
2019-11-18
共2条回复

Google老师亲授 TensorFlow2.0 入门到进阶

Tensorflow2.0实战—以实战促理论的方式学习深度学习

1849 学习 · 896 问题

查看课程