transformer里面的inputvocabsize和targetvocabsize问题

来源：10-26 Transformer实现

qq_慕前端4252840

2021-08-18

老师，你在构建transformer的时候，inputvocabsize,targetvocabsize分别设置为8500，8000 这两个数字是大致设置的，还是根据pt_tokenizer和en_tokenizer的词表大小来的？

写回答

1回答

正十七

2021-08-19

已采纳

demo中的这两个数字是我大致设的。但在实际应用中，应该要仔细的考量，比如英文词表其实非常大，一般有200k，这时候需要我们衡量模型尺寸、训练速度和准确率，一般来说，词表外的词以不超过10%为好。

Google老师亲授 TensorFlow2.0 入门到进阶

Tensorflow2.0实战—以实战促理论的方式学习深度学习

1849 学习 · 896 问题

相似问题

回答 2

回答 1

回答 1

回答 1

回答 1