参数设置
来源：7-3 数据padding、模型构建与训练
慕九州7272337
2022-09-14
从上到下依次为图1，图2[滑到最底端]
1.为什么max_length设置成500,依据什么设置的？
2.7-2中的vocab_size=10000依据是什么
3.每个词对应的数字映都要映射成16长度的向量么，如下图1所示
4.为什么7-5同学提的问题中的vocab_size写的是len(vocab)，
但是老师在7-3中却将vocab_size设成了一个常量10000，而不是vocab的长度?
如下图2所示：
写回答
1回答
-
max_sequence = 500, 要根据数据来，统计长度，要在数据覆盖程度和模型训练复杂度之间做trade-off
vocab_size = 10000，一样，也要根据数据来，覆盖越多的词语越好，但也不能太大，太大会导致模型尺寸很大，也是一个trade-off. 在这个demo中，这两个我是肉眼看了一下数据设的，真实场景下要自行统计数据。
embedding_dim是一个超参数，可以设置成其他值。
很多稀有词，比如只出现过一次，不配拥有自己的embedding，哈哈。有了也无法训练。如2, 词表不能太大，总要有取舍，低频词一般会被干掉来防止模型太大。
012022-09-15
相似问题