关于训练集id化后出现了0索引
来源:7-12 数据集封装
你鸡
2019-04-16
老师这个是你打印的训练集中得到的2个minibatch,我发现里面有0索引,对应的应该是unknown。但是词表不是就是由训练集得到的吗?为什么训练集中还会存在unknown呢?
写回答
1回答
-
因为我做了filter,不是所有的词都留了下来,对于出现频次较少的词,我过滤掉了。当然频次阈值是可以设的,你可以设成0来用全词表。
012019-04-23
相似问题