关于<UNK>
来源:8-9 数据介绍,词表生成

慕沐734317
2019-03-06
设置这个的数值是有什么用啊,随便设置一个大小就行吗?
还有这个的意义是不是只有把那些过滤掉的词在word2id时都统一设置成的id值这一个作用啊,还有其他的作用嘛?
写回答
1回答
-
还有一个作用是词表是基于训练集生成的,那么测试集中可能会有训练集中没有出现的词,这些词需要用UNK来表示。
00
相似问题
关于<UNK>
来源:8-9 数据介绍,词表生成
慕沐734317
2019-03-06
设置这个的数值是有什么用啊,随便设置一个大小就行吗?
还有这个的意义是不是只有把那些过滤掉的词在word2id时都统一设置成的id值这一个作用啊,还有其他的作用嘛?
1回答
还有一个作用是词表是基于训练集生成的,那么测试集中可能会有训练集中没有出现的词,这些词需要用UNK来表示。
相似问题