关于<UNK>

来源:8-9 数据介绍,词表生成

慕沐734317

2019-03-06

设置这个的数值是有什么用啊,随便设置一个大小就行吗?
还有这个的意义是不是只有把那些过滤掉的词在word2id时都统一设置成的id值这一个作用啊,还有其他的作用嘛?

写回答

1回答

正十七

2019-03-08

还有一个作用是词表是基于训练集生成的,那么测试集中可能会有训练集中没有出现的词,这些词需要用UNK来表示。

0
0

深度学习之神经网络(CNN/RNN/GAN)算法原理+实战

深度学习算法工程师必学,深入理解深度学习核心算法CNN RNN GAN

2617 学习 · 935 问题

查看课程