数据填充对齐
来源:7-12 数据集封装

年少啥都学
2020-04-02
padding_num = self._num_timesteps - len(id_words)
id_words = id_words + [
self._vocab.unk for i in range(padding_num)]
请问 以上代码中self._vocab.unk代表什么?为什么能扩充训练语句直到能对齐?是因为类似于CNN的padding层,填充的是随机id?self._vocab.unk对应的是什么id?
写回答
1回答
-
unk是特别分配的id,值为0,unk的值我们在数据预处理那一节中讲过。
你可以理解为它就是一个特殊字符,跟图片里的像素0的作用一样,图片里我们使用0去做padding,文本里我们使用unk去做padding。
00
相似问题
数据怎么导入虚拟机的?
回答 2
数据集分布
回答 1