数据填充对齐

来源:7-12 数据集封装

年少啥都学

2020-04-02

padding_num = self._num_timesteps - len(id_words)
id_words = id_words + [
self._vocab.unk for i in range(padding_num)]

请问 以上代码中self._vocab.unk代表什么?为什么能扩充训练语句直到能对齐?是因为类似于CNN的padding层,填充的是随机id?self._vocab.unk对应的是什么id?

写回答

1回答

正十七

2020-04-04

unk是特别分配的id,值为0,unk的值我们在数据预处理那一节中讲过。

你可以理解为它就是一个特殊字符,跟图片里的像素0的作用一样,图片里我们使用0去做padding,文本里我们使用unk去做padding。

0
0

深度学习之神经网络(CNN/RNN/GAN)算法原理+实战

深度学习算法工程师必学,深入理解深度学习核心算法CNN RNN GAN

2617 学习 · 935 问题

查看课程