embedding的合并不是很理解？

来源：7-1 循环神经网络引入与embedding

慕设计0293856

2020-06-20

输入的词有可能是5个，或者7个，老师讲把510，或者710的矩阵最终变为一维的长度为10的一维的，这个为什么要这么变换了，另外一开始5个词为啥是5*10不是很理解

写回答

1回答

正十七

2020-06-21

已采纳

同学你好，我不太理解你描述的问题，我把整个过程再描述下，你看哪里跟你理解的不一样哈

假设词表大小是1000, 那么我们会给1000个词每一个都分配一个长度为L的向量作为embedding，如果长度为5,或者长度为7,那么输入就是5 * L 或者 7 * L的矩阵，因为是变长，所以我们会做补全，不管是长度为5还是长度为7, 我们都补到长度为T，比如T=10，补全用的字符我们称之为“padding”，这个“padding”也是词表中的一个词，所以这个时候，输入就变成了T*L的矩阵。

Google老师亲授 TensorFlow2.0 入门到进阶

Tensorflow2.0实战—以实战促理论的方式学习深度学习

1849 学习 · 896 问题

查看课程

相似问题

wide & deep模型里为什么这两项是直接做了叉乘，而不是先embedding,再叉乘

回答 1

请问老师，embedding层的训练是如何进行的呢？

回答 1

老师，embedding是不是仅能用于翻译任务。我想讲embedding用于金融序列可以吗

回答 1

缩放点积注意力计算拆分embedding dim问题

回答 1

input_vocab_size

回答 1

打开慕课网App查看更多内容