位置编码信息

来源：10-13 多头注意力与位置编码

qq_慕前端4252840

2021-08-02

老师，感觉好像做位置编码是仅仅针对一个词本身而言，对于词与词之间的相对位置顺序好像没有做编码啊，那在并行的情况下，怎么能知道哪个词在前面，哪个词在后面呢？这里感觉好绕啊。还是说每一个词的位置编码是一个长度为句子长度的稀疏向量，对应位置才有数值，其他的位置都是0？

写回答

1回答

正十七

2021-08-07

已采纳

在这里，位置编码的作用是给每一个位置独特的编码，而不是特意的强调前后顺序。

在并行的情况下，我们有lookahead mask来做处理，即对某个位置做预测的时候，会把这个位置之后的input给mask掉，这样后面的数据就不会影响当前位置的预测了。

位置表吗不是one-hot编码，每个位置编码都是独特的。在我们的课程里，位置编码是固定的，而在一些变种里，位置编码是可学习的。

qq_慕前端4252840

非常感谢！

2021-08-07

共1条回复

Google老师亲授 TensorFlow2.0 入门到进阶

Tensorflow2.0实战—以实战促理论的方式学习深度学习

1849 学习 · 896 问题

相似问题

回答 1

回答 2

回答 1

回答 1

回答 1