位置编码可视图

来源：10-13 多头注意力与位置编码

紫梦沁香

2021-09-07

看不懂这个图有什么含义，颜色深浅不同的地方代表了什么呢？
图片描述

写回答

1回答

正十七

2021-09-25

色度表在右侧，因为cos和sin的输出都在[-1, 1]区间，所以颜色值也是在[-1, 1]之间变化。白色代表值接近于0, 蓝色代表接近1。

这张图纵坐标代表位置，横坐标代表维度。所以相当于每行就是一个向量。

这张图要表达的意思就是，用sin和cos的方法可以为每一个位置都生成一个独一无二的编码。然后相邻位置的编码更加接近（当然，相邻位置的编码更加接近是一个先验假设）。

Google老师亲授 TensorFlow2.0 入门到进阶

Tensorflow2.0实战—以实战促理论的方式学习深度学习

1849 学习 · 896 问题

相似问题

回答 1

回答 2

回答 2

回答 1

回答 1