为什么在encoder layer和decoder layer里的multiheadattention的qkv都传了x进去？

首页课程实战体系课手记专栏慕课教程

为什么在encoder layer和decoder layer里的multiheadattention的qkv都传了x进去？

来源：10-22 EncoderLayer实现

慕仔8505825

2020-11-12

写回答

1回答

正十七

正十七

2020-11-16

在这个翻译问题上，存在这三种注意力，

encoder的输入的要翻译的句子上的自己对自己的注意里，用来提取源语句信息。
decoder的输入的句子自己对自己的注意力，用来提取目标语句的信息。
encoder和decoder之间的注意力，用来寻找源语句和目标语句之间的对应关系。

输入的都是x的时候，说的是前两种注意力。

0

0

Google老师亲授 TensorFlow2.0 入门到进阶

Tensorflow2.0实战—以实战促理论的方式学习深度学习

1849 学习 · 896 问题

相似问题

关于decoder中的QKV问题

回答 2

tf.layers.Model和tf.layers.Layer

回答 1

decoder中的gru隐状态

回答 1

请问layer(tf.zeros([10,5]))能直接运行的原因

回答 2

关于decoder输入

回答 1

打开慕课网App查看更多内容