Attention 与full connect的区别?
来源:7-2 Seq2Seq模型(注意力机制)

XueTr
2019-03-30
感觉单层的Attention是要连接上一层,或者说是输入的每一个输入的单个节点,跟全连接结构特别像,有没有特别细的区别或者说明?
写回答
1回答
-
全连接层是层与层之间的全连接,而且是所有的节点连接,而attention是特定的在那一句话中的词的连接,这是不一样的。
00
相似问题
Attention 与full connect的区别?
来源:7-2 Seq2Seq模型(注意力机制)
XueTr
2019-03-30
感觉单层的Attention是要连接上一层,或者说是输入的每一个输入的单个节点,跟全连接结构特别像,有没有特别细的区别或者说明?
1回答
全连接层是层与层之间的全连接,而且是所有的节点连接,而attention是特定的在那一句话中的词的连接,这是不一样的。
相似问题