Attention 与full connect的区别?

来源:7-2 Seq2Seq模型(注意力机制)

XueTr

2019-03-30

感觉单层的Attention是要连接上一层,或者说是输入的每一个输入的单个节点,跟全连接结构特别像,有没有特别细的区别或者说明?

写回答

1回答

Mr_Ricky

2019-04-02

全连接层是层与层之间的全连接,而且是所有的节点连接,而attention是特定的在那一句话中的词的连接,这是不一样的。

0
0

NLP实践TensorFlow打造聊天机器人

解析自然语言处理( NLP )常用技术,从0搭建聊天机器人应用并部署上线,可用于毕设。

673 学习 · 281 问题

查看课程