LSTM和Attention的对比

来源：7-5 基于CNN的文本分类模型(TextCNN)

闰土在线抓猹

2020-03-23

老师您好，

如果把LSTM中的输入门和输出门去掉，只保留遗忘门，那它是不是就和加了Attention的普通RNN类似了呢？

写回答

1回答

正十七

2020-03-24

已采纳

还是不一样，attention机制是给很多步得到的向量A = [a1, a2, a3,...]，分别去和另一个向量b去做attention计算权重，然后用权重再去给A做加权平均。这一点只有遗忘门做不到。

深度学习之神经网络(CNN/RNN/GAN)算法原理+实战

深度学习算法工程师必学，深入理解深度学习核心算法CNN RNN GAN

2617 学习 · 935 问题

相似问题

回答 1

回答 1

lstm

回答 1

回答 1

回答 1