attention机制是啥? LSTM代码哪个位置？
来源：7-19 循环神经网络总结
qq_书山压力大EE_0
2019-02-22
总结到 文本分类时, attention机制 是指什么？ LSTM文本分类的代码中 没找到啊？
写回答
1回答
-
对于attention机制，可以理解为是一种加权机制。具体在文本分类中，每个词语经过lstm后会产生一个向量，可以认为是词语的语义表示，可以简单的把这些词语的表示加起来然后输入给最后的全连接层，但是这样效果不好，因为隐含了各个词语对最后结果影响一样的假设。attention机制在这里给每个词语的向量加上一个权重，然后再把它们加起来，这样就使得每个词语对最后结果的影响是不一样的。通过训练attention的参数，我们还可以判断出哪个词语对最后结果的影响最大。
由于课程篇幅原因，在课程中没有实现attention相关的代码。很遗憾，不过，attention的实现不难，在网上找一找，应该不难。
012019-02-25
相似问题