Transformer train阶段并行化体现在那几个方面？

来源：10-24 EncoderModel实现

站在你背后的

2020-03-20

Transformer相比Seq2Seq优点，train时候可以并行化，具体体现在那几个方面的并行化呢？

写回答

1回答

正十七

2020-03-21

已采纳

体现在对于输入的处理上。对于seq2seq模型，encoder和decoder都是lstm，lstm在处理序列的时候需要一个一个的处理。而在训练的时候，Transformer在处理encoder和decoder的输入上都可以并行。

Google老师亲授 TensorFlow2.0 入门到进阶

Tensorflow2.0实战—以实战促理论的方式学习深度学习

1849 学习 · 896 问题

相似问题

回答 2

回答 1

回答 1

回答 1

回答 1