训练结果对预测有什么影响
来源:5-5 预定义estimator使用
朝堂布衣
2021-12-06
机器翻译最终预测过程和有没有训练有什么关系,预测过程好像没用到训练的结果
写回答
1回答
-
正十七
2021-12-07
预测和训练的区别是在decoder部分,预测过程是单步的,训练则是多步的。
两者的输入都是(sentence_in_source_language, sentence_in_target_language), 都在encoder部分把sentence_in_source_language embed好,然后decoder部分训练和预测就不一样了,在训练中,我们知道sentence_in_target_language, 因而可以把这个句子中的所有单词都作为输入,得到输出然后计算损失计算梯度等。但在预测中,我们不知道这个句子是什么,因而需要用自回归的方式一个一个的生成词语。即先预测第一个词,得到后把第一个词当作输入再去得到第二个词。
上面两个过程只是逻辑变了,但参数没有变化。预测过程要用训练得到的参数。
00
相似问题