继续训练模型,如何继承之前的lr呢?

来源:2-2 【讨论题】比较动态图与静态图推理框架

2227181

2023-11-22

老师,有时无法一次性的把预设的模型训练轮次跑完,需要在上次训练的基础上继续训练。我采用的方法是在Trainer程序创建模型对象的后面加上加载上次训练保存的模型参数的语句,如课程第12章的语言翻译的模型:
encoder = EncoderRNN(input_lang.n_words, hidden_size).to(device)
decoder = AttenDecoderRNN(hidden_size, output_lang.n_words, dropout_p=0.1, max_len=MAX_LENGTH).to(device)

#加载训练好的模型
encoder.load_state_dict(torch.load(“D:/Share/TestPicture/AI/pytorch/chapter12/models/encoder_189000.pth”))
decoder.load_state_dict(torch.load(“D:/Share/TestPicture/AI/pytorch/chapter12/models/decoder_189000.pth”))

但是“lr”如何提取之前保存模型参数时的值并在继续优化逻辑呢?

以上,谢谢。

写回答

1回答

会写代码的好厨师

2023-12-06

Lr 存放在优化器参数里面。我们保存的参数实际上就是dict的格式,可以对优化器参数单独保存,并进行加载。

0
0

PyTorch入门到进阶 实战计算机视觉与自然语言处理项目

理论基础+技术讲解+实战开发,快速掌握PyTorch框架

1190 学习 · 293 问题

查看课程