继续训练模型,如何继承之前的lr呢?
来源:2-2 【讨论题】比较动态图与静态图推理框架

2227181
2023-11-22
老师,有时无法一次性的把预设的模型训练轮次跑完,需要在上次训练的基础上继续训练。我采用的方法是在Trainer程序创建模型对象的后面加上加载上次训练保存的模型参数的语句,如课程第12章的语言翻译的模型:
encoder = EncoderRNN(input_lang.n_words, hidden_size).to(device)
decoder = AttenDecoderRNN(hidden_size, output_lang.n_words, dropout_p=0.1, max_len=MAX_LENGTH).to(device)
#加载训练好的模型
encoder.load_state_dict(torch.load(“D:/Share/TestPicture/AI/pytorch/chapter12/models/encoder_189000.pth”))
decoder.load_state_dict(torch.load(“D:/Share/TestPicture/AI/pytorch/chapter12/models/decoder_189000.pth”))
但是“lr”如何提取之前保存模型参数时的值并在继续优化逻辑呢?
以上,谢谢。
写回答
1回答
-
会写代码的好厨师
2023-12-06
Lr 存放在优化器参数里面。我们保存的参数实际上就是dict的格式,可以对优化器参数单独保存,并进行加载。
00
相似问题