Transformer模型怎么保存

来源：10-29 模型训练

qq_慕粉0086819

2019-11-21

我看见git上pending issues 上有这个问题但是transorformer代码上没有看到模型保存能尽快更新吗？

写回答

2回答

正十七

2019-12-01

已更新到代码库中。

目前来看，对于子类继承的模型，tensorflow2.0中不支持h5格式的保存，对于Sequential的模型才可以保存。而我们的transformer模型，并不是层级结构。因而目前不支持h5格式。

而对于encoder.save(‘encoder’,save_format=‘Tf’)的失败，则是因为我们的模型输入比较复杂，call函数的参数除了input还有mask信息。要想save_format = TF成功，只能有input信息，所以并不符合我们模型的需求。所以也无法实现。

目前可行的方法是checkpoint，即只存储模型的参数。这点我们已经在代码中实现了。可以参考最新的代码。

正十七

2019-11-24

能，多给我几天时间哈。下周中间左右会更新。

MrError404

正十七

老师你好，嗯，知道了。维吾尔语不需要分词。那我咨询汉语分词

2019-12-23

共5条回复

Google老师亲授 TensorFlow2.0 入门到进阶

Tensorflow2.0实战—以实战促理论的方式学习深度学习

1849 学习 · 896 问题

相似问题

回答 1

回答 1

回答 1

回答 2

回答 1