想问下老师eps的作用是什么？

来源：8-15 模型建立seq2seq类及train方法（1）

weixin_慕先生3453115

2020-05-16

想问下老师eps的作用是什么？

写回答

3回答

VincentVega

2020-05-19

已采纳

def train(self, batchSize, epoch=100, stopRound=10, lr=0.001, betas=(0.9, 0.99), eps=1e-08, weight_decay=0, teacherForcingRatio=0.5):

#epoch代表每个批次多少条数据，stopround代表每次训练停留，lr代表学习率，eps是为了提高数值稳定性而添加到分母的一个项

# weight_decay代表权重衰减，
# teacherForcingRatio代表一种网络训练方法：
# 它每次不使用上一个state的输出作为下一个state的输入，而是直接使用训练数据的标准答案(ground truth)的对应上一项作为下一个state的输入。

weixin_慕先生3453115

终于看到了能解决问题的答案o(￣▽￣)ｄ

2020-05-23

共1条回复

胖虎

2020-07-19

eps只是一个超参数，主要作用是提高数值稳定性添加一点东西到分母，再数学的一些公式中有使用。深度学习中会有一些经验值和理论值 1e-5 1e-7等具体要看哪个效果大概率就是用哪个

胖虎

2020-05-17

一个超参数

基于Pytorch热门深度学习框架从零开发NLP聊天机器人

基于中科院所内项目，Seq2Seq+attention主流算法，实战聊天机器人

273 学习 · 107 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 1