2-4中经过10个epoch训练,结果并未持续改进。

来源:2-4 实战分类模型之模型构建

OliverSong

2019-06-20

请问在2-4中,经过10个epoch,结果始终是loss: 14.5075 - accuracy: 0.0999,无法改进,是因为weights的初始化问题吗?或者是遇到鞍点?谢谢!
图片描述

写回答

2回答

qq_白玉_1

2019-06-20

事实上我问过这个问题,将学习率调整为0.001即可正常训练。你也可以去参考该问题的回答。

0
2
qq_白玉_1
回复
OliverSong
一起进步,加油同学。
2019-06-20
共2条回复

Linanyaoooo

2019-06-20

我也遇到了一样的问题,参照代码库中进行特征归一化能够解决,知识不知道为什么课程视频中没有遇到这种情况


0
1
OliverSong
hello,对归一化过后可以解决。但我想背后的原因应该是:输入数据太大(255),因此目标理想权重需要很小,才能使得预测正确,但因为relu的导数是1(正值)或0(负值),所以backprobagate时候导数过大。 你可以试试改成‘sigmoid’做激活函数,没有归一化情况也能做。但归一化在日常中是必须。
2019-06-20
共1条回复

Google老师亲授 TensorFlow2.0 入门到进阶

Tensorflow2.0实战—以实战促理论的方式学习深度学习

1849 学习 · 896 问题

查看课程