1回答

会写代码的好厨师

2018-12-11

已采纳

有一些经验可以分享给你。1）学习率一般都是从0.01开始调（我更喜欢从0.001，第一个step久一些），不太会比0.01更大的。2）步长设置多大，要根据你的训练样本数量来，比如训练样本1000个，batchsize=10，那每一个epoch就是需要100个step，你的衰减的步长就可以设置为1000或者500，至少保证5-10个epoch。3）学习率大的话，训练的时候会震荡，这个是正常现象，同时loss降低的也快，观察loss变化，大概在多少次的时候稳定，不在降，这个时候在来指导后续的step设置；4）学习率一般到1e-6基本上就不会有太大变化了，所以在设置低了往往意义也不大了；5）在调试的时候，可以考虑先使用小样本和大的学习，保证问题是可以拟合的，在选择合适的学习率。6）step通常在第一次要久一些，后面可以保证5个左右的epoch就好了，具体还要看实际情况，所以一定要对log做分析。

0

1

慕虎2738338

谢谢老师分享经验

2018-12-17

共1条回复