Adam校准以加速训练这里能否稍微详细说明一下，谢谢！

来源：5-1 adagrad_adam

Sean_007

2020-07-05

如题，first_unbias和second_unbias在这里是如何起到加速训练作用的？

写回答

1回答

正十七

2020-07-07

不知道你说的first_unbias和second_unbias是不是我理解的bata_1和beta_2, 在这里，Adam是Momentum和RMSProp的结合体，beta_1用来做momentum，动量会加速训练这点我们课上讲过了。

beta_2用来做梯度的归一化，即用累积的梯度平方和去对梯度做归一化，使得更新频繁的变量更新的小一点，而更新不频繁的变量更新的多一些。加速训练主要体现在后者，更新的不频繁的变量更新大一些来进行加速。

https://zhuanlan.zhihu.com/p/32626442

Sean_007

抱歉，我的问题没有说清楚。其实我指的是偏置校正这里，知乎链接里有讲这一部分，说是它可以保证迭代更为平稳。所以，可不可以这样理解：由于迭代更平稳了，因此加速了训练。但是这个初值偏移有些没太理解，为何偏向了0？是因为初始时之前的累积量为0吗？

2020-07-07

共1条回复

深度学习之神经网络(CNN/RNN/GAN)算法原理+实战

深度学习算法工程师必学，深入理解深度学习核心算法CNN RNN GAN

2617 学习 · 935 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 2