1回答

正十七

2018-11-25

一言以蔽之，就是把之前的梯度存储起来，用一定的权重加权加到当前的梯度上去。

用课程的代码进行表示，一步一步讲解就是：

vx = 0 # 这个是之前保存的梯度
while True:
    dx = compute_gradient(x) # 计算出来当下的梯度
    
    “”“
    等号右边的vx是上一步保存的梯度，rho是权重。等式的含义就是将上一步保存的梯度加权并且加
    上当下的梯度，就是这一步要更新的梯度，同时也是下一步的“上一步保存的梯度”。
    ”“”
    vx = rho * vx + dx
    x += learning_rate * vx # 更新参数

1

1

Liny77

老师，rho是个固定的值吗，还是需要另行计算，rhio是怎么计算的，是跟增强学习ada boosting一样没有被学习到的数据让它权值增大，还是其他的？

2019-03-25

共1条回复