关于反向传播的问题

来源:1-11 AWS云平台环境配置

Ambition

2019-06-09

我想问一下,梯度下降和反向传播有关系吗?梯度下降是在训练完一个神经元之后,利用损失函数,进行比对数据误差并调整w,b参数的一种优化,但是课程中没有提到反向传播吧?我看很多资料说反向传播是必须的,望老师解答下梯度下降和反向传播的关系

写回答

1回答

正十七

2019-06-09

梯度下降就是调整参数的方法,而反向传播则是深度神经网络中计算梯度的方法,在深度神经网络中,层次较低的网络参数的梯度要依靠高层的梯度和激活值来进行计算才可以,类似于高中学习的复合函数求导,df(g(x))/dx = f'(g(x)) * g'(x). 在神经网络中,每一层都相当于是一个函数操作。

1
0

Google老师亲授 TensorFlow2.0 入门到进阶

Tensorflow2.0实战—以实战促理论的方式学习深度学习

1849 学习 · 896 问题

查看课程