关于反向传播的问题
来源:1-11 AWS云平台环境配置
Ambition
2019-06-09
我想问一下,梯度下降和反向传播有关系吗?梯度下降是在训练完一个神经元之后,利用损失函数,进行比对数据误差并调整w,b参数的一种优化,但是课程中没有提到反向传播吧?我看很多资料说反向传播是必须的,望老师解答下梯度下降和反向传播的关系
写回答
1回答
-
正十七
2019-06-09
梯度下降就是调整参数的方法,而反向传播则是深度神经网络中计算梯度的方法,在深度神经网络中,层次较低的网络参数的梯度要依靠高层的梯度和激活值来进行计算才可以,类似于高中学习的复合函数求导,df(g(x))/dx = f'(g(x)) * g'(x). 在神经网络中,每一层都相当于是一个函数操作。
10
相似问题