“步长”乘“导数”
来源:6-2 模拟实现梯度下降法
zxytxwdy
2018-05-06
请问老师,这个“步长”乘以“导数”表示的是J的变化值吗?
写回答
1回答
-
导数d(J)/d(theta),描述的是theta产生单位变化的时候,相应的J的变化。在这里,我们主要关注这个导数的符号。这个导数的符号,表示的函数J增大的方向(导数为正,表示theta向正方向移动,J增大;导数为负,表示theta向负方向移动,J增大。)由于我们要找到J的最小值,所以我们的theta向-d(J)/d(theta)的方向移动。而移动的大小,由eta进行调节。
把这些逻辑合在一起,-eta*dJ/d(tehta),是我们的theta的改变量,这个改变量,在让J减小。
后续结合我们写的程序,可能会理解的更深刻。如果有必要,建议再看一遍这一章第一小节对于这个图示的介绍:)
加油!
092018-05-07
相似问题