“步长”乘“导数”

来源:6-2 模拟实现梯度下降法

zxytxwdy

2018-05-06

http://img.mukewang.com/szimg/5aeed7340001942708990504.jpg

请问老师,这个“步长”乘以“导数”表示的是J的变化值吗?

写回答

1回答

liuyubobobo

2018-05-06

导数d(J)/d(theta),描述的是theta产生单位变化的时候,相应的J的变化。在这里,我们主要关注这个导数的符号。这个导数的符号,表示的函数J增大的方向(导数为正,表示theta向正方向移动,J增大;导数为负,表示theta向负方向移动,J增大。)由于我们要找到J的最小值,所以我们的theta向-d(J)/d(theta)的方向移动。而移动的大小,由eta进行调节。


把这些逻辑合在一起,-eta*dJ/d(tehta),是我们的theta的改变量,这个改变量,在让J减小。


后续结合我们写的程序,可能会理解的更深刻。如果有必要,建议再看一遍这一章第一小节对于这个图示的介绍:)


加油!

0
9
zxytxwdy
回复
liuyubobobo
这下完全明白了,十分感谢!!
2018-05-07
共9条回复

Python3入门机器学习 经典算法与应用  

Python3+sklearn,兼顾原理、算法底层实现和框架使用。

5839 学习 · 2437 问题

查看课程