老师您好,关于梯度校验这块,有个个人理解,烦请您帮忙校正下

来源:6-8 如何确定梯度计算的准确性?调试梯度下降法

kongba

2020-12-22

梯度下降算法的步骤基本是固定的,只是不同函数,对应的求导函数也不同,如果是复杂的多元函数,它对应的求导函数可能也会很复杂,如果不是语法出现错误,程序是不会报错的,所以这时我们不知道自己写的求导函数是否计算的正确,而dJ_dubug适用于所有函数,可以作为一个参照,如果自己写的求导函数计算的结果和dJ_dubug计算得到的结果误差在设置的精度范围内,则说明自己写的求导函数是正确的。
以上是本人关于“校验“这块的理解,理解的正确吗

写回答

1回答

liuyubobobo

2020-12-22

完全正确!dJ_debug 的缺点是运算过慢,所以在大规模数据训练时不实用,但可以用来对小闺蜜数据检验一下自己计算的导数函数是否正确:)

继续加油!:)

0
1
kongba
非常感谢!
2020-12-22
共1条回复

Python3入门机器学习 经典算法与应用  

Python3+sklearn,兼顾原理、算法底层实现和框架使用。

5839 学习 · 2437 问题

查看课程