老师您好,关于梯度校验这块,有个个人理解,烦请您帮忙校正下
来源:6-8 如何确定梯度计算的准确性?调试梯度下降法
kongba
2020-12-22
梯度下降算法的步骤基本是固定的,只是不同函数,对应的求导函数也不同,如果是复杂的多元函数,它对应的求导函数可能也会很复杂,如果不是语法出现错误,程序是不会报错的,所以这时我们不知道自己写的求导函数是否计算的正确,而dJ_dubug适用于所有函数,可以作为一个参照,如果自己写的求导函数计算的结果和dJ_dubug计算得到的结果误差在设置的精度范围内,则说明自己写的求导函数是正确的。
以上是本人关于“校验“这块的理解,理解的正确吗
写回答
1回答
-
完全正确!dJ_debug 的缺点是运算过慢,所以在大规模数据训练时不实用,但可以用来对小闺蜜数据检验一下自己计算的导数函数是否正确:)
继续加油!:)012020-12-22
相似问题