为什么将loss定义为如下形式(reduce_mean换成reduce_sum),train时不收敛
来源:4-16 综合小练习:梯度下降解决线性回归(下)
飞行只有我
2018-08-18
loss = tf.reduce_sum(tf.square(y-y_data))
写回答
1回答
-
Oscar
2018-08-23
算 loss / cost (损失)这里肯定要用 reduce_mean (想到于 reduce_sum 之后再除以 N,N 是 点的数目,在我们的例子里是 100)。
如果用 reduce_sum 来算 损失,那没边了,reduce_sum 算出来的值和 N 数目成正比,如果把 N 调成 1000, 10000,等等,那算出来的 loss 正比增大,没有意义。
00
相似问题