为什么神经网络的loss会逐渐变小？就是经过一次神经网络之后，我们已经得到权重和偏置了，在哪一个步骤进行梯度下降调整？

来源：3-1 神经网络进阶

weixin_慕尼黑0465866

2020-05-03

写回答

1回答

正十七

2020-05-04

已采纳

loss会逐渐减小是因为代码中要求它变小：

with tf.name_scope('train_op'):
    train_op = tf.train.AdamOptimizer(1e-3).minimize(loss)

如果你想让它变大，那么给loss乘以一个负一就可以。

梯度的调整是隐式的，发生在这里：

loss_val, acc_val, _ = sess.run(
            [loss, accuracy, train_op],
            feed_dict={
                x: batch_data,
                y: batch_labels})

只要train_op在sess.run的参数列表里，就发生梯度下降的调整。

weixin_慕尼黑0465866

非常感谢！

2020-05-07

共1条回复

深度学习之神经网络(CNN/RNN/GAN)算法原理+实战

深度学习算法工程师必学，深入理解深度学习核心算法CNN RNN GAN

2617 学习 · 935 问题

查看课程

相似问题

老师您好，请问多层神经网络的课程视频在哪里呢？

回答 1

关于很大的梯度流过

回答 1

很大的梯度流过神经元？？

回答 1

为什么多层神经网络会更准确，原理是什么？

回答 1

神经网络参数在代码什么位置进行了调整？

回答 1

打开慕课网App查看更多内容