1回答

正十七

2022-07-17

> 1.对不同的层次应用不同的learning rate,这个GradientTape就能够帮我们做到。
learning rate 和GradientTape参数结合使用在哪设置呀？能举例写写代码说下么，多谢！

opt = tf.keras.optimizers.SGD(learning_rate=0.1)
model = tf.keras.Sequential()
model.add(tf.keras.layers.Dense(num_hidden, activation='relu'))
model.add(tf.keras.layers.Dense(num_classes, activation='sigmoid'))
loss_fn = lambda: tf.keras.losses.mse(model(input), output)
var_list_fn = lambda: model.trainable_weights
for input, output in data:
  opt.minimize(loss_fn, var_list_fn)

这个代码不全，model.trainable_weights应该是个list，你需要都它进行分组，不同的组用不同的optimizer

> 2.如果整个网络使用统一的learning rate,这个参数设置又在哪个位置呢

就是在optimizer里面设置啊：

horsepower_model.compile(
    optimizer=tf.keras.optimizers.Adam(learning_rate=0.1),
    loss='mean_absolute_error')

0

1

慕九州7272337

这个代码不全，model.trainable_weights应该是个list，你需要都它进行分组，不同的组用不同的optimizer，这个后面会讲到么

2022-07-18

共1条回复