关于scale

来源：7-14 计算图实现

CrazyCat岩

2019-01-06

老师，scale这个式子没明白是什么原理

写回答

1回答

正十七

2019-01-20

已采纳

你是指的

scale = 1.0 / math.sqrt(hps.num_embedding_size + hps.num_lstm_nodes[-1]) / 3.0

这行代码么？

这行代码表示的是 1/(sqrt(in_nodes, out_nodes) * 3), 是我各种尝试出来的初始化的factor，你可以回顾一下我们课上讲的Xavier和He 初始化方法，这些方法都类似。

深度学习之神经网络(CNN/RNN/GAN)算法原理+实战

深度学习算法工程师必学，深入理解深度学习核心算法CNN RNN GAN

2617 学习 · 935 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 1