关于selu

来源：6-10 10monkeys基础模型搭建与训练

manbaneverout

2020-05-04

老师您好，在6-10这小节中，
1.您说在这个数据集上用归一化的效果更差（即使用relu而不是selu），是不是因为对于图像这种所有特征的量纲都是一样的数据来说，不需要进行归一化？
2.能否简单说下optimizer=Adam的原理？
麻烦您了

写回答

1回答

正十七

2020-05-24

不是，selu差并不代表其他的归一化手段会差，比如BN，用起来还是很香。
Adam 优化器的原理比较复杂，是基于动量优化器和自适应优化器的组合方法，可以参考这个文章：https://zhuanlan.zhihu.com/p/79981927

Google老师亲授 TensorFlow2.0 入门到进阶

Tensorflow2.0实战—以实战促理论的方式学习深度学习

1849 学习 · 896 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 1