如果想用交叉熵函数改写这里的loss,应该怎么写?

来源:2-7 神经元实现(二分类逻辑斯蒂回归模型实现)

伊利札洛夫

2019-03-26

图片描述
上面的写法对吗?
另外,在这里使用平方差和交叉熵的loss,一般最后效果差别大吗?
如果是在多分类softmax里, 使用平方差和交叉熵,效果差别大吗?

写回答

1回答

正十七

2019-04-09

看了一下官方文档,https://www.tensorflow.org/api_docs/python/tf/nn/sigmoid_cross_entropy_with_logits

你的实现应该是对的,你可以运行一下看看对不对。

根据我的经验,在二分类上,两者效果应该差不多,但在多分类里,一般交叉熵比平方差会好。主要在于交叉熵的log有放大作用,可以区分出要学习的重点。

0
1
伊利札洛夫
非常感谢!
2019-05-20
共1条回复

深度学习之神经网络(CNN/RNN/GAN)算法原理+实战

深度学习算法工程师必学,深入理解深度学习核心算法CNN RNN GAN

2617 学习 · 935 问题

查看课程