激活函数和归一化的问题

来源:2-3 神经元多输出

FANGYUAN_

2019-01-21

图片描述
老师,为什么E^(-wx)是激活函数呢?1的存在又是什么呢?
归一化的含义在这里到底是什么呢?我的理解就只是两个分子相加,但是不理解具体老师想表达的是什么…

写回答

6回答

linhbo

2019-07-23

我说说我的理解吧,今天刚看了这个课程,在刷问答区刷到这个问题

1.首先,激活函数不是E^(-wx),而是整个P这个式子。

2你可以从从宏观考虑,P这个主要是为了计算概率,而我们利用e^的特性,e^x 肯定是一个大于0数,所以整个式子的取值刚好在0-1之间,你可以画图像,当wx=0的时候,1/1+e^0是不是刚好是0.5,所以在二分类问题上,大于0.5归为一类,小于0.5归为一类。所以P(0|x)=1-P(1|x) 

3.关于归一化是指将所有的数据映射到同一个维度下,sigmoid函数将所有的数据都映射到了0-1之间的维度中了。所以在logistic回归中,数据事前不需要做归一化了。

4.所以这个1我觉得你不用太纠结,应该只是单纯的表示1这个数字,通过数字1和e^(-wx)组合起来就是sigmoid函数

4
0

徐梓淞

2019-05-19

老师已经不管这帮学生了吗 好久都没上线了

3
0

慕勒8140236

2019-01-31

我的理解1是和E^(-wx)一样,E^(-wx)的范围可以大于1可以小于1,所以抽象化理解成在二分类中的分别取到的两个值;

归一化是两项或者多项求和之后,某项在这些和中所占的比例,这个目的是将range缩放到(0,1)区间,而且二分类中更像概率

2
0

正十七

2019-10-01

weixin_lhb1124_0的回答很对,补充一点,这里的归一化是要把两个实数给映射到概率空间。对于二分类来说,1相当于是一个标杆,有了这个1,我做映射的时候就只需要一个w向量去和x相乘。

而如果是多类的话,那么我们一般就不用1了,而是给每个类一个向量w去和x做内积。得到

e^(-w1 * x), e^(-w2 * x),... 等,然后再归一化。

1
0

qq_慕容8357050

2019-07-22

再补充一下,那个1是为了和b配对而加上X的,这样就变成了X矩阵和w参数的矩阵点乘,如果不懂的可以看liuyubobo老师的机器学习课程

1
0

qq_慕容8357050

2019-07-22

这老师讲的真的差,和对面的liuyubobo老师完全没法比,这里激活函数我没研究,数据归一化操作在这里应该指极值归一化:(当前值-最小值)/(最大值-最小值)

0
1
正十七
你对归一化的理解太狭窄了。这里是把实数映射到概率空间,使他们的转换结果之和为1.
2019-10-01
共1条回复

深度学习之神经网络(CNN/RNN/GAN)算法原理+实战

深度学习算法工程师必学,深入理解深度学习核心算法CNN RNN GAN

2617 学习 · 935 问题

查看课程