激活函数和归一化的问题
来源:2-3 神经元多输出
FANGYUAN_
2019-01-21
老师,为什么E^(-wx)是激活函数呢?1的存在又是什么呢?
归一化的含义在这里到底是什么呢?我的理解就只是两个分子相加,但是不理解具体老师想表达的是什么…
6回答
-
linhbo
2019-07-23
我说说我的理解吧,今天刚看了这个课程,在刷问答区刷到这个问题
1.首先,激活函数不是E^(-wx),而是整个P这个式子。
2你可以从从宏观考虑,P这个主要是为了计算概率,而我们利用e^的特性,e^x 肯定是一个大于0数,所以整个式子的取值刚好在0-1之间,你可以画图像,当wx=0的时候,1/1+e^0是不是刚好是0.5,所以在二分类问题上,大于0.5归为一类,小于0.5归为一类。所以P(0|x)=1-P(1|x)
3.关于归一化是指将所有的数据映射到同一个维度下,sigmoid函数将所有的数据都映射到了0-1之间的维度中了。所以在logistic回归中,数据事前不需要做归一化了。
4.所以这个1我觉得你不用太纠结,应该只是单纯的表示1这个数字,通过数字1和e^(-wx)组合起来就是sigmoid函数
40 -
徐梓淞
2019-05-19
老师已经不管这帮学生了吗 好久都没上线了
30 -
慕勒8140236
2019-01-31
我的理解1是和E^(-wx)一样,E^(-wx)的范围可以大于1可以小于1,所以抽象化理解成在二分类中的分别取到的两个值;
归一化是两项或者多项求和之后,某项在这些和中所占的比例,这个目的是将range缩放到(0,1)区间,而且二分类中更像概率
20 -
正十七
2019-10-01
weixin_lhb1124_0的回答很对,补充一点,这里的归一化是要把两个实数给映射到概率空间。对于二分类来说,1相当于是一个标杆,有了这个1,我做映射的时候就只需要一个w向量去和x相乘。
而如果是多类的话,那么我们一般就不用1了,而是给每个类一个向量w去和x做内积。得到
e^(-w1 * x), e^(-w2 * x),... 等,然后再归一化。
10 -
qq_慕容8357050
2019-07-22
再补充一下,那个1是为了和b配对而加上X的,这样就变成了X矩阵和w参数的矩阵点乘,如果不懂的可以看liuyubobo老师的机器学习课程
10 -
qq_慕容8357050
2019-07-22
这老师讲的真的差,和对面的liuyubobo老师完全没法比,这里激活函数我没研究,数据归一化操作在这里应该指极值归一化:(当前值-最小值)/(最大值-最小值)
012019-10-01
相似问题