主成分方向的问题,主成分可能有两个方向,实际应该以哪个方向为准?

来源:7-3 求数据的主成分PCA

weixin_慕少409219

2022-03-06

主成分方向的问题,主成分可能有两个方向,实际应该以哪个方向为准?,另外用协方差求特征向量作为主成分的话,还用对主成分模计算为1吗?

写回答

1回答

liuyubobobo

2022-03-07

如果你说的这两个方向的意思是可能为正可能为负的两个方向的话,这两个方向都可以,随便取一个即可。政府两个方向形成一条直线,这两直线是整个坐标轴。(比如平面坐标系中,x 轴是那条直线。我们规定了右边是正方向,左边是负方向,但如果我们规定左边是正方向,右边是负方向,是完全可以的。)


==========


从“数学量解释”的角度,不管是用什么方法得到的主成分,都可以不标准化(不把模化为1)。因为主成分表示的是一个方向。对于方向来说,模的大小没有意义。(1, 0) 和 (2, 0) 表达的是同一个方向。


但是既然我们已经确定了主成分只是方向而已,模的大小没有意义,我们通常就愿意将其标准化(将模化为 1),这样更能明确它仅仅是一个方向,同时,对于一些可能的后续计算提供方便。(比如 n 个模为 1 的互相垂直的 n 维向量组成的矩阵是标准正交矩阵,那么标准正交矩阵的很多“优美”的性质我们就可以使用。)


这个标准适用于一切数学或者物理或者使用向量的地方。如果这个向量所表征的仅仅是一个方向,就可以将其标准化,仅用一个模为 1 的向量表征方向。


继续加油!:)

0
4
liuyubobobo
回复
weixin_慕少409219
哦,我有点儿理解你说的“绝对值最大的点作为正向的方向”了。不同意。我们在课程中对 PCA 的计算,使用的是梯度上升的搜索方法,且搜索过程中由于一些实现细节所以最终得到的结果可能模不为 1。但是, 1)我们可以调整,让搜索过程得到的结果模为 1。 2)最最关键的是,主成分分析得到的结果就是新的空间的轴的方向,对于一个表达方向的向量来说,模没有意义。 3)sklearn 对 PCA 的计算是使用数学方法(计算样本协方差矩阵的特征向量),得到的结果,模一定为 1。再一次,这是因为,主成分分析的结果就是方向,模没有意义。 继续加油!:)
2022-03-30
共4条回复

Python3入门机器学习 经典算法与应用  

Python3+sklearn,兼顾原理、算法底层实现和框架使用。

5856 学习 · 2437 问题

查看课程