本文从不同角度给出奇异值分解的物理意义
- 参考知乎回答1:奇异值的物理意义是什么？
- 参考知乎回答2:人们是如何想到奇异值分解的？
公式说明
$$A=U\Sigma V^{T}$$
- \(U,V\)都是正交矩阵,\(\Sigma\)是对角矩阵,对角上的元素是矩阵\(A\)的奇异值
- 若保留对角元素最大的K个值
- \(K=r=Rank(A)\)时为紧奇异值分解,对应的是无损压缩,此时由于奇异值保留数量与原始矩阵相同,能做到对原始矩阵A的完全还原
- \(K< r=Rank(A)\)时为截断奇异值分解,对应的是有损压缩,此时由于奇异值保留数量比原始矩阵的小,做不到对原始矩阵A的完全还原,但是如果K足够大就能做到对矩阵A的较完美近似
图像处理方面
- 直观上可以理解为奇异值分解是将矩阵分解为若干个秩一矩阵之和,用公式表示就是:
$$A=\sigma_{1}u_{1}v_{1}^{T}+\sigma_{2}u_{2}v_{2}^{T}+…+\sigma_{r}u_{r}v_{r}^{T}$$- 式子中每一项的系数\(\sigma\)就是奇异值
- \(u,v\)都是列向量,每一个\(uv^{T}\)都是秩为1的矩阵
- 奇异值按照从小到大排列
- 从公式中按照从大到小排序后,保留前面系数最大的项目后效果
- 对于一张450x333的图片,只需要保留前面的50项即可得到相当清晰的图像
- 从保留项1到50,图片越来越清晰
- 结论:
- 奇异值越大的项,越能体现出来图片的效果,奇异值隐含着某种对于A矩阵来说很重要的信息
- 加权的秩一矩阵能体现整个大矩阵的值,奇异值就是对应秩一矩阵对于A矩阵的权重
线性变换方面
几何含义
- 对于任何的一个矩阵，我们要找到一组两两正交单位向量序列，使得矩阵作用在此向量序列上后得到新的向量序列保持两两正交.奇异值的几何含义为:这组变换后的新的向量序列的长度
更直观的几何含义
- 公式:
$$E_{m}={y\in C^{m}: y=Ax, x\in C^{n},\left | x\right |_{2}=1}$$ - 二维矩阵A:
- 矩阵A将二维平面中的单位圆变换为椭圆,而两个奇异值正好是椭圆的半轴长度.
- m维矩阵
- 矩阵A将高维平面中的单位球变换为超椭球,矩阵的奇异值恰好就是超椭球的每条半轴长度.