苏州高端模板建站,优书网注册,做收费课程网站,免费信息发布网有哪些矩阵的特征分解
特征值和特征向量的定义 抄来的#xff1a;奇异值分解 困惑1#xff1a;特征值和特征向量#xff0c;和原矩阵是怎样的关系#xff0c;需要一个栗子进行更具象的认识 困惑2#xff1a;为什么多个特征向量组合成的矩阵#xff0c;可以构成矩阵A的特征分解…矩阵的特征分解
特征值和特征向量的定义 抄来的奇异值分解 困惑1特征值和特征向量和原矩阵是怎样的关系需要一个栗子进行更具象的认识 困惑2为什么多个特征向量组合成的矩阵可以构成矩阵A的特征分解需要推导 困惑3为什么要特征向量标准化 困惑4标准正交基是什么为什么满足 W T W I W^TWI WTWI 为什么。。。。 太多why只能自己来解决吗。。。涕泪横流。。。
先来看看特征值和特征向量
特征值与特征向量的推导
求解特征向量与特征值 A x λ x Axλx Axλxλ是特征值但特征值可能会有多个每个特征值都有对应的特征向量
根据 A − λ E x 0 A-λEx0 A−λEx0而需要x是非零向量则要求A-λE的行列式为0即 ∣ A − λ E ∣ 0 |A-λE|0 ∣A−λE∣0就可以求出多个λ值 分别将λ值代入 ∣ A − λ E ∣ x 0 |A-λE|x0 ∣A−λE∣x0就可以求出对应的特征向量x question:为什么x是非零向量 ∣ A − λ E ∣ 0 |A-λE|0 ∣A−λE∣0的行列式就为0呢而不是 A − λ E 0 A-λE0 A−λE0向量呢 still,why? 毫不避讳地说我大学线性代数是老师给的同情分60分飘过 但我后来有自己学习过的现在也忘个精光了现在还是重新梳理一遍吧省的回头海马体又不争气 非零解与行列式值的关系
首先先从求解矩阵的行列式方法推导出【非零解与行列式值的关系】
求解行列式要从【消元法】求解齐次方程组的权重系数w的过程讲起 w 1 x 11 w 2 x 12 w 3 x 13 0 w_1x_{11}w_2x_{12}w_3x_{13}0 w1x11w2x12w3x130 式子① w 1 x 21 w 2 x 22 w 3 x 23 0 w_1x_{21}w_2x_{22}w_3x_{23}0 w1x21w2x22w3x230 式子② w 1 x 31 w 2 x 32 w 3 x 33 0 w_1x_{31}w_2x_{32}w_3x_{33}0 w1x31w2x32w3x330 式子③
通过消元法求解 w 1 、 w 2 、 w 3 w_1、w_2、w_3 w1、w2、w3
式子①保持 w 1 x 11 w 2 x 12 w 3 x 13 0 w_1x_{11}w_2x_{12}w_3x_{13}0 w1x11w2x12w3x130式子②【数乘】【数加】消去 w 1 w_1 w1项 数乘 w 1 x 21 x 11 x 21 w 2 x 22 x 11 x 21 w 3 x 23 x 11 x 21 0 w_1x_{21}\frac{x_{11}}{x_{21}}w_2x_{22}\frac{x_{11}}{x_{21}}w_3x_{23}\frac{x_{11}} {x_{21}}0 w1x21x21x11w2x22x21x11w3x23x21x110数加① 式子② -式子①可得 w 1 ∗ 0 w 2 ( x 22 x 11 x 21 − x 12 ) w 3 ( x 23 x 11 x 21 − x 13 ) 0 w_1*0w_2(x_{22}\frac{x_{11}}{x_{21}}-x_{12})w_3(x_{23}\frac{x_{11}}{x_{21}}-x_{13})0 w1∗0w2(x22x21x11−x12)w3(x23x21x11−x13)0即简化为 w 1 ∗ 0 w 2 b 2 w 3 b 3 0 w_1*0w_2b_{2}w_3b_30 w1∗0w2b2w3b30 式子③【数乘】【数加】消去 w 1 、 w 2 w_1、w_2 w1、w2项 数乘 w 1 x 31 x 11 x 31 w 2 x 32 x 11 x 31 w 3 x 33 x 11 x 31 y 3 x 11 x 31 w_1x_{31}\frac{x_{11}}{x_{31}}w_2x_{32}\frac{x_{11}}{x_{31}}w_3x_{33}\frac{x_{11}}{x_{31}}y_3\frac{x_{11}}{x_{31}} w1x31x31x11w2x32x31x11w3x33x31x11y3x31x11数加①式子③ -式子①可得 w 1 ∗ 0 w 2 ( x 32 x 11 x 31 − x 12 ) w 3 ( x 33 x 11 x 31 − x 13 ) 0 w_1*0w_2(x_{32}\frac{x_{11}}{x_{31}}-x_{12})w_3(x_{33}\frac{x_{11}}{x_{31}}-x_{13})0 w1∗0w2(x32x31x11−x12)w3(x33x31x11−x13)0数乘再数加消除 w 2 w2 w2最终可化简为 w 1 ∗ 0 w 2 ∗ 0 w 3 c 3 0 w_1*0w_2*0w_3c_30 w1∗0w2∗0w3c30
通过消元法后
稍微整理下列的a\b\c系列都是已知数求出w w 1 a 1 w 2 a 2 w 3 a 3 0 w_1a_1w_2a_2w_3a_30 w1a1w2a2w3a30 w 1 ∗ 0 w 2 b 2 w 3 b 3 0 w_1*0w_2b_{2}w_3b_30 w1∗0w2b2w3b30 w 1 ∗ 0 w 2 ∗ 0 w 3 c 3 0 w_1*0w_2*0w_3c_30 w1∗0w2∗0w3c30
这种情况下方程只有无解零解和非零解三种情况 将系数写成矩阵 ∣ a 1 a 2 a 3 0 b 2 b 3 0 0 c 3 ∣ \begin{vmatrix}a_{1}a_{2}a_{3}\\0b_{2}b_{3}\\00c_{3}\\\end{vmatrix} a100a2b20a3b3c3 要使w1、w2、w3三个中有非零解那就至少需要c30- 我觉得我在放屁。。。应该不是这样的我再衡量衡量 还是偷别的up主教学吧 找个正解的线性代数三行列式的来历 好即使上述关系能体现出行列式不为零则有非齐次线性方程组有非零解 但跟求特征根有什么关系呢 ( A − λ E ) x 0 (A-λE)x0 (A−λE)x0 求特征根是求齐次线性方程组的解但原本求行列式时的方程是非齐次方程组 特征根λ的行列式是 ∣ x 11 − λ x 12 x 13 x 21 x 22 − λ x 23 x 31 x 32 x 33 − λ ∣ \begin{vmatrix}x_{11}-λx_{12}x_{13}\\x_{21}x_{22}-λx_{23}\\x_{31}x_{32}x_{33}-λ\\\end{vmatrix} x11−λx21x31x12x22−λx32x13x23x33−λ 然后我又去翻其他的资料果然。。。前边的分析方向搞错了只能证明非齐次线性方程组的非零解条件是行列式≠0 继续论证齐次线性方程组的非零解条件是行列式0才能说明行列式与特征根的关系 所以求解非零特征根是要求齐次线性方程组对应的系数矩阵的秩小于元素个数也就等同于矩阵的行列式为0。 衍生出新的问题为什么行列式是这样算的行列式的本质到底是什么它的计算有什么代数或几何意义吗 我觉得我需要知道它。。。然后去找到知乎一篇文行列式本质 我粗看一遍感觉这篇文章一定藏着我想要的答案但首先我要能看懂它… 我很绝望行列式的定义是总结归纳出来的吗 它没有个因果关系吗 头疼。。。。。 任意矩阵都可以通过【交换】、【倍乘】、【倍加】的方式变成上三角矩阵且不改变行列式的值 B站up主的俗说矩阵非常好
穿插理解行列式 呜呜呜呜呜呜经过我坚持不懈地在B站摸鱼划水终于在众说纷纭中打通了任督二脉 我好像是懂了懂了n阶行列式的定义为什么是这样的了 先摆上二阶行列式的定义
再摆上三阶行列式的定义
再摆上n阶行列式的定义 I don’t know whyhowwhat 二阶、二阶推导到三阶我还能理解但是怎么推出n阶的 非常头疼看了很多解释有些看起来很专业但我还是不理解 直到回顾到B站的俗说矩阵的行列式按行按列展开 我才有种灵光一闪的开窍哦 首先在行列式的二、三阶定义中可以推导出【数乘】【交换】【数加】三种变换时的行列式变化
【行或列数加】行列式值无改变【行或列数乘】行列式值乘相同数【行或列相邻交换】行列式值为相反值
二阶可以由余子式累加得到 通过拆分成三角形式的行列式可以更好地求的行列式 ∣ a b x 21 x 22 ∣ ∣ a 0 x 21 x 22 ∣ ∣ 0 b x 21 x 22 ∣ \begin{vmatrix}ab\\x_{21}x_{22}\\\end{vmatrix}\begin{vmatrix}a0\\x_{21}x_{22}\\\end{vmatrix}\begin{vmatrix}0b\\x_{21}x_{22}\\\end{vmatrix} ax21bx22 ax210x22 0x21bx22
下三角无需更换行列直接求得行列式 ∣ a 0 x 21 x 22 ∣ a ∣ x 22 ∣ a x 22 \begin{vmatrix}a0\\x_{21}x_{22}\\\end{vmatrix}a\begin{vmatrix}x_{22}\\\end{vmatrix}ax_{22} ax210x22 a x22 ax22
将行列式通过【变换】变换成下三角后再求行列式 ∣ 0 b x 21 x 22 ∣ − ∣ b 0 x 22 x 21 ∣ − b ∣ x 21 ∣ − b x 21 \begin{vmatrix}0b\\x_{21}x_{22}\\\end{vmatrix}-\begin{vmatrix}b0\\x_{22}x_{21}\\\end{vmatrix}-b\begin{vmatrix}x_{21}\\\end{vmatrix}-bx_{21} 0x21bx22 − bx220x21 −b x21 −bx21
相邻变换行列式值会变为相反值因此变换过程有负号产生
三阶也是如此但三阶是可以由二阶推导来的 ∣ x 11 x 12 x 13 x 21 x 22 x 23 x 31 x 32 x 33 ∣ ∣ x 11 0 0 x 21 x 22 x 23 x 31 x 32 x 33 ∣ ∣ 0 x 12 0 x 21 x 22 x 23 x 31 x 32 x 33 ∣ ∣ 0 0 x 13 x 21 x 22 x 23 x 31 x 32 x 33 ∣ \begin{vmatrix}x_{11}x_{12}x_{13}\\x_{21}x_{22}x_{23}\\x_{31}x_{32}x_{33}\\\end{vmatrix}\begin{vmatrix}x_{11}00\\x_{21}x_{22}x_{23}\\x_{31}x_{32}x_{33}\\\end{vmatrix} \begin{vmatrix}0x_{12}0\\x_{21}x_{22}x_{23}\\x_{31}x_{32}x_{33}\\\end{vmatrix}\begin{vmatrix}00x_{13}\\x_{21}x_{22}x_{23}\\x_{31}x_{32}x_{33}\\\end{vmatrix} x11x21x31x12x22x32x13x23x33 x11x21x310x22x320x23x33 0x21x31x12x22x320x23x33 0x21x310x22x32x13x23x33
第一个直接构成下三角 ∣ x 11 0 0 x 21 x 22 x 23 x 31 x 32 x 33 ∣ x 11 ∣ x 22 x 23 x 32 x 33 ∣ x 11 ∣ x 22 0 x 32 x 33 ∣ x 11 ∣ 0 x 23 x 32 x 33 ∣ \begin{vmatrix}x_{11}00\\x_{21}x_{22}x_{23}\\x_{31}x_{32}x_{33}\\\end{vmatrix}x_{11}\begin{vmatrix}x_{22}x_{23}\\x_{32}x_{33}\\\end{vmatrix}x_{11}\begin{vmatrix}x_{22}0\\x_{32}x_{33}\\\end{vmatrix}x_{11}\begin{vmatrix}0x_{23}\\x_{32}x_{33}\\\end{vmatrix} x11x21x310x22x320x23x33 x11 x22x32x23x33 x11 x22x320x33 x11 0x32x23x33 x 11 ∣ x 22 0 x 32 x 33 ∣ x 11 ∣ 0 x 23 x 32 x 33 ∣ x 11 ∣ x 22 0 x 32 x 33 ∣ − x 11 ∣ x 23 0 x 33 x 32 ∣ x_{11}\begin{vmatrix}x_{22}0\\x_{32}x_{33}\\\end{vmatrix}x_{11}\begin{vmatrix}0x_{23}\\x_{32}x_{33}\\\end{vmatrix}x_{11}\begin{vmatrix}x_{22}0\\x_{32}x_{33}\\\end{vmatrix}-x_{11}\begin{vmatrix}x_{23}0\\x_{33}x_{32}\\\end{vmatrix} x11 x22x320x33 x11 0x32x23x33 x11 x22x320x33 −x11 x23x330x32 最终得到 x 11 ∗ x 22 x 33 − x 11 x 23 x 32 x_{11}*x_{22}x_{33}-x_{11}x_{23}x_{32} x11∗x22x33−x11x23x32
第二个需要变换1次才成为下三角 ∣ 0 x 12 0 x 21 x 22 x 23 x 31 x 32 x 33 ∣ − ∣ x 12 0 0 x 22 x 21 x 23 x 32 x 31 x 33 ∣ − x 12 ∣ x 21 x 23 x 31 x 33 ∣ \begin{vmatrix}0x_{12}0\\x_{21}x_{22}x_{23}\\x_{31}x_{32}x_{33}\\\end{vmatrix}-\begin{vmatrix}x_{12}00\\x_{22}x_{21}x_{23}\\x_{32}x_{31}x_{33}\\\end{vmatrix}-x_{12}\begin{vmatrix}x_{21}x_{23}\\x_{31}x_{33}\\\end{vmatrix} 0x21x31x12x22x320x23x33 − x12x22x320x21x310x23x33 −x12 x21x31x23x33 − x 12 ∣ x 21 x 23 x 31 x 33 ∣ − x 12 ( ∣ x 21 0 x 31 x 33 ∣ ∣ 0 x 23 x 31 x 33 ∣ ) − x 12 ( ∣ x 21 0 x 31 x 33 ∣ − ∣ x 23 0 x 33 x 31 ∣ ) − x 12 ∗ ( x 21 ∗ ∣ x 33 ∣ − x 23 ∗ ∣ x 31 ∣ ) − x 12 ∗ x 21 ∗ x 33 x 12 ∗ x 23 ∗ x 31 -x_{12}\begin{vmatrix}x_{21}x_{23}\\x_{31}x_{33}\\\end{vmatrix} -x_{12}(\begin{vmatrix}x_{21}0\\x_{31}x_{33}\\\end{vmatrix}\begin{vmatrix}0x_{23}\\x_{31}x_{33}\\\end{vmatrix}) -x_{12}(\begin{vmatrix}x_{21}0\\x_{31}x_{33}\\\end{vmatrix}-\begin{vmatrix}x_{23}0\\x_{33}x_{31}\\\end{vmatrix}) -x_{12}*(x_{21}*\begin{vmatrix}x_{33}\\\end{vmatrix}-x_{23}*\begin{vmatrix}x_{31}\\\end{vmatrix})-x_{12}*x_{21}*x_{33}x_{12}*x_{23}*x_{31} −x12 x21x31x23x33 −x12( x21x310x33 0x31x23x33 )−x12( x21x310x33 − x23x330x31 )−x12∗(x21∗ x33 −x23∗ x31 )−x12∗x21∗x33x12∗x23∗x31
第三个需要变换2次才成为下三角 ∣ 0 0 x 13 x 21 x 22 x 23 x 31 x 32 x 33 ∣ − ∣ 0 x 13 0 x 21 x 23 x 22 x 31 x 33 x 32 ∣ ∣ x 13 0 0 x 23 x 21 x 22 x 33 x 31 x 32 ∣ x 13 ∣ x 21 x 22 x 31 x 32 ∣ \begin{vmatrix}00x_{13}\\x_{21}x_{22}x_{23}\\x_{31}x_{32}x_{33}\\\end{vmatrix} -\begin{vmatrix}0x_{13}0\\x_{21}x_{23}x_{22}\\x_{31}x_{33}x_{32}\\\end{vmatrix} \begin{vmatrix}x_{13}00\\x_{23}x_{21}x_{22}\\x_{33}x_{31}x_{32}\\\end{vmatrix} x_{13}\begin{vmatrix}x_{21}x_{22}\\x_{31}x_{32}\\\end{vmatrix} 0x21x310x22x32x13x23x33 − 0x21x31x13x23x330x22x32 x13x23x330x21x310x22x32 x13 x21x31x22x32 同理可推导得 x 13 ∗ x 21 ∗ x 32 − x 13 ∗ x 22 ∗ x 32 x_{13}*x_{21}*x_{32}-x_{13}*x_{22}*x_{32} x13∗x21∗x32−x13∗x22∗x32 为什么要变换的这么详细呢因为这个过程恰好展现了n阶行列式的定义 首先每一次的变换都是先把首行中的元素逐一变换到左上角这个变换的过程主要与列有关
如果首行元素在奇数列如第3列则变换到左上角时行列式值是不变号的 如果首行元素在偶数列如第2列则变换到左上角时行列式值会变成负号 但除了首行元素的列问题还有次行元素的列问题 因此我脑子不够用了但好在世界上有很多优秀的阿婆主能讲清楚一些 n阶特征公式解释 具体的还是看up主的分析会比较有领悟 当然可能我只是哦但实际还不是很清晰但。。。不想特别去深究行列式的定义大概理解就好 我。。。又快要忘记前边思考的是什么问题了 已理解行列式是什么行列式和非零解的关系可知道当行列式不为零时求解特征值时特征值也是非零解 特征值和特征向量的推导
如果从坐标系固定矩阵向量变换的角度看矩阵A与向量x相乘 A x Ax Ax通常是对向量x进行【旋转】【伸缩】的变换这个变换过程中并伴随有【升降维】的作用。
如果从矩阵向量固定坐标系变换的角度看矩阵A与向量x相乘 A x Ax Ax则表示向量x是在A坐标系下相当于声明x是火星A上的人
而矩阵与特征向量、特征值的关系 A x λ x Axλx Axλx右侧的 λ x λx λx没有矩阵相乘则表示标准正交基坐标系 I I I下的向量x只不过这个向量x中每个值都乘以λ倍
而 A x λ x Axλx Axλx则表示在A坐标系下的特征向量x实际等同于标准正交基坐标系 I I I里的向量x伸缩λ倍相当于当坐标系A旋转伸缩变换成标准正交基坐标系 I I I后向量x的方向没有发生旋转只是进行了伸缩变换。
向量x正是特征向量而特征值λ相当于向量x伸缩的倍数
例如A有一个特征向量 x 1 x_1 x1及对应特征值 λ 1 λ_1 λ1则 A x 1 λ 1 x 1 Ax_1λ_1x_1 Ax1λ1x1 ∣ a 11 x 12 a 13 a 21 a 22 a 23 a 31 a 32 a 33 ∣ ∣ x 11 x 21 x 31 ∣ λ 1 ∣ x 11 x 21 x 31 ∣ \begin{vmatrix}a_{11}x_{12}a_{13}\\a_{21}a_{22}a_{23}\\a_{31}a_{32}a_{33}\\\end{vmatrix}\begin{vmatrix}x_{11}\\x_{21}\\x_{31}\\\end{vmatrix}λ_1\begin{vmatrix}x_{11}\\x_{21}\\x_{31}\\\end{vmatrix} a11a21a31x12a22a32a13a23a33 x11x21x31 λ1 x11x21x31
再例如A的第2 个特征向量 x 2 x_2 x2及对应特征值 λ 2 λ_2 λ2则 A x 2 λ 2 x 2 Ax_2λ_2x_2 Ax2λ2x2 ∣ a 11 x 12 a 13 a 21 a 22 a 23 a 31 a 32 a 33 ∣ ∣ x 12 x 22 x 32 ∣ λ 1 ∣ x 12 x 22 x 32 ∣ \begin{vmatrix}a_{11}x_{12}a_{13}\\a_{21}a_{22}a_{23}\\a_{31}a_{32}a_{33}\\\end{vmatrix}\begin{vmatrix}x_{12}\\x_{22}\\x_{32}\\\end{vmatrix}λ_1\begin{vmatrix}x_{12}\\x_{22}\\x_{32}\\\end{vmatrix} a11a21a31x12a22a32a13a23a33 x12x22x32 λ1 x12x22x32
将A的所有特征向量x组成矩阵W则有 W ∣ x 11 x 12 x 13 x 21 x 22 x 23 x 31 x 32 x 33 ∣ W\begin{vmatrix}x_{11}x_{12}x_{13}\\x_{21}x_{22}x_{23}\\x_{31}x_{32}x_{33}\\\end{vmatrix} W x11x21x31x12x22x32x13x23x33
要让 λ 1 、 λ 2 、 λ 3 λ_1、λ_2、λ_3 λ1、λ2、λ3对应乘以到W中,则需要将λ形成对角矩阵 Σ ∣ λ 1 0 0 0 λ 2 0 0 0 λ 3 ∣ Σ\begin{vmatrix}λ_100\\0λ_20\\00λ_3\\\end{vmatrix} Σ λ1000λ2000λ3 则 W Σ ∣ λ 1 x 11 λ 2 x 12 λ 3 x 13 λ 1 x 21 λ 2 x 22 λ 3 x 23 λ 1 x 31 λ 2 x 32 λ 3 x 33 ∣ WΣ\begin{vmatrix}λ_1x_{11}λ_2x_{12}λ_3x_{13}\\λ_1x_{21}λ_2x_{22}λ_3x_{23}\\λ_1x_{31}λ_2x_{32}λ_3x_{33}\\\end{vmatrix} WΣ λ1x11λ1x21λ1x31λ2x12λ2x22λ2x32λ3x13λ3x23λ3x33
而 A W ∣ a 11 x 12 a 13 a 21 a 22 a 23 a 31 a 32 a 33 ∣ ∣ x 11 x 12 x 13 x 21 x 22 x 23 x 31 x 32 x 33 ∣ W Σ ∣ x 11 x 12 x 13 x 21 x 22 x 23 x 31 x 32 x 33 ∣ ∣ λ 1 0 0 0 λ 2 0 0 0 λ 3 ∣ AW\begin{vmatrix}a_{11}x_{12}a_{13}\\a_{21}a_{22}a_{23}\\a_{31}a_{32}a_{33}\\\end{vmatrix}\begin{vmatrix}x_{11}x_{12}x_{13}\\x_{21}x_{22}x_{23}\\x_{31}x_{32}x_{33}\\\end{vmatrix}WΣ\begin{vmatrix}x_{11}x_{12}x_{13}\\x_{21}x_{22}x_{23}\\x_{31}x_{32}x_{33}\\\end{vmatrix}\begin{vmatrix}λ_100\\0λ_20\\00λ_3\\\end{vmatrix} AW a11a21a31x12a22a32a13a23a33 x11x21x31x12x22x32x13x23x33 WΣ x11x21x31x12x22x32x13x23x33 λ1000λ2000λ3 A W W − 1 W Σ W − 1 AWW^{-1}WΣW^{-1} AWW−1WΣW−1因此就有 A W Σ W − 1 AWΣW^{-1} AWΣW−1 这就是矩阵特征分解的推导 因此一个矩阵可以由它的所有特征向量和特征值来表示
矩阵特征分解的意义
矩阵方阵可以由它的所有特征向量和特征值来表示
例如A是mxm的方阵它所有的特征向量为mxm的方阵W对应的特征值矩阵为mxm的对角矩阵Σ
则 A W Σ W T A WΣW^T AWΣWT
特征分解后可以选择删除一些不重要的特征对方阵A进行降维。
那怎么知道哪些特征是不重要的呢
这里的特征其实指的就是特征向量和特征值主要看特征值。
如果特征值相对而言特别特别小接近于0则这个特征向量对原方阵A的影响相应比较小。 A ∣ a 11 x 12 a 13 a 21 a 22 a 23 a 31 a 32 a 33 ∣ ∣ x 11 x 12 x 13 x 21 x 22 x 23 x 31 x 32 x 33 ∣ ∣ λ 1 0 0 0 λ 2 0 0 0 λ 3 ∣ ∣ x 11 x 21 x 31 x 12 x 22 x 32 x 13 x 23 x 33 ∣ A\begin{vmatrix}a_{11}x_{12}a_{13}\\a_{21}a_{22}a_{23}\\a_{31}a_{32}a_{33}\\\end{vmatrix}\begin{vmatrix}x_{11}x_{12}x_{13}\\x_{21}x_{22}x_{23}\\x_{31}x_{32}x_{33}\\\end{vmatrix}\begin{vmatrix}λ_100\\0λ_20\\00λ_3\\\end{vmatrix}\begin{vmatrix}x_{11}x_{21}x_{31}\\x_{12}x_{22}x_{32}\\x_{13}x_{23}x_{33}\\\end{vmatrix} A a11a21a31x12a22a32a13a23a33 x11x21x31x12x22x32x13x23x33 λ1000λ2000λ3 x11x12x13x21x22x23x31x32x33 A ∣ λ 1 x 11 λ 2 x 12 λ 3 x 13 λ 1 x 21 λ 2 x 22 λ 3 x 23 λ 1 x 31 λ 2 x 32 λ 3 x 33 ∣ ∣ x 11 x 21 x 31 x 12 x 22 x 32 x 13 x 23 x 33 ∣ A\begin{vmatrix}λ_1x_{11}λ_2x_{12}λ_3x_{13}\\λ_1x_{21}λ_2x_{22}λ_3x_{23}\\λ_1x_{31}λ_2x_{32}λ_3x_{33}\\\end{vmatrix}\begin{vmatrix}x_{11}x_{21}x_{31}\\x_{12}x_{22}x_{32}\\x_{13}x_{23}x_{33}\\\end{vmatrix} A λ1x11λ1x21λ1x31λ2x12λ2x22λ2x32λ3x13λ3x23λ3x33 x11x12x13x21x22x23x31x32x33 A ∣ λ 1 x 11 2 λ 2 x 12 2 λ 3 x 13 2 λ 1 x 11 x 21 λ 2 x 12 x 22 λ 3 x 13 x 23 λ 1 x 11 x 31 λ 2 x 12 x 32 λ 3 x 13 x 33 λ 1 x 21 x 11 λ 2 x 22 x 12 λ 3 x 23 x 13 λ 1 x 21 x 21 λ 2 x 22 x 22 λ 3 x 23 x 23 λ 1 x 21 x 31 λ 2 x 22 x 32 λ 3 x 32 x 33 λ 1 x 31 x 11 λ 2 x 32 x 12 λ 3 x 33 x 13 λ 1 x 31 x 21 λ 2 x 32 x 22 λ 3 x 33 x 23 λ 1 x 31 x 31 λ 2 x 32 x 32 λ 3 x 33 x 33 ∣ A\begin{vmatrix} λ_1x^2_{11}λ_2x^2_{12}λ_3x^2_{13} λ_1x_{11}x_{21}λ_2x_{12}x_{22}λ_3x_{13}x_{23} λ_1x_{11}x_{31}λ_2x_{12}x_{32}λ_3x_{13}x_{33}\\ λ_1x_{21}x_{11}λ_2x_{22}x_{12}λ_3x_{23}x_{13} λ_1x_{21}x_{21}λ_2x_{22}x_{22}λ_3x_{23}x_{23} λ_1x_{21}x_{31}λ_2x_{22}x_{32}λ_3x_{32}x_{33}\\ λ_1x_{31}x_{11}λ_2x_{32}x_{12}λ_3x_{33}x_{13} λ_1x_{31}x_{21}λ_2x_{32}x_{22}λ_3x_{33}x_{23} λ_1x_{31}x_{31}λ_2x_{32}x_{32}λ_3x_{33}x_{33}\\\end{vmatrix} A λ1x112λ2x122λ3x132λ1x21x11λ2x22x12λ3x23x13λ1x31x11λ2x32x12λ3x33x13λ1x11x21λ2x12x22λ3x13x23λ1x21x21λ2x22x22λ3x23x23λ1x31x21λ2x32x22λ3x33x23λ1x11x31λ2x12x32λ3x13x33λ1x21x31λ2x22x32λ3x32x33λ1x31x31λ2x32x32λ3x33x33
如果将特征值非常小的特征值和对应的特征向量去掉如删掉λ1和x2则有 A ∣ λ 2 x 12 λ 3 x 13 λ 2 x 22 λ 3 x 23 λ 2 x 32 λ 3 x 33 ∣ ∣ x 12 x 22 x 32 x 13 x 23 x 33 ∣ A \begin{vmatrix}λ_2x_{12}λ_3x_{13}\\λ_2x_{22}λ_3x_{23}\\λ_2x_{32}λ_3x_{33}\\\end{vmatrix}\begin{vmatrix}x_{12}x_{22}x_{32}\\x_{13}x_{23}x_{33}\\\end{vmatrix} A λ2x12λ2x22λ2x32λ3x13λ3x23λ3x33 x12x13x22x23x32x33 这样还原出来的A就不是完完全全的A矩阵了但相对而言如果λ1比较小那么还原出来的矩阵与A矩阵差别也不会太大
奇异值分解SVD
看过一个推导的非常详实的知乎大神奇异值分解SVD 看过理解不代表真的理解自己去推导一下吧搞不好会有一些新的认识 A是mxn的矩阵U是mxm的方阵V是nxn的方阵∑是一个mxn的矩阵且只有对角线上的元素为非零元素。
那么A、U、V、∑之间有什么关系才能形成奇异值分解 A U Σ V T AUΣV^T AUΣVT的关系呢
首先U是 A A T AA^T AAT方阵的特征向量特征值为 λ u λ_u λu A A T U λ u U AA^TUλ_uU AATUλuU
其次V是 A T A A^TA ATA方阵的特征向量特征值为 λ v λ_v λv A T A V λ v V A^TAVλ_vV ATAVλvV
要知道不同特征值对应的特征向量是线性无关的因此它的转置乘以它本身 V T V U T U E V^TVU^TUE VTVUTUE
进而可以求出奇异矩阵∑ A U Σ V T → A V U Σ V T V U Σ AUΣV^T→AVUΣV^TVUΣ AUΣVT→AVUΣVTVUΣ Σ Σ Σ只有对角线上的元素是非零因此逐一求出对角线上的元素 α i α_i αi即可 A v 1 U α 1 Av_1Uα_1 Av1Uα1、 A v 2 U α 2 Av_2Uα_2 Av2Uα2…
又或者 A U Σ V T → A T V Σ U T AUΣV^T→A^TVΣU^T AUΣVT→ATVΣUT A A T U Σ V T V Σ U T U Σ 2 U T AA^TUΣV^TVΣU^TUΣ^2U^T AATUΣVTVΣUTUΣ2UT
由于U是 A A T AA^T AAT的特征向量因此 A A T U λ u U → A A T U Σ u U T U Σ 2 U T AA^TUλ_uU→AA^TUΣ_uU^TUΣ^2U^T AATUλuU→AATUΣuUTUΣ2UT
因此有 Σ 2 Σ u Σ^2Σ_u Σ2Σu奇异值²特征值
奇异值可以直接通过特征值开根号得到。
奇异值分解的降维意义
为什么奇异值分解可以进行降维呢
主要还是参考矩阵的特征分解时的降维意义。
不过这只是一种比较数理方面的解释B站有个博主用了非常生动形象的动画效果演示了降维的操作及意义
B站小学长课堂 当时我在高铁的渣渣网络上看到时虽然卡的一匹但依然惊叹到世间有如此博主实乃学渣之幸事 总之到这里奇异值分解内容算是学习结束了
撒花~
