機器學習相關的線性代數基礎知識合集

數學是計算機技術的基礎，線性代數是機器學習和深度學習的基礎，瞭解數據知識最好的方法我覺得是理解概念，數學不只是上學時用來考試的，也是工作中必不可少的基礎知識，實際上有很多有趣的數學門類在學校裏學不到，有很多拓展類的數據能讓我們發散思維，但掌握最基本的數學知識是前提，本文就以線性代數的各種詞條來做一下預熱，不懂的記得百度一下。

請尊重原創，轉載請註明來源網站www.shareditor.com以及原始鏈接地址

矩陣與方程組

• 還記得n*n方程組是怎麼求解的嗎？這個術語叫“回代法”，即轉成三角形方程組再挨個代入求解
• 一直不理解“代數”這個“代”是什麼意思，現在終於理解了，代，英文是substitution，含義是代替，從初中到現在一直以爲“代數”就是“代入”
• 係數矩陣，英文名叫coefficient matrix，怪不得讀開源代碼裏面經常遇到變量名叫做coe，原來是從這來的
• “導數”、“可導”還記得嗎？不知道“導”是什麼含義的有木有？英文derivative（含義是派生的、衍生的），看起來不是疏導的意思，而是音譯過來的
• 矩陣就是矩形的數字陣列，這再簡單不過了
• n*n的矩陣叫方陣，傻子都知道了
• 係數矩陣加一列右端項的矩陣叫增廣矩陣，英文叫做augmented matrix，記作：(A|B)，科學家們隨便想個東西起個名字就讓我們抱着書本啃，我把A後面放兩個B，叫做“增廣矩陣二”行嗎
• 行階梯型矩陣，這回有點難度了，它就是這樣的：非零一行比一行少，第一個元素是1，數字靠右
• 高斯消元法：把增廣矩陣化爲行階梯型矩陣
• 超定方程組：方程個數比未知量個數多
• 行最簡形：行階梯形，每行第一個非零元是該列唯一的非零元
• 高斯-若爾當消元法：將矩陣化爲最簡形的方法
• 齊次方程組(homogeneous)：右端項全爲零。齊次方程組總是有解的
• 平凡解，就是零解（0,0,0,.....0），能不能別這麼平凡的叫....
• 非平凡解：零解以外的解
• x上面加水平箭頭表示水平數組（行向量），不加則表示列向量，不一樣的書裏記法不太一樣，姑且這麼記吧
• 對稱矩陣的性質：轉置等於他自己
• 若A=(1)，則Aⁿ=(2^n-1)
• 如果AB=BA=I，則稱A是可逆的，或A是非奇異的(nonsingular)，B叫做A的逆元，記作A^-1
• 矩陣沒有乘法逆元，那麼叫做奇異的(singlular)
• (AB)^-1=B^-1A^-1
• (AB)^T=B^TA^T
• 圖的鄰接矩陣（相連爲1否則爲0）是對稱的
• 初等矩陣：乘到方程兩端得到行階梯形，初等矩陣是非奇異的，即有逆
• 如果B=多個初等矩陣連乘A，那麼說A與B是行等價的
• 如果A與I行等價，那麼Ax=0只有平凡解0，而且A有逆矩陣A^-1，也就是A是非奇異的，此時Ax=b有唯一解
• 求逆的方法：對增廣矩陣A|I做行列變換，把A變成I，則I變成了A^-1
• 對角矩陣：對角線以外的元素都是0
• 如果A可以僅利用行運算化簡爲嚴格上三角形，則A有一LU分解，L是單位下三角矩陣，矩陣值就是變換中用的係數，這叫LU分解
• 矩陣分塊後滿足矩陣乘法規則
• 內積也叫標量積：行向量和列向量乘積，得出一個數
• 外積：列向量和行向量乘積，得出一個矩陣
• 外積展開：兩個矩陣分別用向量方式表示，其乘積可以表示爲外積展開

 

行列式

• 行列式：兩條豎線間包括的陣列
• 每個方形矩陣可以和他的行列式對應，行列式數值說明方陣是否是奇異的
• 行列式算法：展開某一行，每個數乘以他的餘子式並加和
• 如果行列式非0，則方形矩陣爲非奇異
• det(A)可表示爲A的任何行或列的餘子式展開
• 三角形矩陣的行列式等於對角元素乘積
• 交換矩陣兩行，行列式變成原來的負數，即det(EA)=-det(A)
• 矩陣某行乘以a，行列式變成原來的a倍，即det(EA)=adet(A)
• 矩陣某行乘以a加到另一行，行列式不變
• 如果某行爲另一行的倍數，則矩陣行列式爲零
• det(AB)=det(A)det(B)
• adj A：矩陣的伴隨(adjoint)，將元素用餘子式替換並轉置
• 求逆方法：A^-1=(1/det(A)) adj A，推導：A(adj A)=det(A)I所以A(((1/det(A)) adj A) = I
• 克拉黙法則：Ax=b的唯一解是xi=det(Ai)/det(A)，這是線性方程組用行列式求解的便利方法
• 信息加密方法：找到行列式爲正負1的整數矩陣A，A^-1=+-adj A易求，乘A加密，乘A^-1解密，A的構造方法：單位矩陣做初等變換
• 向量積也是一個向量
• 微積分中x看做行向量，線性代數中x看做列向量
• 假設x和y是行向量，則x*y=(x₂y₃-y₂x₃)i-(x₁y₃-y₁x₃)j+(x₁y₂-y₁x₂)k，其中i,j,k是單位矩陣的行向量
• 向量積可用於定義副法線方向
• x^T(x*y)=y^T(x*y)=0，說明向量積與向量夾角爲0

 

向量空間

• 向量空間：這個集合中滿足加法和標量乘法運算，標量通常指實數
• 子空間：向量空間S的子集本身也是個向量空間，這個子集叫做子空間
• 除了{0}和向量空間本身外，其他子空間叫做真子空間，類似於真子集的概念，{0}叫做零子空間
• Ax=0的解空間N(A)稱爲A的零空間，也就是說Ax=0線性方程組的解空間構成一個向量空間
• 向量空間V中多個向量的線性組合構成的集合成爲這些向量的張成(span)，記作span(v1,v2,...,vn)
• span(e₁,e₂)爲R³的一個子空間，從幾何上表示爲所有x₁x₂平面內3維空間的向量
• span(e₁,e₂,e₃)=R³
• 如果span(v₁,v₂,v₃)=R³，那麼說向量v₁,v₂,v₃張成R³，{v₁,v₂,v₃}是V的一個張集
• 最小張集是說裏面沒有多餘的向量
• 最小張集的判斷方法是：這些向量線性組合=0只有0解，這種情況也就是這些向量是線性無關的，如果有非零解那麼就說是線性相關的
• 在幾何上看二位向量線性相關等價於平行，三維向量線性相關等價於在同一個平面內
• 向量構成矩陣的行列式det(A)=0，則線性相關，否則線性無關
• 線性無關向量唯一地線性組合來表示任意向量
• 最小張集構成向量空間的基，{e₁,e_2...e_n}叫做標準基，基向量數目就是向量空間的維數
• 轉移矩陣：把座標從一組基到另一組基的變換矩陣
• 由A的行向量張成的R¹*n子空間成爲A的行空間，由A的列向量張成的R^m子空間成爲A的列空間
• A的行空間的維數成爲A的秩(rank)，求A的秩方法：把A化爲行階梯形，非零行個數就是秩
• 矩陣的零空間的維數成爲矩陣的零度，一般秩和零度之和等於矩陣的列數
• m*n矩陣行空間維數等於列空間的維數

 

線性變換

• 線性變換：L(av₁+bv₂)=aL(v₁)+bL(v₂)
• 線性算子：一個向量空間到其自身的線性變換
• 典型線性算子距離：ax(伸長或壓縮a倍)，x₁e₁（到x₁軸的投影），(x₁,-x₂)^T（關於x₁軸作對稱），(-x₂,x₁)^T逆時針旋轉90度
• 判斷是不是線性變換，就看看這種變換能不能轉化成一個m*n矩陣
• 線性變換L的核記爲ker(L)，表示線性變換後的向量空間中的0向量
• 子空間S的象記爲L(S)，表示子空間S上向量做L變換的值
• 整個向量空間的象L(V)成爲L的值域
• ker(L)爲V的一個子空間，L(S)爲W的一個子空間，其中L是V到W的線性變換，S是V的子空間
• 從以E爲有序基的向量空間V到以F爲有序基的向量空間W的線性變換的矩陣A叫做表示矩陣
• B爲L相應於[u₁,u₂]的表示矩陣,A爲L相應於[e₁,e₂]的表示矩陣，U爲從[u₁,u₂]到[e₁,e₂]的轉移矩陣，則B=U^-1AU
• 如果B=S^-1AS，則稱B相似於A
• 如果A和B爲同一線性算子L的表示矩陣，則A和B是相似的

 

正交性

• 兩個向量的標量積爲零，則稱他們正交(orthogonal)
• R^₂或R³中的向量x和y之間的距離是：||x-y||
• x^Ty=||x|| ||y|| cos θ，即cos θ=x^Ty / (||x|| ||y||)
• 設方向向量u=(1/||x||)x，v=(1/||y||)y，則cos θ=u^Tv，即夾角餘弦等於單位向量的標量積
• 柯西-施瓦茨不等式：|x^Ty| <= ||x||  ||y||，當且僅當有0向量或成倍數關係時等號成立
• 標量投影：向量投影的長度，α=x^Ty/||y||
• 向量投影：p=(x^Ty/||y||)y=(x^Ty/y^Ty)y
• 對R³：||x*y|| = ||x|| ||y|| sinθ
• 當x和y正交時, ||x+y||² = ||x||² + ||y||²，叫畢達哥拉斯定律
• c²=a²+b²叫畢達哥拉斯定理，其實就是勾股弦定理
• 餘弦應用於判斷相似程度
• U爲向量組成的矩陣，C=U^TU對應每一行向量的標量積值，這個矩陣表示相關程度，即相關矩陣(correlation matrix)，值爲正就是正相關，值爲負就是負相關，值爲0就是不相關
• 協方差：x₁和x₂爲兩個集合相對平均值的偏差向量，協方差cov(X₁,X₂)=(x₁^Tx₂)/(n-1)
• 協方差矩陣S=1/(n-1) X^TX，矩陣的對角線元素爲三個成績集合的方差，非對角線元素爲協方差
• 正交子空間：向量空間的兩個子空間各取出一個向量都正交，則子空間正交。比如z軸子空間和xy平面子空間是正交的
• 子空間Y的正交補：是這樣一個集合，集合中每個向量都和Y正交
• 正交補一定也是一個子空間
• A的列空間R(A)就是A的值域，即Rn中的x向量，列空間中的b=Ax
• R(A^T)的正交空間是零空間N(A)，也就是說A的列空間和A的零空間正交
• S爲Rⁿ的一個子空間，則S的維數+S正交空間的維數=n
• S爲Rⁿ的一個子空間，則S的正交空間的正交空間是他本身
• 最小二乘(least squares)用來擬合平面上的點集
• 最小二乘解爲p=Ax最接近b的向量，向量p爲b在R(A)上的投影
• 最小二乘解x的殘差r(x)一定屬於R(A)的正交空間
• 殘差：r(x) = b - Ax
• A^TAx = A^Tb叫做正規方程組，它有唯一解x = (A^TA)_-1A^Tb，這就是最小二乘解，投影向量p=A(A^TA)^-1A^Tb爲R(A)中的元素
• 插值多項式：不超過n次的多項式通過平面上n+1個點
• 一個定義了內積的向量空間成爲內積空間
• 標量內積是Rⁿ中的標準內積，加權求和也是一種內積
• 內積表示爲<x,y>，內積需滿足：<x,x> >= 0; <x,y>=<y,x>; <ax+by,z>=a<x,z>+b<y,z>
• a=<u,v>/||v||爲u到v的標量投影
• p=(<u,v>/<v,v>) v爲u到v的向量投影
• 柯西-施瓦茨不等式：|<u,v>| <= ||u|| ||v||
• 範數(norm)：定義與向量相關聯的實數||v||，滿足||v||>=0; ||av||=|a| ||v||; ||v+w|| <= ||v|| + ||w||
• ||v|| = (<v,v>)^-1爲一個範數
• ||x||=sigma|x_i|爲一個範數
• ||x||=max|x_i|爲一個範數
• 一般地，範數給出了一種方法來度量兩個向量的距離
• v₁,v₂,...,v_n如果相互之間<v_i,v_j>=0，則{v₁,v₂,...,v_n}成爲向量的正交集
• 正交集中的向量都是線性無關的
• 規範正交的向量集合是單位向量的正交集，規範正交集中<v_i,v_j>=1，裏面的向量叫做規範正交基
• 正交矩陣：列向量構成規範正交基
• 矩陣Q是正交矩陣重要條件是Q^TQ=I，即Q^-1=Q^T
• 乘以一個正交矩陣，內積保持不變，即<x,y>=<Qx,Qy>
• 乘以一個正交矩陣，仍保持向量長度，即||Qx||=||x||
• 置換矩陣：將單位矩陣的各列重新排列
• 如果A的列向量構成規範正交集，則最小二乘問題解爲x=A^Tb
• 非零子空間S中向量b到S的投影p=UU^Tb，其中U爲S的一組規範正交基，其中UU^T爲到S上的投影矩陣
• 使用不超過n次的多項式對連續函數進行逼近，可以用最小二乘逼近。
• 某取值範圍內線性函數的子空間，內積形式是取值範圍內對兩個函數乘積做積分
• 通過將FN乘以向量z來計算離散傅里葉係數d的方法稱爲DFT算法(離散傅里葉變換)
• FFT(快速傅里葉變換)，利用矩陣分塊，比離散傅里葉變換快8w多倍
• 格拉姆-施密特正交化過程：u₁=(1/||x₁||)x₁, u₂=(1/||x₂-p₁||) (x₂-p₁), .....直接求出一組規範正交基
• 格拉姆-施密特QR分解：m*n矩陣A如果秩爲n，則A可以分解爲QR，Q爲列向量正交的矩陣，R爲上三角矩陣，而且對角元素都爲正，具體算法：
  • r₁₁=||a₁||，其中r₁₁是對角矩陣第一列第一個元素，a₁是A的列向量，
  • r_kk=||a_k-p(k-1)||, r_ik=q_i^Ta_k, a₁=r₁₁q₁
• Ax=b的最小二乘解爲x=R^-1Q^Tb，其中QR爲因式分解矩陣，解x可用回代法求解Rx=Q^Tb得到
• 使用多項式進行數據擬合以及逼近連續函數可通過選取逼近函數的一組正交基進行簡化
• 多項式序列p₀(x),p₁(x),...下標就是最高次數，如果<p_i(x), p_j(x)>=0，則{p_n(x)}成爲正交多項式序列，如果<p_i,p_j>=1，則叫規範正交多項式序列
• 經典正交多項式：勒讓德多項式、切比雪夫多項式、雅克比多項式、艾爾米特多項式、拉蓋爾多項式
• 勒讓德多項式：在內積<p,q>=-1到1的積分p(x)q(x)dx意義下正交，(n+1)P_(n+1)(x)=(2n+1)xP_n(x)-nP_(n-1)(x)
• 切比雪夫多項式：在內積<p,q>=-1到1的積分p(x)q(x)(1-x²)^-1/2dx意義下正交，T₁(x)=xT₀(x), T_(n+1)(x)=2xT_n(x)-T_(n-1)(x)
• 拉格朗日插值公式：P(x)=sigma f(xi) L_i(x)
• 拉格朗日函數L_i(x)=(x-x_j)連乘積 / (x_i-x_j)連乘積
• f(x)_w(x)在a到b的積分可以簡化爲sigma L_i(x)_w(x)在a到b的積分 f(x_i)
• 請尊重原創，轉載請註明來源網站www.shareditor.com以及原始鏈接地址

 

特徵值

• 經過矩陣變換後向量保持不變，穩定後的向量叫做該過程的穩態向量
• 存在非零的x使得Ax=λx，則稱λ爲特徵值，x爲屬於λ的特徵向量。特徵值就是一個縮放因子，表示線性變換這個算子的自然頻率
• 子空間N(A-λI)稱爲對應特徵值λ的特徵空間
• det(A-λI)=0稱爲矩陣A的特徵方程，求解特徵方程可以算出λ
• λ₁λ₂...λ_n=det(A)，即所有特徵值的連乘積等於矩陣A的行列式的值
• sigma λ_i = sigma a_ii，所有特徵值的和等於矩陣對角線元素之和
• A的對角線元素的和稱爲A的跡(trace)，記爲tr(A) 
• 相似矩陣：B=S^-1AS
• 相似矩陣具有相同的特徵多項式，和相同的特徵值
• 線性微分方程解法可以用特徵值特徵向量，形如Y'=AY, Y(0)=Y₀的解是ae^(λt)x，其中x是向量，這樣的問題稱爲初值問題，如果有多個特徵值，則解可以是多個ae^(λt)x的線性組合
• 任意高階微分方程都可以轉化成一階微分方程，一階微分方程可以用特徵值特徵向量求解
• 矩陣A的不同特徵值的特徵向量線性無關
• 如果存在X使得X^-1AX=D，D是對角矩陣，則說A是可對角化的，稱X將A對角化，X叫做對角化矩陣
• 如果A有n個線性無關的特徵向量，則A可對角化
• 對角化矩陣X的列向量就是A的特徵向量，D的對角元素就是A的特徵值，X和D都不是唯一的，乘以個標量，或重新排列，都是一個新的
• Aⁿ=XDⁿX^-1，所以按A=XDX^-1因式分解後，容易計算冪次
• 如果A有少於n個線性無關的特徵向量，則稱A爲退化的(defective)，退化矩陣不可對角化
• 特徵值和特徵向量的幾何理解：矩陣A有特徵值2，特徵空間由e₃張成,看成幾何重數(geometric multiplicity)是1
• 矩陣B有特徵值2，特徵向量有兩個x=(2,1,0)和e₃，看成幾何重數(geometric multiplicity)是2
• 隨機過程：一個試驗序列，每一步輸出都取決於概率
• 馬爾可夫過程：可能的輸出集合或狀態是有限的；下一步輸出僅依賴前一步輸出，概率相對於時間是常數
• 如果1爲轉移矩陣A的住特徵值，則馬爾可夫鏈將收斂到穩態向量
• 一個轉移矩陣爲A的馬爾可夫過程，若A的某冪次的元素全爲正的，則稱其爲正則的(regular)
• PageRank算法可以看成瀏覽網頁是馬爾可夫過程，求穩態向量就得到每個網頁的pagerank值
• A的奇異值(singlular value)分解：把A分解爲一個乘積UΣV^T，其中U、V都是正交矩陣，Σ矩陣的對角線下所有元素爲0，對角線元素逐個減小，對角線上的值叫奇異值
• A的秩等於非零奇異值的個數
• A的奇異值等於特徵向量的開方
• 若A=UΣV^T，那麼上面ATu_j=σ_jv_j，下面ATu_j=0，其中v_j叫做A的右奇異向量，u_j叫做左奇異向量
• 壓縮形式的奇異值分解：U₁=(u₁,u₂,...,u_r), V₁=(v₁,v₂,...,v_r)，A=U₁Σ₁V₁T
• 奇異值分解解題過程：先算A^TA的特徵值，從而算出奇異值，同時算出特徵向量，由特徵向量得出正交矩陣V，求N(A^T)的一組基並化成規範正交基，組成U，最終得出A=UΣV^T
• 數值秩是在有限位精度計算中的秩，不是準確的秩，一般假設一個很小的epsilon值，如果奇異值小於它則認爲是0，這樣來計算數值秩
• 用來存儲圖像的矩陣做奇異值分解後去掉較小的奇異值得到更小秩的矩陣，實現壓縮存儲
• 信息檢索中去掉小奇異值得到的近似矩陣可以大大提高檢索效率，減小誤差
• 二次型：每一個二次方程關聯的向量函數f(x)=x^TAx，即二次方程中ax²+2bxy+cy²部分
• ax²+2bxy+cy²+dx+ey+f=0圖形是一個圓錐曲線，如果沒解則稱爲虛圓錐曲線，如果僅有一個點、直線、兩條直線，則稱爲退化的圓錐曲線，非退化的圓錐曲線爲圓、橢圓、拋物線、雙曲線
• 一個關於x、y的二次方程可以寫爲x^TAx+Bx+f=0，其中A爲2*2對稱，B爲1*2矩陣，如果A是非奇異的，利用旋轉和平移座標軸，則可化簡爲λ₁(x')²+λ₂(y')²+f'=0，其中λ₁和λ₂爲A的特徵值。如果A是奇異的，且只有一個特徵值爲零，則化簡爲λ₁(x')²+e'y'+f'=0或λ₂(x')²+d'x'+f'=0
• 二次型f(x)=x^TAx對於所有x都是一個符號，則稱爲定的(definite)，若符號爲正，則叫正定的(positive definite)，相對應叫負定的(negative definite)，如果符號有不同則叫不定的(indefinite)，如果可能=0，則叫半正定的(positive semidefinite),和半負定的(negative semidefinite)
• 如果二次型正定則稱A爲正定的
• 一階偏導存在且爲0的點稱爲駐點，駐點是極小值點還是極大值點還是鞍點取決於A是正定負定還是不定
• 一個對稱矩陣是正定的，當且僅當其所有特徵值均爲正的
• r階前主子矩陣：將n-r行和列刪去得到的矩陣
• 如果A是一個對稱正定矩陣，則A可分解爲LDLT，其中L爲下三角的，對角線上元素爲1，D爲對角矩陣，其對角元素均爲正的
• 如果A是一個對稱正定矩陣，則A可分解爲LLT，其中L爲下三角的，其對角線元素均爲正
• 對稱矩陣如下結論等價：A是正定的；前主子矩陣均爲正定的；A可僅使用行運算化爲上三角的，且主元全爲正；A有一個楚列斯基分解LLT（其中L爲下三角矩陣，其對角元素爲正的）；A可以分解爲一個乘積BTB，其中B爲某非奇異矩陣
• 非負矩陣：所有元素均大於等於0
• 一個非負矩陣A，若可將下標集{1,2,...,n}劃分爲非空不交集合I₁和I₂，使得當i屬於I₁而j屬於I₂中時，a_ij=0，則成其爲可約的，否則爲不可約的

 

數值線性代數

• 舍入誤差(round off error):四捨五入後的浮點數x'和原始數x之間的差
• 絕對誤差：x'-x
• 相對誤差：(x'-x)/x，通常用符號δ表示，|δ|可以用一個正常數ε限制，稱爲機器精度(machine epsilon)
• 高斯消元法涉及最少的算術運算，因此被認爲是最高效的計算方法
• 求解Ax=b步驟：將A乘以n個初等矩陣得到上三角矩陣U，把初等矩陣求逆相乘得到L，那麼A=LU，其中L爲下三角矩陣，一旦A化簡爲三角形式，LU分解就確定了，那麼解方程如下：LUx=b，令y=Ux，則Ly=b，所以可以通過求下三角方程求得y，y求得後再求解Ux=y，即可求得x
• 矩陣的弗羅貝尼烏斯範數記作||·||F，求其所有元素平方和的平方根
• 若A的奇異值分解A=UΣV^T，則||A||²=σ₁（最大的奇異值）
• 矩陣範數可用於估計線性方程組對係數矩陣的微小變化的敏感性
• 將x'代回原方程組觀察b'=Ax'和b的接近成都來檢驗精度，r=b-b'=b-Ax'叫做殘差(residual)，||r||/||b||叫做相對殘差
• 奇異值爲一個矩陣接近奇異程度的度量，矩陣越接近奇異就越病態
• 豪斯霍爾德變換(householder transformation)矩陣H可由向量v和標量β求得，因此存儲v和β更省空間
• 主特徵值是指最大的特徵值
• 求主特徵值的方法：冪法。
• 求特徵值方法：QR算法。將A分解爲乘積Q₁R₁，其中Q₁爲正交的，R₁爲上三角的，A₂=Q₁^TAQ₁=R₁Q₁，將A₂分解爲Q₂R₂，定義A₃=Q₂^TA₂Q₂=R₂Q₂，繼續這樣，得到相似矩陣序列A_k=Q_kR_k，最終將收斂到類似上三角矩陣，對角上是1*1或2*2的對角塊，對角塊的特徵值就是A的特徵值

 

最後的總結

• 奇異值分解正是對這種線性變換的一個析構，A=，和是兩組正交單位向量，是對角陣，表示奇異值，它表示A矩陣的作用是將一個向量從這組正交基向量的空間旋轉到這組正交基向量空間，並對每個方向進行了一定的縮放，縮放因子就是各個奇異值。如果維度比大，則表示還進行了投影。可以說奇異值分解描述了一個矩陣完整的功能/特性。
• 而特徵值分解其實只描述了矩陣的部分功能。特徵值，特徵向量由Ax=x得到，它表示如果一個向量v處於A的特徵向量方向，那麼Av對v的線性變換作用只是一個縮放。也就是說，求特徵向量和特徵值的過程，我們找到了這樣一些方向，在這些方向上矩陣A對向量的旋轉、縮放變換（由於特徵值只針對方陣，所以沒有投影變換）在一定程度上抵消了，變成了存粹的縮放（這個縮放比例和奇異值分解中的縮放比例可能不一樣）。
• 概括一下，特徵值分解只告訴我們在特徵向量的那個方向上，矩陣的線性變化作用相當於是簡單的縮放，其他方向上則不清楚，所以我說它只表示矩陣的部分特性。而奇異值分解則將原先隱含在矩陣中的旋轉、縮放、投影三種功能清楚地解析出來，表示出來了，它是對矩陣的一個完整特徵剖析。