線性規劃-概念與公式總結

linear algebra

用空間的語言表達向量、矩陣和行列式

向量與空間

基底

• 線性空間是一個只有原點的空間，沒有座標，沒有刻度。所以在線性空間中只能做向量的加法與數乘（數字與向量相乘）運算。
• 但是爲了能夠更好的描述有向線段，所以需要基底。所以作爲基準的一組向量作爲基底，這一組向量中的的每個向量稱爲基向量。
• 基底的選取條件：
  • 當前空間中的任何向量$\overrightarrow{v}$都可以表示爲：
    $\overrightarrow{v}=x_i\overrightarrow{e}_1+...+x_n\overrightarrow{e}_n$
  • 並且這種表示方法是唯一的。
• 線性組合：
  • 將可以用數$u_1,...,u_n$表示出來的向量$u_1\overrightarrow{e}_1+...+u_n\overrightarrow{e}_n$稱爲$\overrightarrow{e}_1,...,\overrightarrow{e}_n$的線性組合表示。

維數

• 維數 = 基向量個數 = 座標的分量數

座標

• 只有在指定基底的情況下，纔有座標。

矩陣與映射

暫時定義

• 當矩陣行數與列數一樣時，表示的是正方矩陣。簡稱爲方陣。
• 矩陣乘積
  $略$
• 矩陣就是‘平直’關係
  • 滿足$f(x+y)=f(x)+f(y)$以及$f(cx)=cf(x)$的映射f，稱爲線性映射。（其中x，y爲維度相同的向量，c爲常數，f(x)的值爲向量）
  • 因此，從上面的介紹中可以得到，乘以矩陣的運算就是線性運算。反過來說，任意的線性映射f一定可以改寫成’乘以某矩陣的形式‘
  • 矩陣就是用座標表示的線性映射。
    • 怎麼理解上面這段話，假設$e_1=(1,0,0...,0)^T...e_n=(0,0...1)^T$看做是輸入，
    • 將每個輸入經過f(線性映射)後得到的輸出記爲$a_i=f(e_i)$。那麼，對於輸入$x=(x_1,..,x_n)^T$來講，對應的輸出就是$f(x)=x_1a_1+...+x_na_n$.其中a表示向量。
    • 則將a向量順序排列後，構成矩陣A=(a_1,…,a_n)。這樣的話就可以用矩陣A表示f(x)。
    • 則f(x)=Ax,因此可以說矩陣就是用座標來表示的線性映射。

用矩陣來表達各種關係

略

矩陣就是映射

• $y=Ax$,也就是說，制定了矩陣A，就確定了從向量到另外一個向量的映射。實際上，這纔是矩陣最重要的機能。
• 對於矩陣A
  $\left( \begin{matrix} 1 & -0.3 \\ 0.7 & 0.6 \end{matrix} \right)\tag{1}$
  如果使用A矩陣對某個向量空間進行線性映射，則就相當於KaTeX parse error: \tag works only in display equations
  被移動到了KaTeX parse error: \tag works only in display equations
  同時，KaTeX parse error: \tag works only in display equations被移動到KaTeX parse error: \tag works only in display equations
• 所以對上面的總結：
  • 矩陣的每一列分別是對基向量的映射，例如，矩陣第一列是對第一維基向量的映射，也就是第一維基向量到達的終點。矩陣第二列是對第二維基向量的映射。

矩陣的乘積=映射的合成

• 基本性質,對於數c,$c^,$，向量x,矩陣A，B，C，有以下各式成立：
  • $(cA)x = c(Ax) = A(cx)$
  • $(A+B)x = Ax + Bx$
  • $A+B = B+A$
  • $(A+B)+C = A+(B+C)$
  • $(c+c^,)A = cA+c^,B$
  • $(cc^,)A = c(c^,A)$
  • $A(B+C) = AB + AC$
  • $(A+B)C = AC+BC$
  • $(cA)B = c(AB) = A(cB)$
• 向量是一種矩陣麼？ 是的
• 不隨座標變化而改變的值，稱爲標量。

矩陣的乘方 = 映射的迭代

• 這裏的矩陣一定是方陣。
• 運算性質：
  • $(A+B)^2=A^2+AB+BA+B^2$
  • $(A+B)(A-B) = A^2-AB+BA+B^2$
  • $(AB)^2 = ABAB$
• $A^0 = I$,其中Ｉ是單位矩陣。一般來說含有０特徵值的矩陣的０次方都是沒有意義的。

零矩陣，單位矩陣，對角矩陣

• 零矩陣
  • 所有元素都是０的矩陣稱爲零矩陣。記爲Ｏ。
  • 零矩陣表示的映射是將所有得點都映射到原點的映射。
  • A不等於０，Ｂ不等於０，也有可能得到ＢＡ＝Ｏ．
  • Ａ不等於０，也有可能得到$A^2=0$
• 單位矩陣
  • 方陣中，如果除了’\‘(從左上到右下)方向的對角元素是1，其餘元素都是0，則該矩陣稱爲單位矩陣，記爲I。
  • 單位矩陣表示的映射是什麼都不做的映射，從中也可以理解單位矩陣爲什麼是對角線爲1的矩陣。
• 對角矩陣
  • 在方陣中，’\‘（從左上到右下）方向的對角線上的值稱爲對角元素,對角元素以外的稱爲非對角元素。
  • 定義：非對角元素全部爲0的矩陣稱爲對角矩陣。
  • 對角矩陣表示的映射是“沿着座標軸伸縮”，其中對角元素就是各軸伸縮的倍率。
  • 對角矩陣的乘方與乘法都是直接對對角元素做操作。
  • 對角矩陣的概念與座標系的選取有關。在線性空間中的相同線性映射，在不同的座標系中，可能會有不能的映射矩陣，例如對角矩陣，非對角矩陣。既然是相同的線性映射，則對角矩陣計算簡單，所以一般選取適當的座標系，將線性映射等同於對角矩陣。因此，可以說對角矩陣與座標系相關。
  • 零矩陣以及單位矩陣與座標系無關。單位矩陣$f(\overrightarrow{x})=\overrightarrow{x}$,零矩陣$f(\overrightarrow{x})=\overrightarrow{0}$
  • '/'方向的對角矩陣表示爲反對角矩陣。

逆矩陣 = 逆映射

• 定義：對於方陣A，它的逆映射對應的矩陣稱爲A的逆矩陣。記爲$A^{-1}$,(逆矩陣強調方陣)
• 對於任意的向量x，若有$Ax=y$,則有$A^{-1}y=x$,反之亦然。
• $AA^{-1}=A^{-1}A=I$
• 把向量壓扁成一點（扁平化）的映射所對應的逆矩陣不存在。
• 逆矩陣唯一存在：
  • $Z = A^{-1}AA'^{-1} = (A^{-1}A)A'^{-1} = A'^{-1}$
  • $Z = A^{-1}AA'^{-1} = A^{-1}(AA'^{-1}) = A^{-1}$
  • 所以，$A'^{-1} = A^{-1}$，所以逆矩陣一旦存在就是唯一的。
• 當Ａ是矩陣時，ＸＡ＝Ｉ與ＡＸ＝Ｉ是等價的。具體理解參考４５頁。
  • $XA=I$,表示的是已知ｙ，滿足$y=Ax$的ｘ只能有一個。
  • $AX=I$,表示只要選擇合適的出發點ｘ，通過ｙ＝Ａｘ，無論什麼樣的目標點都能達到。
• 基本性質
  • $(A^{-1})^{-1} = A$,將Ａ的逆再逆回去，還是Ａ
  • $(AB)^{-1} = B^{-1}A^{-1}$,對於先Ｂ後A的映射的點，要想還原回去，首先要逆一次A，然後再逆一次B.
  • $(A^k)^{-1}=(A^{-1})^k$,對於經過A映射k次的點，還原時，也要逆k次。
  • 當要證明Y是X的逆矩陣，只要證明XY=I即可。
• 對角矩陣的情況：
  • 對角矩陣的對角元素表示的是對每個座標軸的伸縮，所以它的映射的還原就是每個座標追相應的伸縮1/a倍，要注意的是，在對角元素其中一個元素爲0時，這樣的映射就無法找到逆映射。這種情況下，A變成了一種扁平化映射。

分塊矩陣

• 定義：以水平線和豎直線將矩陣分割成較小的矩陣，這些較小的矩陣組成一個矩陣，這個矩陣就是分塊矩陣
• 分塊矩陣的運算主要就是將每個小矩陣當做元素來處理。
• 分塊對角矩陣：
  • 如果分塊矩陣的’'方向對角線（主對角線）上的區塊都是方陣，並且非對角線上的矩陣都是零矩陣。則稱這樣的矩陣爲分塊對角矩陣
  • 參照對角元素的概念，我們稱$A_1,A_2,A_3,A_4$爲對角區塊。
  • 分塊對角矩陣也是與座標系選取有關的概念。

用矩陣表示各種關係

• 高階查分與高階微分（P53）
• 消除常數項（P53）

座標變換與矩陣

• 座標變換：
  • 座標變換可以用“乘以方陣A”的形式表示，這裏的A存在逆矩陣。
  • 反之，乘以某個存在逆矩陣的方陣A，也可以用座標變換來解釋。
• 用矩陣表示座標變換
  • 一般來說，座標變換都可以表示爲‘乘上一個矩陣’的形式
  • 座標變換時，作爲向量實體的有向線段是不變的，而其座標表示是變換的。

轉置矩陣

• 對於矩陣A，將其行列互換得到的矩陣，就稱爲A的轉置矩陣，記爲$A^T$.
• 轉置的運算順序與乘方運算同級別。$(AB)^T = B^TA^T$,$(A^T)^T = A$.$(A^{-1})^T = (A^T)^{-1}$.
• 共軛轉置：
  • 共軛表示改變複數虛數部分的符號得到的複數，ｚ=3+3i -> z=3-3i
  • 定義：　$A^* = \overline{A}^T$,其中$\overline{A}$表示將Ａ的各個元素取（復）共軛得到的矩陣。
  • 共軛轉置的性質：
    • $(A^*)^* = A$
    • $(AB)^* = B^*A^*$
    • $(A^{-1})^* = (A^*)^{-1}$

行列式與擴大率

行列式　＝　體積擴大率

• 一般情況下，對於ｎ階方陣Ａ，‘ｎ維版本的體積’的擴大率，就是行列式det A.
• 2階方陣$Ａ＝(a_１，a_２)$的行列式也可以解釋爲有向量$a_1,a_2$圍成的平行四邊形的面積。主要就是面積爲１的正方形，經過Ａ的變換之後，得到的就是該平行四邊形。
• 在對圖像進行鏡像翻轉變換的情況下，可以用負的擴大率來表示。
• 圖形扁平化的情況下，體積擴大率爲０．
• 體積擴大率的說法有什麼用？
  • 在多重積分的換元法中，行列式起到了關鍵的作用。
  • 在研究概率密度函數根據隨機變量的變化而產生的變化時，是要依靠行列式的，
  • 行列式可以用來檢驗是否發生了退化。
• 非方陣的情況下，沒有行列式的定義。
• 壓縮扁平化是指把不同的點映射到同一點的意思。這與detA = 0是等價的。

行列式的性質

• 簡單性質
  • det I = 1,因爲保持不變，所以變化率是１．
  • det(AB) = (det A)(det B)，首先映射Ｂ造成了det B倍的變化，接下來映射Ａ帶來det A倍的變化。
  • $(det A)(det A^{-1})=det(AA^{-1})=det I = 1$
  • $det A^{-1}= 1/(det A)$
  • 當det A = 0時，$A^{-1}$不存在。
  • 當矩陣中的兩個列或者行完全一樣，或者某一列或者行爲０，則該矩陣的行列式爲０．
  • 對角矩陣的行列式爲對角矩陣中各個對角元素的乘積。
• 有用的性質
  • 行列式中，把某一列乘以常數，加到另一列上，行列式的值不變。
  • 對角線下方全部都是０元素的矩陣，稱爲上三角矩陣。其矩陣的行列式爲對角線元素的乘積。
• 轉置矩陣的行列式
  • 轉置矩陣的行列式與原矩陣的行列式相等。即$det(A^T)=det A$
  • 換言之，行列互換之後，行列式的所有性質依然成立。
• 關鍵性質
  • $det(ca_1,a_2,...,a_n)=cdet(a_1,a_2,...,a_n)$
  • $det(a_1+a^,_1,a_2,...,a_n)=det(a_1,a_2,...,a_n)+det(a^,_1,a_2,...,a_n)$
  • $det(cA)=c^ndetA$
  • det(A+B) != detA+detB.
    • 令$Ａ=(ａ_1,a_2)$和$B=(b_1,b_2)$
    • $det(A+B)=det(a_1+b_1,a_2+b_2)=det(a_1+b_1,a_2)+det(a_1+b_1,b_2)=det(a_1,a_2)+det(b_1,a_2)+det(a_1.b_2) +det(b_1,b_2)=detA+det(b_1,a_2)+det(a_1,b_2)+detB$
  • 行列式的正負號代表了圖像的鏡像翻轉，於是，交換兩列會改變行列式的正負，這種性質稱爲交替性。

行列式的計算方法

• ｎ階行列式的值等於它的任意一行（列）的元素與其對應的代數餘子式的乘積的和。
• $\Delta_{ij}=(-1)^{i+j}\Delta^,_{ij}$,其中，$\Delta$表示代數餘子式，ｉ表示行數，ｊ表示列數，其中$\Delta^,$表示餘子式，是除去某一個元素的所在行列後剩餘矩陣的部分組成的矩陣。
  這種展開方式被稱爲行列式按行（列）展開或拉普拉斯展開。
• 逆矩陣公式
  • 伴隨矩陣定義：　
    $adj A = \left( \begin{matrix} \Delta_{11} & \Delta_{21} & \Delta_{31} \\ \Delta_{12} & \Delta_{22} & \Delta_{32} \\ \Delta_{13} & \Delta_{23} & \Delta_{33} \end{matrix} \right)\tag{1}$
    注意這裏面每個元素都是代數餘子式，而且注意下標行列都是相反的。
• 如果$(adj A)A$，則結果的每個對角元素都等於det A,非對角元素都爲０。結果證明看Ｐ94.因此：
  $(adj A)A=\left(\begin{matrix} det A & 0 & 0 \\ 0 & det A & 0 \\ 0 & 0 & det A \end{matrix}\right)=(det A)I$
  因此，可以得到：
  $A^{-1}=\frac{1}{det A}adj A$
  從這個式子中可以看出如果$det A$不等於０，則$A^{-1}必然存在$。

秩、逆矩陣、線性方程組　—　溯因推理

問題設定：逆問題

• 這類已知結果ｙ去推測原因ｘ的問題，稱爲逆問題。考慮從原因x出發去預測結果ｙ，這樣的問題稱爲順問題。
• 所謂的逆問題，其實就是線性方程組。

良性問題（可逆矩陣）

可逆性與逆矩陣

• 令y=Ax，其中ｘ，ｙ具有相同的維數，則Ａ是方陣。如果Ａ存在逆矩陣，則
  $x=A^{-1}y$
  上面的公式中，存在逆矩陣的方陣Ａ，稱爲正則矩陣（可逆矩陣，非奇異矩陣），而不是正則矩陣的，則稱爲奇異矩陣。

線性方程組的解法（係數矩陣可逆）

• 用消元法解多元一次方程組
  • 通過不斷的變量替換的方法消解變量的個數，反覆使用這個原理求解問題。
• 用分塊矩陣表示線性方程組的求解過程
  • 主要就是通過不斷的進行線性變換，每行的開始變爲1，然後不斷的進行消元，可以簡稱爲消元法。
• 只用分塊矩陣求解線性方程組 —Gauss-Jordan法
  • 主要就是將每行乘上一個數，或者乘上一個數後加到另一個行上。最終的目的是將矩陣變成單位矩陣。如果在變換時，對角線上的元素不能變成1，而是爲0，則可以換行來處理。

逆矩陣的計算方法

• 線性方程組的解法
  • 如果線性方程組能夠求解，則逆矩陣一定能夠求解。
  • Ax = I,當求解A的逆矩陣時，只要求解這個方程組時，就可以得到A的逆矩陣x。
• 應用分塊矩陣表示的解法
  • 形如$(A|I) = (I|X)$ 區塊X就正是我們要求的$A^{-1}$
    • 在Ａ的右邊添上單位矩陣Ｉ
    • 計算步驟：運用線性方程組的筆算法中的變形方法，將左側區塊（最初的A部分）變成I
    • 完成後，右側區塊（最初的Ｉ部分）就是$A^{-1}$

初等變換

• 上面的逆矩陣的求法主要可以總結爲：
  • 將某行乘以C(c不等於０)
  • 將某行的ｃ倍加到另一行上。
  • 交換兩行
• 以上的操作都可以用‘乘上一個矩陣表示’，這些操作稱爲初等（行）變換。
• 瞭解上面的內容後，無論是解線性方程組還是逆矩陣，都可以用現行變換的方式理解。
• 對於矩陣(A|y),只要做成矩陣，就可以變成(I|ｓ)的形式，用公式表達就是：
  $P(A|y) = (I|s)$
• 將上面的區塊展開，即
  $PA = I$
  $Py = s$
• 由第一式可知$P=A^{-1}$,由第二式可知$X = P = A^{-1}$
• 如果方陣A可逆，則可以通過初等變換得到單位矩陣I。反之，若A不可逆（奇異），則不能。
• 初等變換與行列式的關係
  • 將i行乘以c，行列式值爲原來的c倍
  • 將j行乘以c加到第i行，行列式值不變。
  • 交換i，j行，行列式值的正負號改變。

惡性問題

惡性問題實例

• 線索不足的情況(矮矩陣、核)
  • 首先考慮在$y=Ax$中，y的維數比x的維數低，也就是A是矮矩陣。
  • 直觀上，可以理解x所在的高維通過A的映射到y的低維。因此對應了"壓縮扁平化"的操作。實質上就是說會有多個x被轉移到同樣的y上。
  • 對於給定的A，在映射的作用下，滿足$Ax=0$的x的集合稱爲A的核，記爲Ker A。
• 怎麼理解壓縮扁平化操作是不可逆的?
  • 從方程$Ax=o$來看，可以理解爲什麼要知道x在Ker A中的位置是不可能的。但是對於$y=Ax$中y不爲o的情況，該怎麼理解?
  • 令x和$x^{,}$爲Ker A上的兩點，所以$Ax=Ax^{,}=o$，可以得到$A(x-x^{,})=o$,於是我們知道$z=x-x^{,}$一定位於Ker A中，反之，去除Ker A中的某向量z，令$x^{,}=x+z$，可以得到$Ax^{,}=Ax+Az=Ax+o=Ax$,這也就說明了爲什麼在Ker A中平行方向上的點無法確定具體位置。
• 可以認爲在"壓縮扁平化"變換的過程中丟失了一部分信息麼?
  • 答案是是的。Ker A中的具有平行關係的點的相關信息倍丟掉了。
• 線索過剩的情況
  • 考慮當y的維數比較大時的情況，也就是A是長矩陣。因爲是從低維到高維的映射，所以不可能把目標的3維空間全部覆蓋。
  • 對於給定的A，將x進行各種不同的變換，在A的作用下，y=Ax構成的集合稱爲A的像，記爲Im A。
  • 換言之，像就是把原空間通過A變換到目標空間中時對應的領域。
• 線索的個數正好(奇異矩陣)
  • 可能出現跟"線索不足"的情況一樣，在知道y的情況下不能從候選中唯一確定x。線索有冗餘。也就是說方陣A可以線性變換成矮矩陣的樣子。即某一行或幾行全部爲0.
• 所以，綜上要想知道問題是良性的還是惡性的，僅憑矩陣的大小是不能輕易下結論的，本質在於Ker A和像Im A是什麼樣子

問題的惡劣程度 — 核與像

• 對於上面的討論總結一下:
  • 對於相同的結果y，引起它的原因x是唯一的嗎
  • 無論什麼樣的結果y，都可以找到導致它的相應的原因x嗎
• 當前一個會帶是肯定時，y=Ax是單射。當後一個回答是肯定時，映射y=Ax是滿射。當二者同事成立時，映射y=Ax是雙射。
• 利用Ker A 和 Im A 的概念，正式的表述一下上面的內容:
  • Ker A 僅包含原點0 <-> 映射是單射
  • Im A與目標空間(值域)一致 <-> 映射爲滿射。
• 以上是對線性方程組的解的存在性與唯一性的解答。

維數定理

• 對於m * n 矩陣A，有
  $dim Ker A + dim Im A = n$
  其中dim X表示X的維數。
• 對上式稍加變形，可得$n-dim Ker A = dim Im A$，從直觀上看，A是從n維空間到m維空間的映射，那麼從原來的n維中，壓縮掉Ker A對應的維數，剩下的自然就是Im A的維數。
• 由此可以得到:
  • 若$ m < n $ （A是矮矩陣），則A不會是單射。(Im A是目標m維空間的一部分，所以$dim Im A<=m$，這時假設m < n，可以得到$dim Im A < n $，根據維數定理，有$dim Ker A>0$)
  • 若$m > n$(A是長矩陣)，則A不會是滿射。(維數一定不小於0，所以對於Ker A，我們有dim Ker A>=0.於是，根據維數定理，有$dim Im <= n$，進而假設$ m > n $，就可以推出$ dim Im A<m $)
• 如何理解dim Ker A以及dim Im A?
  • 線性子空間定義: 對於線性空間，若V內的區域w滿足以下條件，則稱w是v的線性子空間:
    • 對於w中的向量x和$x^{,}$,它們的和也在w內。
    • 對於w中的向量和數c，數量乘積cx也在W內。
  • 因此，Ker A和Im A等也構成線性子空間。具體證明見P123.
  • 基底:向量空間W內的任意向量都可以用這組基底表示。並且表示方式是唯一的。
• 如何證明維數定理?
  • 具體證明參見P124.

用式子表示’壓縮扁平化’變換(線性無關，線性相關)

• 定義: 所謂的’壓縮扁平化’就是把不同的x和$x^{,}$ 變換到相同的y上。
  • 令$x=(x_1,...,x_n)^T$以及$x^{,}=(x_1^{,}，...,x_n^{,})$，$A=(a_1，...,a_n)$。這樣一來$Ax=Ax^{-1}$就可以表示是爲:
    $x_1a_1+...+x_na_n=x^{,}_1a_1+...+x^{,}_na_n$
• 對於壓縮扁平化的映射，在x不等於$x^{,}$的前提下，使得x，$x^{,}$是存在的，這種情況下，稱$a_1，...，a_n$爲線性相關的。反之不是線性相關的情況，稱$a_1，...，a_n$爲線性無關的。
  • A的各個列向量線性相關 = ‘壓縮’
  • A的各個列向量線性無關 = ‘不壓縮’
• 另外，對於數$u_1，...，u_n$，當
  $u_1a_1+...+u_na_n=o$
  成立時有$u_1=...=u_n=0$,則稱$a_1，...，a_n$爲線性無關。
• 聯想 -> 基底:基底必須線性無關 -> 維數: 如果最多能取得n個線性無關的向量，則空間的維數爲n。

線索的實際個數

• 這節主要是討論目標空間全體是否能夠倍全部覆蓋到。
• 秩的定義: 令A是m * n矩陣，也就是說把n維向量x變成m維向量$y=Ax$的這一映射，這裏我們把像Im A的維數dim Im A命名爲矩陣A的秩，記爲rank A。
  這裏就可以用rank A代替dim Im A維數定理。
• 秩與核、像與單射、滿射
  • rank A = n(秩與原空間(定義域)的維數相等) <-> A是單射
  • rank A = m(秩與目標空間(值域)的維數相等) <-> A是滿射a
• 秩的基本性質:
  • 對於m * n 矩陣A，有以下的性質:
    • rank A <= m
    • rank A <= n
  • 在乘以可逆矩陣後，維數不發生變化，也就是說如P，Q可逆，則
    • rank(PA) = rank A
    • rank（AQ）= rank A
  • 對於一般的矩陣A，B，有
    • rank(BA) <= rank A
    • rank(BA) <= rank B
• 瓶頸型分解
  • 待續。。。。