矩陣消元-線性代數課時2(MIT Linear Algebra , Gilbert Strang)

        這是Strang教授的第二講,講解了求線性方程組的一種系統方法:消元法(Gaussian elimination),它的核心思想是行變換。本課時的幾個核心知識點:消元、回代、消元過程的矩陣描述和逆矩陣。

消元

        消元的思想在解線性方程組的過程中出現得很自然,並不需要很多技巧和複雜的公式,我們在中學時代就已經使用過。以3個未知數、3個方程的線性方程組爲例,介紹消元的過程:

        \left\{\begin{matrix} x+2y+z=2\\ 3x+8y+z=12\\ 0x+4y+z=2 \end{matrix}\right.

        我們求解上面的線性方程組的做法,用第一個方程消去第二個方程中的x,得到只包含未知數y,z的方程二,再用新得到的第二方程消去去第三個方程中的y得到只包含未知數z的第三個方程,這就是消元的基本思想。我們一Ax=b記錄消元的過程:

        \begin{bmatrix} 1 & 2 & 1\\ 3 & 8 & 1\\ 0 & 4 & 1 \end{bmatrix}\begin{bmatrix} 2\\ 12\\ 2 \end{bmatrix}\overset{r(2)-3r(1)}{\rightarrow} \begin{bmatrix} 1 & 2 & 1\\ 0 & 2 & -2\\ 0 & 4 & 1 \end{bmatrix}\begin{bmatrix} 2\\ 6\\ 2 \end{bmatrix}\overset{r(3)-2r(2)}{\rightarrow} \begin{bmatrix} 1 & 2 & 1\\ 0 & 2 & -2\\ 0 & 0 & 5 \end{bmatrix}\begin{bmatrix} 2\\ 6\\ -10 \end{bmatrix} 

        將上面消元之後的係數矩陣記爲U,U有一些特點,可以觀察到它的對角線下方的元素全爲0,這也是爲什麼用大寫字母U標記的原因,U代表Upper,是一個上三角矩陣,消元之後的右側向量記爲c,我們消元之後得到新的方程組的矩陣表示即爲Ux=c,方程組:

        \left\{\begin{matrix} x+2y+z=2\\ 0x+2y-2z=6\\ 0x+0y+5z=-10 \end{matrix}\right.

        可以看到我們在消元過程中要對矩陣A和向量b同時進行相同的行變換(可以理解爲行向量的線性組合),那麼可不可以將矩陣A和向量b放在一起一次計算完成變換呢,答案就是採用增廣矩陣,將向量b看作A的一列得到新的矩陣[A b],新的矩陣就叫做增廣矩陣,後面對變換過程用矩陣表示之後,通過矩陣乘法性質可以得出對A和b單獨變換的結果等同於對矩陣[A b]做變換的結果,這裏寫一下增廣矩陣表示消元的過程:

        \begin{bmatrix} 1 & 2 & 1& 2\\ 3 & 8 & 1 &12\\ 0 & 4 & 1 &2 \end{bmatrix}\overset{r(2)-3r(1)}{\rightarrow} \begin{bmatrix} 1 & 2 & 1&2\\ 0 & 2 & -2&6\\ 0 & 4 & 1&2 \end{bmatrix}\overset{r(3)-2r(2)}{\rightarrow} \begin{bmatrix} 1 & 2 & 1 &2\\ 0 & 2 & -2 &6\\ 0 & 0 & 5 &-10 \end{bmatrix}

        這裏還有一個重要的知識點沒記錄,那就是主元(pivot),得到的矩陣U上對角線上的元素1,2,5就是我們例子中3x3系統中的3個主元,我們給主元編號從行1到行3,主元1(1)、主元2(2)、主元3(5)。有了主元的概念,我們可以這樣重新理解上面消元的過程:1、我們首先選擇A的第一行的第一個元素作爲主元1,將主元1下方不爲0的元素通過減去主元1的倍數使得主元1下方的元素都爲0,當然這裏的加法和倍數是怎對A的整個行向量而不是行向量中的第一個元素,同時也要對向量b做同樣的變換,這樣就完成了針對主元1的消元過程.2、同樣選擇第二行的第二列的元素作爲主元2,通過同樣的方式將主元2下方的元素變換爲0.3、同理是選擇在第三行第三列的元素作爲主元3,這裏是一個3x3的系統,主元3下方沒有其它元素,所以不做任何操作。主元是一個很重要的概念,後面要學習矩陣的行列式,行列式的值就等於主元的乘積。這裏有個重要的原則:消元過程中主元不能爲0,如果取得某一行的主元爲0,可以通過和它下方的行交換的方式來暫時規避。

回代

        我們消元的目的是求解線性方程組,回代可以看作是消元的逆步驟,通過消元我們得到了新的,係數矩陣具有上三角特性的線性方程組,我們從係數矩陣最下方的方程組開始首先求得第3列的未知數z=-10/5=-2,繼而求得y=1,最後求得x=2。回代的過程會將主元作爲分母,這爲什麼主元不能爲0的原因。

消元過程的矩陣描述

        這裏一個重要的事實,對矩陣進行行變換是可以通過左乘矩陣實現的(或者叫做等價於在矩陣左側乘上一個特殊的變換矩陣)。消元過程的矩陣描述也即是上面校園過程中的r(2)-3r(1),r(3)-2r(2)這些代數表達轉換爲矩陣的形式,雖然只是換了一種表達方式,但是這很重要,它使我們能夠完全使用矩陣運算完成消元過程。

        Step1. r(2)-3r(1) ,記左側矩陣E_{21},表示通過主元1消第2行不爲0元素.

        \begin{bmatrix} 1 &0 &0 \\ -3& 1 &0 \\ 0& 0 &1 \end{bmatrix}\begin{bmatrix} 1 & 2 & 1& 2\\ 3 & 8 & 1 &12\\ 0 & 4 & 1 &2 \end{bmatrix}\overset{r(2)-3r(1)}{\rightarrow} \begin{bmatrix} 1 & 2 & 1&2\\ 0 & 2 & -2&6\\ 0 & 4 & 1&2 \end{bmatrix}

        Step2. r(3)-2r(2),記左側矩陣E_{32}.

        \begin{bmatrix} 1 &0 &0 \\ 0& 1 &0 \\ 0& -2 &1 \end{bmatrix}\begin{bmatrix} 1 & 2 & 1& 2\\ 0 & 2 & -2 &6\\ 0 & 0 & 5 &2 \end{bmatrix}\overset{r(2)-3r(1)}{\rightarrow} \begin{bmatrix} 1 & 2 & 1&2\\ 0 & 2 & -2&6\\ 0 & 4 & 1&-10 \end{bmatrix}

        Step1、Step2合併可寫做:E_{32}(E_{21}\begin{bmatrix} A & b \end{bmatrix} )= \begin{bmatrix} U & c \end{bmatrix}E_{32}(E_{21}A)=UE_{32}(E_{21}b) = c

     這裏要用到一個矩陣乘法的性質:結合律A(BC) = (AB)C,根據這條性質,我們可以改寫上面的結果表達式:(E_{32}E_{21})\begin{bmatrix} A & b \end{bmatrix} = \begin{bmatrix} U & c \end{bmatrix}(E_{32}E_{21})A=U(E_{32}E_{21})b = c,表明我們可以用單個矩陣(E_{32}E_{21})完成我們的整個消元過程。

        上面描述了完整的消元過程,但我們有意識的忽略了一個問題:消元什麼時候會失敗?這個問題和主元的性質有關,這條性質就是主元不允許爲0,分爲3種情況:1.方程組無解,這時候我們消元過程中會得到矩陣底部的方程主元爲0,等式右側值不爲0,這種情況我們可以判斷方程無解;2.方程有無數解,這是後我們消元過程中會得到矩陣底部的方程主元爲0,等式右側值也爲0,表明底部主元乘上的未知數可以取任意值;3.方程組有解,但是在通過矩陣消元的過程中碰到選取的行主元已經爲0,這時我們可以通過調換主元所在的行與它下側的行將主元變換成非0,完成這種變換的矩陣叫置換矩陣,舉例:

        \begin{bmatrix} 1 &0 &0 \\ 0& 0 &1 \\ 0& 1 & 0 \end{bmatrix}\begin{bmatrix} 1 &2 &1 \\ 0& 2 &-2 \\ 0& 4 & 1 \end{bmatrix} = \begin{bmatrix} 1 &2 &1 \\ 0& 4 &1 \\ 0& 2 & -2 \end{bmatrix}

        \begin{bmatrix} 1 &0 &0 \\ 0& 0 &1 \\ 0& 1 & 0 \end{bmatrix}就是所謂的置換矩陣,它置換了\begin{bmatrix} 1 &2 &1 \\ 0& 2 &-2 \\ 0& 4 & 1 \end{bmatrix}的第2、3行。

逆矩陣

        教授在本節課中最後幾分鐘講了一點關於逆矩陣的知識,我還是將其記錄下來。思考一個問題我們通過E_{32}(E_{21}A)得到了上三角矩陣得到了U,那麼如何通過U得到A呢?這就是逆矩陣爲我們要做的事情(看過教授後面的視頻知道,這最終會引出A的一個重要分解LU)。我們知道單位矩陣I乘上任何矩陣,矩陣保持原樣,若我們得到一個矩陣E_{21}^{-1},使得E_{21}^{-1}E_{21}=I,那麼E_{21}^{-1}(E_{21}A)=A成立,也就是將矩陣E_{21}A通過左乘E_{21}^{-1}變換爲了矩陣A,E_{21}^{-1}就是矩陣E_{21}的逆矩陣, E_{21}^{-1}

        \begin{bmatrix} 1 &0 &0\\ 3 &1 & 0\\ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} 1 &0 &0\\ -3 &1 & 0\\ 0 & 0 & 1 \end{bmatrix}= \begin{bmatrix} 1 &0 &0\\ 0 &1 & 0\\ 0 & 0 & 1 \end{bmatrix}

        這裏A由U的變換可寫成A=E_{21}^{-1}E_{32}^{-1}U,推導很簡單,只需要將U=E_{32}(E_{21}A)代入即可,關於逆矩陣的知識教授在課時3的視頻中會詳細介紹。

        內容對應《INTRODUCTION TO LINEAR ALGEBRA》2.2 - 2.3章節

        

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章