這是Strang教授的第二講,講解了求線性方程組的一種系統方法:消元法(Gaussian elimination),它的核心思想是行變換。本課時的幾個核心知識點:消元、回代、消元過程的矩陣描述和逆矩陣。
消元
消元的思想在解線性方程組的過程中出現得很自然,並不需要很多技巧和複雜的公式,我們在中學時代就已經使用過。以3個未知數、3個方程的線性方程組爲例,介紹消元的過程:
我們求解上面的線性方程組的做法,用第一個方程消去第二個方程中的x,得到只包含未知數y,z的方程二,再用新得到的第二方程消去去第三個方程中的y得到只包含未知數z的第三個方程,這就是消元的基本思想。我們一Ax=b記錄消元的過程:
將上面消元之後的係數矩陣記爲U,U有一些特點,可以觀察到它的對角線下方的元素全爲0,這也是爲什麼用大寫字母U標記的原因,U代表Upper,是一個上三角矩陣,消元之後的右側向量記爲c,我們消元之後得到新的方程組的矩陣表示即爲Ux=c,方程組:
可以看到我們在消元過程中要對矩陣A和向量b同時進行相同的行變換(可以理解爲行向量的線性組合),那麼可不可以將矩陣A和向量b放在一起一次計算完成變換呢,答案就是採用增廣矩陣,將向量b看作A的一列得到新的矩陣[A b],新的矩陣就叫做增廣矩陣,後面對變換過程用矩陣表示之後,通過矩陣乘法性質可以得出對A和b單獨變換的結果等同於對矩陣[A b]做變換的結果,這裏寫一下增廣矩陣表示消元的過程:
這裏還有一個重要的知識點沒記錄,那就是主元(pivot),得到的矩陣U上對角線上的元素1,2,5就是我們例子中3x3系統中的3個主元,我們給主元編號從行1到行3,主元1(1)、主元2(2)、主元3(5)。有了主元的概念,我們可以這樣重新理解上面消元的過程:1、我們首先選擇A的第一行的第一個元素作爲主元1,將主元1下方不爲0的元素通過減去主元1的倍數使得主元1下方的元素都爲0,當然這裏的加法和倍數是怎對A的整個行向量而不是行向量中的第一個元素,同時也要對向量b做同樣的變換,這樣就完成了針對主元1的消元過程.2、同樣選擇第二行的第二列的元素作爲主元2,通過同樣的方式將主元2下方的元素變換爲0.3、同理是選擇在第三行第三列的元素作爲主元3,這裏是一個3x3的系統,主元3下方沒有其它元素,所以不做任何操作。主元是一個很重要的概念,後面要學習矩陣的行列式,行列式的值就等於主元的乘積。這裏有個重要的原則:消元過程中主元不能爲0,如果取得某一行的主元爲0,可以通過和它下方的行交換的方式來暫時規避。
回代
我們消元的目的是求解線性方程組,回代可以看作是消元的逆步驟,通過消元我們得到了新的,係數矩陣具有上三角特性的線性方程組,我們從係數矩陣最下方的方程組開始首先求得第3列的未知數z=-10/5=-2,繼而求得y=1,最後求得x=2。回代的過程會將主元作爲分母,這爲什麼主元不能爲0的原因。
消元過程的矩陣描述
這裏一個重要的事實,對矩陣進行行變換是可以通過左乘矩陣實現的(或者叫做等價於在矩陣左側乘上一個特殊的變換矩陣)。消元過程的矩陣描述也即是上面校園過程中的r(2)-3r(1),r(3)-2r(2)這些代數表達轉換爲矩陣的形式,雖然只是換了一種表達方式,但是這很重要,它使我們能夠完全使用矩陣運算完成消元過程。
Step1. r(2)-3r(1) ,記左側矩陣,表示通過主元1消第2行不爲0元素.
Step2. r(3)-2r(2),記左側矩陣.
Step1、Step2合併可寫做:,,。
這裏要用到一個矩陣乘法的性質:結合律A(BC) = (AB)C,根據這條性質,我們可以改寫上面的結果表達式:,,,表明我們可以用單個矩陣完成我們的整個消元過程。
上面描述了完整的消元過程,但我們有意識的忽略了一個問題:消元什麼時候會失敗?這個問題和主元的性質有關,這條性質就是主元不允許爲0,分爲3種情況:1.方程組無解,這時候我們消元過程中會得到矩陣底部的方程主元爲0,等式右側值不爲0,這種情況我們可以判斷方程無解;2.方程有無數解,這是後我們消元過程中會得到矩陣底部的方程主元爲0,等式右側值也爲0,表明底部主元乘上的未知數可以取任意值;3.方程組有解,但是在通過矩陣消元的過程中碰到選取的行主元已經爲0,這時我們可以通過調換主元所在的行與它下側的行將主元變換成非0,完成這種變換的矩陣叫置換矩陣,舉例:
就是所謂的置換矩陣,它置換了的第2、3行。
逆矩陣
教授在本節課中最後幾分鐘講了一點關於逆矩陣的知識,我還是將其記錄下來。思考一個問題我們通過得到了上三角矩陣得到了U,那麼如何通過U得到A呢?這就是逆矩陣爲我們要做的事情(看過教授後面的視頻知道,這最終會引出A的一個重要分解LU)。我們知道單位矩陣I乘上任何矩陣,矩陣保持原樣,若我們得到一個矩陣,使得,那麼成立,也就是將矩陣通過左乘變換爲了矩陣A,就是矩陣的逆矩陣, :
這裏A由U的變換可寫成,推導很簡單,只需要將代入即可,關於逆矩陣的知識教授在課時3的視頻中會詳細介紹。
內容對應《INTRODUCTION TO LINEAR ALGEBRA》2.2 - 2.3章節