第二课-矩阵消元

1 概述

本节主要是对消元法的讲解。首先主要介绍了消元法的具体步骤和使用消元法对矩阵A的要求，然后介绍了如何使用矩阵乘法来表示消元操作。

2 消元法求解方程

2.1 消元法介绍

首先通过一个例子来求解$Ax=b$，这里$A$需要是可逆矩阵,即非奇异矩阵
$\tag{1} \left \{ \begin{aligned} x+2y+z&=2\\ 3x+8y+z&=12\\ 4y+z &=2 \end{aligned} \right.$
我们先按行将方程组写成矩阵形式：
$\begin{array}{cccc} \begin{bmatrix} 1&2&1 \\ 3&8&1 \\ 0&4&1 \end{bmatrix} \begin{bmatrix} x\\y\\z \end{bmatrix} = \begin{bmatrix} 2\\12\\2 \end{bmatrix} \end{array}$

这里矩阵的消元法和我们在初等数学中求解二元一次方程组的方法本质上是一样的,都是通过对不同行的方程进行四则运算来消去未知元,得到简化后的方程组。在线性代数中，我们把系数抽取出来，组合成矩阵，寻找一种普遍规律。

系数矩阵 $A=\begin{bmatrix}\textcolor{red}{1}&2&1\\3&8&1\\0&4&1\end{bmatrix}$，这里用$A_{ij}$表示系数矩阵中第$i$行，第$j$列的数。其中$A_{11}=1$为主元1，主元是矩阵经过消元操作，变为阶梯形之后,非零行左边第一个非零元素。在消元操作中我们让主元$A_{ij}$保持不变,主元所在列的其它元素$A_{kj}(k>i)$化为0。
通过$row2-row1*3$的操作我们能够将$A_{21}$消为$0$,得到主元2 $A_{22}$,这时矩阵为$\begin{bmatrix}1&2&1\\0&2&-2\\0&4&1\end{bmatrix}$。
观察$\begin{bmatrix}\textcolor{red}{2}&-2\\4&1\end{bmatrix}$，同理，我们可以通过$row3-row2*2$ 操作将$A_{32}$消为$0$,得到$U=\begin{bmatrix}1&2&1\\0&2&-2\\0&0&5\end{bmatrix}$

• $A_{11}=1$ $A_{22}=2$ $A_{33}=5$为三个主元。
• 消元的目的是从$A \implies U(U为上三角阵)$，找到三个主元。在消元过程中,为了满足主元不能为$0$的要求，可以交换行。
• $A$的行列式=各主元的乘积 $=1*2*5=10$
• 将$\underbrace{\begin{bmatrix}2\\12\\2\end{bmatrix}}_{B}$ 与$A$进行一样的倍数操作可以得到$\underbrace{\begin{bmatrix}2\\6\\-10\end{bmatrix}}_{C}$

2.2 回代

• 将原方程用$U$与$c$代入得：
  $\left\{\tag{2} \begin{aligned} x+2y+z&=2\\2y-2z&=6\\5z&=-10 \end{aligned} \right.$
  
  
• 公式(2)由下往上递归很容易求出:$\left\{\begin{aligned}x&=2\\y&=1\\z&=-2\end{aligned}\right.$

3 消元矩阵（矩阵的线性组合）

接下来我们需要用矩阵来表示上文具体的变换步骤,首先介绍下向量与矩阵的乘法。

• 列向量与矩阵的乘法
  $\begin{bmatrix} \cdots&\cdots&\cdots\\ \vdots&\ddots&\vdots\\ \cdots&\cdots&\cdots \end{bmatrix} \begin{bmatrix}3\\4\\5\end{bmatrix}= \begin{bmatrix}3*col_{1}\\4*col_{2}\\5*col_{3}\end{bmatrix}$

• 行向量与矩阵的乘法
  $\begin{bmatrix}1&2&7\end{bmatrix} \begin{bmatrix} \cdots&\cdots&\cdots\\ \vdots&\ddots&\vdots\\ \cdots&\cdots&\cdots \end{bmatrix}= \begin{bmatrix}1*row_{1}\\2*row_{2}\\7*row_{3}\end{bmatrix}$

消元矩阵的实质就是将消元过程中的行变换操作转化为矩阵之间的乘法形式。我们由行向量与矩阵的乘法很容易就可以知道:$\begin{bmatrix}1&0&\cdots&0\end{bmatrix}$乘以一个矩阵,会得到该矩阵的第一行。$\begin{bmatrix}0&1&\cdots&0\end{bmatrix}$到$\begin{bmatrix}0&0&\cdots&1\end{bmatrix}$分别可以得到矩阵的其余行。将这些向量组合起来,就可以得到单位矩阵$I$(对角线上元素为1,其余元素均为0):$I=\begin{bmatrix}1&\cdots&0\\0&\ddots&0\\0&\cdots&1\end{bmatrix}$，单位矩阵乘以任何一个矩阵还是等于该矩阵本身,即$IA=A$

观察我们之前的消元操作,$row2-row1*3$。为了让$A_{21}=0$，让矩阵$\begin{bmatrix}1&2&1\\3&8&1\\0&4&1\end{bmatrix}$的第二行加上第一行的-3倍，结合上文提到的行向量乘法,我们可以将操作$row2-row1*3$转化为向量$\begin{bmatrix}-3&1&0\end{bmatrix}*\begin{bmatrix}1&2&1\\3&8&1\\0&4&1\end{bmatrix}=\begin{bmatrix}0&2&-2\end{bmatrix}$,为了让矩阵的其他行保持不变,我们用消元矩阵$E_{21}$(让矩阵第二行第一列元素变化0)乘上矩阵$A$
$\underbrace{\begin{bmatrix}1&0&0\\-3&1&0\\0&0&1\end{bmatrix}}_{E_{21}} \underbrace{\begin{bmatrix}1&2&1\\3&8&1\\0&4&1\end{bmatrix}}_{A}= \underbrace{\begin{bmatrix}1&2&-1\\0&2&-2\\0&4&1\end{bmatrix}}_{B}$

同理，我们可以将操作$row3-row2*2$化为消元矩阵$E_{32}*B$
$\underbrace{\begin{bmatrix}1&0&0\\0&1&0\\0&-2&1\end{bmatrix}}_{E_{32}} \underbrace{\begin{bmatrix}1&2&-1\\0&2&-2\\0&4&1\end{bmatrix}}_{B}= \underbrace{\begin{bmatrix}1&2&1\\0&2&-2\\0&0&5\end{bmatrix}}_{U}$

最终我们得到:$E_{32}(E_{21}A)=U$，观察$E_{21},E_{32}$我们可以对单位矩阵$I=\begin{bmatrix}1&0&0\\0&1&0\\0&0&1\end{bmatrix}$进行操作$row2-row1*3$得到$E_{21}=\begin{bmatrix}1&0&0\\-3&1&0\\0&0&1\end{bmatrix}$，对$I=\begin{bmatrix}1&0&0\\0&1&0\\0&0&1\end{bmatrix}$进行操作$row3-row2*2$得到$\begin{bmatrix}1&0&0\\0&1&0\\0&-2&1\end{bmatrix}$。我们将$E_{21},E_{32}$称为初等变换。我们可以使用乘法结合律，先计算$E_{32} * E_{21}$，记做$E$,$E$就是整个消元过程的消元矩阵。

求消元矩阵就是把$A$每次变换的消元步骤操作在$I$矩阵上,得到相应的$E_{ij}$，最后累积得到$E$。

置换矩阵$P$

• $A_{n*n}$的置换矩阵$P$的数量个数为$n^2$，其中包括单位阵$I$在内
• 置换$A$的两行，置换矩阵$P$在$A$的左侧
  $\underbrace{\begin{bmatrix}0&1\\1&0\end{bmatrix}}_{P}\underbrace{\begin{bmatrix}a&b\\c&d\end{bmatrix}}_{A}=\begin{bmatrix}c&d\\a&b\end{bmatrix}$
• 置换$A$的两列，置换矩阵$P$在$A$的右侧
  $\underbrace{\begin{bmatrix}a&b\\c&d\end{bmatrix}}_{A}\underbrace{\begin{bmatrix}0&1\\1&0\end{bmatrix}}_{P}=\begin{bmatrix}b&a\\d&c\end{bmatrix}$

逆矩阵

从上面我们可以得到:$P*A=U$，即用矩阵乘法对一个矩阵进行变化。现在我们考虑一个反过程，怎样把$U$还原成矩阵$A$?
由$row2-row1*3$,我们得到$E_{21}=\begin{bmatrix}1&0&0\\-3&1&0\\0&0&1\end{bmatrix}$；现在我们进行相反操作$row2+row1*3$，得到$E_{21}^{-1}=\begin{bmatrix}1&0&0\\3&1&0\\0&0&1\end{bmatrix}$。
$E_{21}*E_{21}^{-1}=\begin{bmatrix}1&0&0\\-3&1&0\\0&0&1\end{bmatrix}*\begin{bmatrix}1&0&0\\3&1&0\\0&0&1\end{bmatrix}= \begin{bmatrix}1&0&0\\0&1&0\\0&0&1\end{bmatrix}=I$
我们将$E_{21}^{-1}$称为$E_{21}$的逆矩阵，逆矩阵是唯一的。