數據挖掘day9-CS229-Linear Algebra Review and Reference

因爲計劃先看的凸優化，但是發現其中很多符號不認識（不同的機構使用的不一定一樣）。過兩天纔看到這個線性代數綜述，我覺得應該是我的順序搞反了，所以，將這一篇的日期順序排的靠前點。其實我更推薦看原文章或翻譯：中文翻譯，不過這裏我會把公式都打出來，主要是聯繫一下Latax。
（未完待填坑）

1、基本概念和符號

方程組：
$4x_1-5x_2=-13$
$-2x_1+3x_2=9$

可以寫成線性代數的形式：

$Ax=b$ 其中： $A=\left[\begin{matrix} 4&-5\\ -1&3 \end{matrix} \right]$,$b=\left[\begin{matrix}-13\\ 9\end{matrix} \right]$

1.1、基本符號

採用以下符號：
· $A \in \mathbb{R}^{m×n}$ ，表示一個m行n列的矩陣，並且矩陣A中的所有元素都是實數。
· $x \in \mathbb{R}^{n}$ ，表示一個含有n個元素的向量，通常，我們把n維向量看成是一個n行1列矩陣，即列向量。如果我們想表示一個行向量（1行n列矩陣），我們通常寫作$x^T$，即x的轉置。
· 向量的第i個元素寫作$x_i$：

$x=\left[\begin{matrix} x_1\\x_2\\ \vdots \\x_n \end{matrix} \right]$

·採用$a_{ij }(or A_{ij} , A_{i,j} , etc)$表示A的$i$行$j$列元素

$A=\left[\begin{matrix} a_{11}&a_{12}& \cdots &a_{1n}\\a_{21}&a_{22}& \cdots &a_{2n}\\ \vdots& \vdots&\ddots&\vdots\\a_{m1}&a_{m2}& \cdots &a_{mn} \end{matrix} \right]$

·採用$a_{j }(or A_{:,j} )$表示A的$j$列元素

$A=\left[\begin{matrix} |&|& &|\\a_{1}&a_{2}& \cdots &a_{n}\\|&|& &|\end{matrix} \right]$

·採用$a_{i}^T(or A_{i,:} )$表示A的$i$行元素

$A=\left[\begin{matrix} — &a_1^T& — \\ — &a_2^T& — \\ &\vdots& \\ — &a_m^T& — \\ \end{matrix} \right]$

2、矩陣乘法

百度百科-矩陣乘法
矩陣$A \in \mathbb{R}^{m×n}$和$B \in \mathbb{R}^{n×P}$的乘積：
$C=AB\in \mathbb{R}^{m×p}$
其元素爲$C_{ij}= \displaystyle \sum_{k=1}^nA_{ik}B_{kj}$

2.1、向量乘積

內積：
$x,y \in \mathbb{R}^n$，的點積/內積爲$x^Ty$，是一個實數
$x^Ty \in \mathbb{R}=\left[\begin{matrix} x_1&x_2&\cdots&x_n \end{matrix} \right] \left[\begin{matrix} y_1\\y_2\\ \vdots\\y_n \end{matrix} \right]= \displaystyle \sum_{i=1}^nx_{i}y_{i}$

內積是矩陣乘法的特例，通常$x^Ty=y^Tx$

外積：
$x \in \mathbb{R}^m,y \in \mathbb{R}^n$，$xy^T \in \mathbb{R}^{m×n}$爲向量的外積

$xy^T \in \mathbb{R}^{m×n}=\left[\begin{matrix} x_1\\x_2\\ \vdots\\x_n \end{matrix} \right] \left[\begin{matrix} y_1&y_2& \cdots&y_n \end{matrix} \right]= \left[\begin{matrix} x_1y_1&x_1y_2& \cdots &x_1y_n\\x_2y_1&x_2y_2& \cdots &x_2y_n\\ \vdots& \vdots&\ddots&\vdots\\x_my_1&x_my_2& \cdots &x_my_n \end{matrix} \right]$

外積寫法的例子，$1 \in \mathbb {R}^n$是元素都爲1的n維向量，$A \in \mathbb{R}^{m×n}$是m行n列矩陣，每一列都是$x \in \mathbb{R}^m$，A可以簡潔的寫作

$A=\left[\begin{matrix} |&|& &|\\x&x& \cdots &x\\|&|& &|\end{matrix} \right]=\left[\begin{matrix} x_1&x_1& \cdots &x_1\\x_2&x_2& \cdots &x_2\\ \vdots& \vdots&\ddots&\vdots\\x_m&x_m& \cdots &x_m\end{matrix} \right]=\left[\begin{matrix} x_1\\x_1\\ \vdots \\x_1 \end{matrix} \right]\left[\begin{matrix} y_1&y_2& \cdots&y_n \end{matrix} \right]=x1^T$

2.2、矩陣-向量乘法

右乘列向量的寫法：
矩陣$A \in \mathbb{R}^{m×n}$與向量$x \in \mathbb{R}^n$的乘積爲向量$y=Ax \in \mathbb{R}^m$
行的形式:
來寫$A，Ax$，$y_i=a_i^Tx$：

$y=Ax=\left[\begin{matrix} — &a_1^T& — \\ — &a_2^T& — \\ &\vdots& \\ — &a_m^T& — \\ \end{matrix} \right]x=\left[\begin{matrix} — &a_1^Tx& — \\ — &a_2^Tx& — \\ &\vdots& \\ — &a_m^Tx& — \\ \end{matrix} \right]$

列的形式:
來寫$A，Ax$：

$y=Ax=\left[\begin{matrix} |&|& &|\\a_{1}&a_{2}& \cdots &a_{n}\\|&|& &|\end{matrix} \right]\left[\begin{matrix} x_1\\x_1\\ \vdots \\x_1 \end{matrix} \right]=[a_1]x_1+[a_2]x_2+\cdots+[a_n]x_n$

左乘行向量的寫法：

$A \in \mathbb{R}^{m×n}$,$x \in \mathbb{R}^m$,$y \in \mathbb{R}^n$，則$y^T=x^TA$

行的形式:

$y^T=x^TA=x^T\left[\begin{matrix} |&|& &|\\a_{1}&a_{2}& \cdots &a_{n}\\|&|& &|\end{matrix} \right]=\left[\begin{matrix} x^Ta_1&x^Ta_2&\cdots&x^Ta_n\end{matrix} \right]$

列的形式:

$y^T=x^TA=\left[\begin{matrix} x_1&x_2&\cdots&x_n \end{matrix} \right] \left[\begin{matrix} — &a_1^T& — \\ — &a_2^T& — \\ &\vdots& \\ — &a_m^T& — \\ \end{matrix} \right]$

$=x_1\left[\begin{matrix} — &a_1^T& — \end{matrix} \right]+x_2\left[\begin{matrix} — &a_2^T& — \end{matrix} \right]+\cdots+x_n\left[\begin{matrix} — &a_n^T& — \end{matrix} \right]$

2.3、矩陣乘法

基於以上的知識，矩陣乘法$C=AB$有4種表示方式

A的行，B的列： 最常用的方式

$C=AB=\left[\begin{matrix} — &a_1^T& — \\ — &a_2^T& — \\ &\vdots& \\ — &a_m^T& — \\ \end{matrix} \right] \left[\begin{matrix} |&|& &|\\b_{1}&b_{2}& \cdots &a_{p}\\|&|& &|\end{matrix} \right]=\left[\begin{matrix} a_1^Tb1&a_1^Tb1& \cdots &a_1^Tb1\\a_1^Tb1&a_1^Tb1& \cdots &a_1^Tb1\\ \vdots& \vdots&\ddots&\vdots\\a_1^Tb1&a_1^Tb1& \cdots &a_1^Tb1\end{matrix} \right]$

A的列，B的行：

$C=AB= \left[\begin{matrix} |&|& &|\\a_{1}&a_{2}& \cdots &a_{p}\\|&|& &|\end{matrix} \right] \left[\begin{matrix} — &b_1^T& — \\ — &b_2^T& — \\ &\vdots& \\ — &b_n^T& — \\ \end{matrix} \right]= \displaystyle \sum_{i=1}^na_{i}b_{i}^T$

或者，可以看作是一系列的向量-矩陣乘積：
B以列向量表示：

$C_i=Ab_i$

$C=AB= A\left[\begin{matrix} |&|& &|\\b_{1}&b_{2}& \cdots &b_{p}\\|&|& &|\end{matrix} \right] =\left[\begin{matrix} |&|& &|\\Ab_{1}&Ab_{2}& \cdots &Ab_{p}\\|&|& &|\end{matrix} \right]$

A以行向量表示：

$C_i^T=a_i^TB$

$C=AB=\left[\begin{matrix} — &b_1^T& — \\ — &b_2^T& — \\ &\vdots& \\ — &b_n^T& — \\ \end{matrix} \right]B=\left[\begin{matrix} — &a_1^TB& — \\ — &a_2^TB& — \\ &\vdots& \\ — &a_m^TB& — \\ \end{matrix} \right]$

矩陣乘法的性質： （前面線性代數的本質更加形象）
·結合律 $(AB)C=A(BC)$
·分配率$A(B+C)=AB+AC$
·沒有交換律！！

3、運算和性質

3.1、單位矩陣與對角矩陣

單位矩陣只有對角線位置是1，其餘都是0的矩陣

$I_{ij}=\left\{ \begin{matrix}1&i=j\\0& i \ne j \end{matrix} \right.$ (不等於號打出來有問題）

$AI=A=IA$

對角矩陣只有對角不爲零

$D_{ij}=\left\{ \begin{matrix}d_i&i=j\\0& i \ne j \end{matrix} \right.$

3.2、轉置

行列反轉，$A \in \mathbb{R}^{m×n}$轉置爲$A^T \in \mathbb{R}^{n×m}$

其元素爲$(A^T)_{ij}=A_{ji}$

性質：$(A^T)^T=A$，$(AB)^T=B^TA^T$ ，$(A+B)^T=A^T+B^T$

3.3、對稱矩陣

$A \in \mathbb{R}^{n×n}$,如果$A=A^T$，那就是對稱的，如果$A=(-A^T)$那就是反對稱的
任何矩陣A，$A+A^T$是對稱的，$A-A^T$是反對稱的，因此

$A=\frac{1}{2}(A+A^T)+\frac{1}{2}(A-A^T)$

通常將大小爲n的對稱矩陣幾何表示爲 $\mathbb {S}^n$，因此$A\in\mathbb {S}^n$表示A是$n×n$對稱矩陣

3.4、跡

方陣$A\in\mathbb {R}^n$的跡，記做$tr(A)$，可以省略括號 $trA$，是矩陣的對角線元素之和：

$trA=\displaystyle \sum_{i=1}^nA_{ii}$

性質如下：

$A \in \mathbb{R}^{n×n}$，$trA=trA^T$
$A ,B\in \mathbb{R}^{n×n}$，$tr(A+B)=trA+trB$
$A \in \mathbb{R}^{n×n} ,t \in \mathbb{R}$，$tr(tA)=t trA$
A,B,C都是方陣，$trAB=trBA$,$trABC=trBCA=trCBA$，方陣更多類推

3.5、範數

中間部分內容較多，後面再補上，

3.11、二次型和半正定矩陣

參見二次型的幾何意義-知乎