数据挖掘day9-CS229-Linear Algebra Review and Reference

因为计划先看的凸优化，但是发现其中很多符号不认识（不同的机构使用的不一定一样）。过两天才看到这个线性代数综述，我觉得应该是我的顺序搞反了，所以，将这一篇的日期顺序排的靠前点。其实我更推荐看原文章或翻译：中文翻译，不过这里我会把公式都打出来，主要是联系一下Latax。
（未完待填坑）

1、基本概念和符号

方程组：
$4x_1-5x_2=-13$
$-2x_1+3x_2=9$

可以写成线性代数的形式：

$Ax=b$ 其中： $A=\left[\begin{matrix} 4&-5\\ -1&3 \end{matrix} \right]$,$b=\left[\begin{matrix}-13\\ 9\end{matrix} \right]$

1.1、基本符号

采用以下符号：
· $A \in \mathbb{R}^{m×n}$ ，表示一个m行n列的矩阵，并且矩阵A中的所有元素都是实数。
· $x \in \mathbb{R}^{n}$ ，表示一个含有n个元素的向量，通常，我们把n维向量看成是一个n行1列矩阵，即列向量。如果我们想表示一个行向量（1行n列矩阵），我们通常写作$x^T$，即x的转置。
· 向量的第i个元素写作$x_i$：

$x=\left[\begin{matrix} x_1\\x_2\\ \vdots \\x_n \end{matrix} \right]$

·采用$a_{ij }(or A_{ij} , A_{i,j} , etc)$表示A的$i$行$j$列元素

$A=\left[\begin{matrix} a_{11}&a_{12}& \cdots &a_{1n}\\a_{21}&a_{22}& \cdots &a_{2n}\\ \vdots& \vdots&\ddots&\vdots\\a_{m1}&a_{m2}& \cdots &a_{mn} \end{matrix} \right]$

·采用$a_{j }(or A_{:,j} )$表示A的$j$列元素

$A=\left[\begin{matrix} |&|& &|\\a_{1}&a_{2}& \cdots &a_{n}\\|&|& &|\end{matrix} \right]$

·采用$a_{i}^T(or A_{i,:} )$表示A的$i$行元素

$A=\left[\begin{matrix} — &a_1^T& — \\ — &a_2^T& — \\ &\vdots& \\ — &a_m^T& — \\ \end{matrix} \right]$

2、矩阵乘法

百度百科-矩阵乘法
矩阵$A \in \mathbb{R}^{m×n}$和$B \in \mathbb{R}^{n×P}$的乘积：
$C=AB\in \mathbb{R}^{m×p}$
其元素为$C_{ij}= \displaystyle \sum_{k=1}^nA_{ik}B_{kj}$

2.1、向量乘积

内积：
$x,y \in \mathbb{R}^n$，的点积/内积为$x^Ty$，是一个实数
$x^Ty \in \mathbb{R}=\left[\begin{matrix} x_1&x_2&\cdots&x_n \end{matrix} \right] \left[\begin{matrix} y_1\\y_2\\ \vdots\\y_n \end{matrix} \right]= \displaystyle \sum_{i=1}^nx_{i}y_{i}$

内积是矩阵乘法的特例，通常$x^Ty=y^Tx$

外积：
$x \in \mathbb{R}^m,y \in \mathbb{R}^n$，$xy^T \in \mathbb{R}^{m×n}$为向量的外积

$xy^T \in \mathbb{R}^{m×n}=\left[\begin{matrix} x_1\\x_2\\ \vdots\\x_n \end{matrix} \right] \left[\begin{matrix} y_1&y_2& \cdots&y_n \end{matrix} \right]= \left[\begin{matrix} x_1y_1&x_1y_2& \cdots &x_1y_n\\x_2y_1&x_2y_2& \cdots &x_2y_n\\ \vdots& \vdots&\ddots&\vdots\\x_my_1&x_my_2& \cdots &x_my_n \end{matrix} \right]$

外积写法的例子，$1 \in \mathbb {R}^n$是元素都为1的n维向量，$A \in \mathbb{R}^{m×n}$是m行n列矩阵，每一列都是$x \in \mathbb{R}^m$，A可以简洁的写作

$A=\left[\begin{matrix} |&|& &|\\x&x& \cdots &x\\|&|& &|\end{matrix} \right]=\left[\begin{matrix} x_1&x_1& \cdots &x_1\\x_2&x_2& \cdots &x_2\\ \vdots& \vdots&\ddots&\vdots\\x_m&x_m& \cdots &x_m\end{matrix} \right]=\left[\begin{matrix} x_1\\x_1\\ \vdots \\x_1 \end{matrix} \right]\left[\begin{matrix} y_1&y_2& \cdots&y_n \end{matrix} \right]=x1^T$

2.2、矩阵-向量乘法

右乘列向量的写法：
矩阵$A \in \mathbb{R}^{m×n}$与向量$x \in \mathbb{R}^n$的乘积为向量$y=Ax \in \mathbb{R}^m$
行的形式:
来写$A，Ax$，$y_i=a_i^Tx$：

$y=Ax=\left[\begin{matrix} — &a_1^T& — \\ — &a_2^T& — \\ &\vdots& \\ — &a_m^T& — \\ \end{matrix} \right]x=\left[\begin{matrix} — &a_1^Tx& — \\ — &a_2^Tx& — \\ &\vdots& \\ — &a_m^Tx& — \\ \end{matrix} \right]$

列的形式:
来写$A，Ax$：

$y=Ax=\left[\begin{matrix} |&|& &|\\a_{1}&a_{2}& \cdots &a_{n}\\|&|& &|\end{matrix} \right]\left[\begin{matrix} x_1\\x_1\\ \vdots \\x_1 \end{matrix} \right]=[a_1]x_1+[a_2]x_2+\cdots+[a_n]x_n$

左乘行向量的写法：

$A \in \mathbb{R}^{m×n}$,$x \in \mathbb{R}^m$,$y \in \mathbb{R}^n$，则$y^T=x^TA$

行的形式:

$y^T=x^TA=x^T\left[\begin{matrix} |&|& &|\\a_{1}&a_{2}& \cdots &a_{n}\\|&|& &|\end{matrix} \right]=\left[\begin{matrix} x^Ta_1&x^Ta_2&\cdots&x^Ta_n\end{matrix} \right]$

列的形式:

$y^T=x^TA=\left[\begin{matrix} x_1&x_2&\cdots&x_n \end{matrix} \right] \left[\begin{matrix} — &a_1^T& — \\ — &a_2^T& — \\ &\vdots& \\ — &a_m^T& — \\ \end{matrix} \right]$

$=x_1\left[\begin{matrix} — &a_1^T& — \end{matrix} \right]+x_2\left[\begin{matrix} — &a_2^T& — \end{matrix} \right]+\cdots+x_n\left[\begin{matrix} — &a_n^T& — \end{matrix} \right]$

2.3、矩阵乘法

基于以上的知识，矩阵乘法$C=AB$有4种表示方式

A的行，B的列： 最常用的方式

$C=AB=\left[\begin{matrix} — &a_1^T& — \\ — &a_2^T& — \\ &\vdots& \\ — &a_m^T& — \\ \end{matrix} \right] \left[\begin{matrix} |&|& &|\\b_{1}&b_{2}& \cdots &a_{p}\\|&|& &|\end{matrix} \right]=\left[\begin{matrix} a_1^Tb1&a_1^Tb1& \cdots &a_1^Tb1\\a_1^Tb1&a_1^Tb1& \cdots &a_1^Tb1\\ \vdots& \vdots&\ddots&\vdots\\a_1^Tb1&a_1^Tb1& \cdots &a_1^Tb1\end{matrix} \right]$

A的列，B的行：

$C=AB= \left[\begin{matrix} |&|& &|\\a_{1}&a_{2}& \cdots &a_{p}\\|&|& &|\end{matrix} \right] \left[\begin{matrix} — &b_1^T& — \\ — &b_2^T& — \\ &\vdots& \\ — &b_n^T& — \\ \end{matrix} \right]= \displaystyle \sum_{i=1}^na_{i}b_{i}^T$

或者，可以看作是一系列的向量-矩阵乘积：
B以列向量表示：

$C_i=Ab_i$

$C=AB= A\left[\begin{matrix} |&|& &|\\b_{1}&b_{2}& \cdots &b_{p}\\|&|& &|\end{matrix} \right] =\left[\begin{matrix} |&|& &|\\Ab_{1}&Ab_{2}& \cdots &Ab_{p}\\|&|& &|\end{matrix} \right]$

A以行向量表示：

$C_i^T=a_i^TB$

$C=AB=\left[\begin{matrix} — &b_1^T& — \\ — &b_2^T& — \\ &\vdots& \\ — &b_n^T& — \\ \end{matrix} \right]B=\left[\begin{matrix} — &a_1^TB& — \\ — &a_2^TB& — \\ &\vdots& \\ — &a_m^TB& — \\ \end{matrix} \right]$

矩阵乘法的性质： （前面线性代数的本质更加形象）
·结合律 $(AB)C=A(BC)$
·分配率$A(B+C)=AB+AC$
·没有交换律！！

3、运算和性质

3.1、单位矩阵与对角矩阵

单位矩阵只有对角线位置是1，其余都是0的矩阵

$I_{ij}=\left\{ \begin{matrix}1&i=j\\0& i \ne j \end{matrix} \right.$ (不等于号打出来有问题）

$AI=A=IA$

对角矩阵只有对角不为零

$D_{ij}=\left\{ \begin{matrix}d_i&i=j\\0& i \ne j \end{matrix} \right.$

3.2、转置

行列反转，$A \in \mathbb{R}^{m×n}$转置为$A^T \in \mathbb{R}^{n×m}$

其元素为$(A^T)_{ij}=A_{ji}$

性质：$(A^T)^T=A$，$(AB)^T=B^TA^T$ ，$(A+B)^T=A^T+B^T$

3.3、对称矩阵

$A \in \mathbb{R}^{n×n}$,如果$A=A^T$，那就是对称的，如果$A=(-A^T)$那就是反对称的
任何矩阵A，$A+A^T$是对称的，$A-A^T$是反对称的，因此

$A=\frac{1}{2}(A+A^T)+\frac{1}{2}(A-A^T)$

通常将大小为n的对称矩阵几何表示为 $\mathbb {S}^n$，因此$A\in\mathbb {S}^n$表示A是$n×n$对称矩阵

3.4、迹

方阵$A\in\mathbb {R}^n$的迹，记做$tr(A)$，可以省略括号 $trA$，是矩阵的对角线元素之和：

$trA=\displaystyle \sum_{i=1}^nA_{ii}$

性质如下：

$A \in \mathbb{R}^{n×n}$，$trA=trA^T$
$A ,B\in \mathbb{R}^{n×n}$，$tr(A+B)=trA+trB$
$A \in \mathbb{R}^{n×n} ,t \in \mathbb{R}$，$tr(tA)=t trA$
A,B,C都是方阵，$trAB=trBA$,$trABC=trBCA=trCBA$，方阵更多类推

3.5、范数

中间部分内容较多，后面再补上，

3.11、二次型和半正定矩阵

参见二次型的几何意义-知乎