Coursea-吴恩达-machine learning学习笔记（三）【week 1之Linear Algebra Review】

[142536]$$\left[\begin{array}{ccc}1& 2& 3\\ 4& 5& 6\end{array}\right]$$

矩阵的维度：行×$\times$ 列；
A$A$ 表示矩阵，Aij$A_{ij}$ 表示矩阵第i$i$ 行第j$j$ 列的元素。

向量是一种特殊矩阵，n×1$n\times 1$ 的矩阵：
y=⎡⎣⎢123⎤⎦⎥$y=\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right]$ 表示三维向量；
yi$y_i$ 表示向量y$y$ 的第i$i$ 个元素。

向量的表示包括0$0$ 索引法和1$1$ 索引法：
y=⎡⎣⎢y1y2y3⎤⎦⎥$y=\left[\begin{array}{c}{y}_1\\ y_2\\ y_3\end{array}\right]$ 为1索引法，y=⎡⎣⎢y0y1y1⎤⎦⎥$y=\left[\begin{array}{c}{y}_0\\ y_1\\ y_1\end{array}\right]$ 为0索引法，一般使用1索引法。

一般用大写字母表示矩阵，如A、B、C$A、B、C$ ；用小写字母表示向量，如a、x、y$a、x、y$ 。

相同维度的矩阵才能进行加、减运算。

矩阵与向量的乘法：

A×x=y$$A\times x=y$$

其中A$A$ 为m×n$m\times n$ 矩阵，x$x$ 为n×1$n\times 1$ 矩阵即n$n$ 维向量，y$y$ 为m$m$ 维向量，yi$y_i$ 等于A$A$ 的第i$i$ 行元素乘以向量x$x$ 的元素，然后相加：

⎡⎣⎢acebdf⎤⎦⎥∗[xy]=⎡⎣⎢a∗x+b∗yc∗x+d∗ye∗x+f∗y⎤⎦⎥$$\left[\begin{array}{cc}a& b\\ c& d\\ e& f\end{array}\right]\ast \left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{c}a\ast x+b\ast y\\ c\ast x+d\ast y\\ e\ast x+f\ast y\end{array}\right]$$

注：A$A$ 的列数必须与x$x$ 的行数相同。

矩阵间乘法：

A×B=C$$A\times B=C$$

其中，A$A$ 为m×n$m\times n$ 矩阵，B$B$ 为n×o$n\times o$ 矩阵，C$C$ 为m×o$m\times o$ 矩阵，C$C$ 的第i$i$ 列是A$A$ 乘以B$B$ 的第i$i$ 列，Cij$C_{ij}$ 等于A$A$ 的第i$i$ 行元素乘以B$B$ 的第j$j$ 列元素，然后相加：

⎡⎣⎢acebdf⎤⎦⎥∗[wyxz]=⎡⎣⎢a∗w+b∗yc∗w+d∗ye∗w+f∗ya∗x+b∗zc∗x+d∗ze∗x+f∗z⎤⎦⎥$$\left[\begin{array}{cc}a& b\\ c& d\\ e& f\end{array}\right]\ast \left[\begin{array}{cc}w& x\\ y& z\end{array}\right]=\left[\begin{array}{cc}a\ast w+b\ast y& a\ast x+b\ast z\\ c\ast w+d\ast y& c\ast x+d\ast z\\ e\ast w+f\ast y& e\ast x+f\ast z\end{array}\right]$$

注：A$A$ 的列数必须与B$B$ 的行数相同。

线性回归：Prediction=DataMatrix∗Parameters$Prediction=DataMatrix\ast Parameters$
预测值：⎡⎣⎢⎢⎢210414161534852⎤⎦⎥⎥⎥$\left[\begin{array}{c}2104\\ 1416\\ 1534\\ 852\end{array}\right]$ ，三个假设函数：⎧⎩⎨hθ(x)=−40+0.25xhθ(x)=200+0.1xhθ(x)=−150+0.4x$\{\begin{array}{l}{h}_{\theta }(x)=-40+0.25x\\ h_{\theta }(x)=200+0.1x\\ h_{\theta }(x)=-150+0.4x\end{array}$
求取hθ(x)$h_{\theta }(x)$ ：

⎡⎣⎢⎢⎢1111210414161534852⎤⎦⎥⎥⎥∗[−400.152000.1−1500.4]=⎡⎣⎢⎢⎢486314344173410342353285692416464191⎤⎦⎥⎥⎥$$\left[\begin{array}{cc}1& 2104\\ 1& 1416\\ 1& 1534\\ 1& 852\end{array}\right]\ast \left[\begin{array}{ccc}-40& 200& -150\\ 0.15& 0.1& 0.4\end{array}\right]=\left[\begin{array}{ccc}486& 410& 692\\ 314& 342& 416\\ 344& 353& 464\\ 173& 285& 191\end{array}\right]$$

矩阵乘法原则：

A×B≠B×A(A×B)×C=A×(B×C)$$\begin{gathered} A\times B\ne B\times A \\ (A\times B)\times C=A\times (B\times C) \end{gathered}$$

单位矩阵：I$I$ 或In×n$I_{n\times n}$
例：

[1001]⎡⎣⎢100010001⎤⎦⎥$$\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$$

原则：A⋅I=I⋅A=A(即：Am×n⋅In×n=Im×m⋅Am×n=Am×n)$A\cdot I=I\cdot A=A(即：A_{m\times n}\cdot I_{n\times n}=I_{m\times m}\cdot A_{m\times n}=A_{m\times n})$

逆矩阵：不是所有矩阵都有逆矩阵，只有m×m$m\times m$ 的矩阵才有可能有逆矩阵，若有，表示为A−1$A^{-1}$ 。
原则：AA−1=A−1A=I$A{A}^{-1}=A^{-1}A=I$
在Octave$Octave$ 中，求矩阵A$A$ 的逆矩阵用pinv(A)$pinv(A)$
若矩阵不存在逆矩阵，称为奇异矩阵或退化矩阵。

转置矩阵：

A=[132509]AT=⎡⎣⎢120359⎤⎦⎥$$A=\left[\begin{array}{ccc}1& 2& 0\\ 3& 5& 9\end{array}\right]A^T=\left[\begin{array}{cc}1& 3\\ 2& 5\\ 0& 9\end{array}\right]$$

A$A$ 是m×n$m\times n$ 矩阵，B=AT$B=A^T$ ，则B$B$ 是n×m$n\times m$ 矩阵，且Bij=Aji$B_{ij}=A_{ji}$
在Octave$Octave$ 中，求矩阵A$A$ 的转置矩阵用A′$A^{{}^{\prime }}$