Coursea-吳恩達-machine learning學習筆記（三）【week 1之Linear Algebra Review】

[142536]$$\left[\begin{array}{ccc}1& 2& 3\\ 4& 5& 6\end{array}\right]$$

矩陣的維度：行×$\times$ 列；
A$A$ 表示矩陣，Aij$A_{ij}$ 表示矩陣第i$i$ 行第j$j$ 列的元素。

向量是一種特殊矩陣，n×1$n\times 1$ 的矩陣：
y=⎡⎣⎢123⎤⎦⎥$y=\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right]$ 表示三維向量；
yi$y_i$ 表示向量y$y$ 的第i$i$ 個元素。

向量的表示包括0$0$ 索引法和1$1$ 索引法：
y=⎡⎣⎢y1y2y3⎤⎦⎥$y=\left[\begin{array}{c}{y}_1\\ y_2\\ y_3\end{array}\right]$ 爲1索引法，y=⎡⎣⎢y0y1y1⎤⎦⎥$y=\left[\begin{array}{c}{y}_0\\ y_1\\ y_1\end{array}\right]$ 爲0索引法，一般使用1索引法。

一般用大寫字母表示矩陣，如A、B、C$A、B、C$ ；用小寫字母表示向量，如a、x、y$a、x、y$ 。

相同維度的矩陣才能進行加、減運算。

矩陣與向量的乘法：

A×x=y$$A\times x=y$$

其中A$A$ 爲m×n$m\times n$ 矩陣，x$x$ 爲n×1$n\times 1$ 矩陣即n$n$ 維向量，y$y$ 爲m$m$ 維向量，yi$y_i$ 等於A$A$ 的第i$i$ 行元素乘以向量x$x$ 的元素，然後相加：

⎡⎣⎢acebdf⎤⎦⎥∗[xy]=⎡⎣⎢a∗x+b∗yc∗x+d∗ye∗x+f∗y⎤⎦⎥$$\left[\begin{array}{cc}a& b\\ c& d\\ e& f\end{array}\right]\ast \left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{c}a\ast x+b\ast y\\ c\ast x+d\ast y\\ e\ast x+f\ast y\end{array}\right]$$

注：A$A$ 的列數必須與x$x$ 的行數相同。

矩陣間乘法：

A×B=C$$A\times B=C$$

其中，A$A$ 爲m×n$m\times n$ 矩陣，B$B$ 爲n×o$n\times o$ 矩陣，C$C$ 爲m×o$m\times o$ 矩陣，C$C$ 的第i$i$ 列是A$A$ 乘以B$B$ 的第i$i$ 列，Cij$C_{ij}$ 等於A$A$ 的第i$i$ 行元素乘以B$B$ 的第j$j$ 列元素，然後相加：

⎡⎣⎢acebdf⎤⎦⎥∗[wyxz]=⎡⎣⎢a∗w+b∗yc∗w+d∗ye∗w+f∗ya∗x+b∗zc∗x+d∗ze∗x+f∗z⎤⎦⎥$$\left[\begin{array}{cc}a& b\\ c& d\\ e& f\end{array}\right]\ast \left[\begin{array}{cc}w& x\\ y& z\end{array}\right]=\left[\begin{array}{cc}a\ast w+b\ast y& a\ast x+b\ast z\\ c\ast w+d\ast y& c\ast x+d\ast z\\ e\ast w+f\ast y& e\ast x+f\ast z\end{array}\right]$$

注：A$A$ 的列數必須與B$B$ 的行數相同。

線性迴歸：Prediction=DataMatrix∗Parameters$Prediction=DataMatrix\ast Parameters$
預測值：⎡⎣⎢⎢⎢210414161534852⎤⎦⎥⎥⎥$\left[\begin{array}{c}2104\\ 1416\\ 1534\\ 852\end{array}\right]$ ，三個假設函數：⎧⎩⎨hθ(x)=−40+0.25xhθ(x)=200+0.1xhθ(x)=−150+0.4x$\{\begin{array}{l}{h}_{\theta }(x)=-40+0.25x\\ h_{\theta }(x)=200+0.1x\\ h_{\theta }(x)=-150+0.4x\end{array}$
求取hθ(x)$h_{\theta }(x)$ ：

⎡⎣⎢⎢⎢1111210414161534852⎤⎦⎥⎥⎥∗[−400.152000.1−1500.4]=⎡⎣⎢⎢⎢486314344173410342353285692416464191⎤⎦⎥⎥⎥$$\left[\begin{array}{cc}1& 2104\\ 1& 1416\\ 1& 1534\\ 1& 852\end{array}\right]\ast \left[\begin{array}{ccc}-40& 200& -150\\ 0.15& 0.1& 0.4\end{array}\right]=\left[\begin{array}{ccc}486& 410& 692\\ 314& 342& 416\\ 344& 353& 464\\ 173& 285& 191\end{array}\right]$$

矩陣乘法原則：

A×B≠B×A(A×B)×C=A×(B×C)$$\begin{gathered} A\times B\ne B\times A \\ (A\times B)\times C=A\times (B\times C) \end{gathered}$$

單位矩陣：I$I$ 或In×n$I_{n\times n}$
例：

[1001]⎡⎣⎢100010001⎤⎦⎥$$\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$$

原則：A⋅I=I⋅A=A(即：Am×n⋅In×n=Im×m⋅Am×n=Am×n)$A\cdot I=I\cdot A=A(即：A_{m\times n}\cdot I_{n\times n}=I_{m\times m}\cdot A_{m\times n}=A_{m\times n})$

逆矩陣：不是所有矩陣都有逆矩陣，只有m×m$m\times m$ 的矩陣纔有可能有逆矩陣，若有，表示爲A−1$A^{-1}$ 。
原則：AA−1=A−1A=I$A{A}^{-1}=A^{-1}A=I$
在Octave$Octave$ 中，求矩陣A$A$ 的逆矩陣用pinv(A)$pinv(A)$
若矩陣不存在逆矩陣，稱爲奇異矩陣或退化矩陣。

轉置矩陣：

A=[132509]AT=⎡⎣⎢120359⎤⎦⎥$$A=\left[\begin{array}{ccc}1& 2& 0\\ 3& 5& 9\end{array}\right]A^T=\left[\begin{array}{cc}1& 3\\ 2& 5\\ 0& 9\end{array}\right]$$

A$A$ 是m×n$m\times n$ 矩陣，B=AT$B=A^T$ ，則B$B$ 是n×m$n\times m$ 矩陣，且Bij=Aji$B_{ij}=A_{ji}$
在Octave$Octave$ 中，求矩陣A$A$ 的轉置矩陣用A′$A^{{}^{\prime }}$