本系列博客作爲記錄花書的一些知識點，一些“顯而易見”的，我就不多寫了
2.1 標量、向量、矩陣和張量
標量：一個單獨的數。
向量：一列數。
矩陣：一個二維數組。
張量：一個數組中的元素分佈在若干維座標的規則網絡中，我們稱之爲張量。
轉置：矩陣的轉置是以對角線爲軸的鏡像。
2.2 矩陣和向量相乘
矩陣乘積：
元素對應乘積（Hadamard乘積）：兩個矩陣的標準乘積不是指兩個矩陣中對應元素的乘積。不過，那樣的矩陣操作確實是存在的，被稱爲元素對應乘積（element-wise product）或者Hadamard 乘積（Hadamard product），記爲 A ⊙ B。
點積：兩個相同維數的向量 x 和 y 的點積（dot product）可看作是矩陣乘積 x ⊤ y。
2.3 單位矩陣和逆矩陣
單位矩陣：
逆矩陣：
2.4 線性相關和生成子空間
線性相關：
線性無關：如果一組向量中的任意一個向量都不能表示成其他向量的線性組合，那麼這組向量稱爲線性無關。
2.5 範數
1.
2.範數是滿足下列性質的任意函數：
3.p=2時，L²範數是歐幾里得範數，表示從原點出發到向量x確定的點的歐幾里得距離。
4.平方L²範數也經常用來衡量向量的大小，可以簡單的通過點積
計算。
5.平方L²範數在計算上比L²範數本身方便，但是它在原點附近增長得十分緩慢。在某些機器學習應用中，區分恰好是零的元素和非零但值很小的元素是很重要的。
6.L¹範數：
7.Lº範數（這個術語只是一些坐着自己叫的）：統計向量中非零元素的個數來衡量向量的大小。
8.最大範數：
9.Frobenius範數：
10.兩個向量的點積
2.6 特殊類型的矩陣和向量
1.對角矩陣
2.對稱矩陣
3.單位向量
4.標準正交
5.正交矩陣
2.7 特徵分解
1.
2.所有特徵值都是正數的矩陣被稱爲正定（positive definite）；所有特徵值都是非負數的矩陣被稱爲半正定（positive semidefinite）。同樣地，所有特徵值都是負數的矩陣被稱爲負定（negative definite）；所有特徵值都是非正數的矩陣被稱爲半負定（negative semidefinite）。半正定矩陣受到關注是因爲它們保證 ∀x,x ⊤ Ax ≥ 0。此外，正定矩陣還保證 x ⊤ Ax = 0 ⇒ x = 0。
2.8 奇異值分解
1.
2.對角矩陣 D 對角線上的元素被稱爲矩陣 A 的奇異值（singular value）。矩陣U 的列向量被稱爲左奇異向量（left singular vector），矩陣 V 的列向量被稱右奇異向量（right singular vector）。
2.9 Moore-Penrose僞逆
2.10 跡運算
1.
2.
3.
4.
5.
2.11 行列式
行列式，記作 det(A)，是一個將方陣 A 映射到實數的函數。行列式等於矩陣特徵值的乘積。行列式的絕對值可以用來衡量矩陣參與矩陣乘法後空間擴大或者縮小了多少。如果行列式是 0，那麼空間至少沿着某一維完全收縮了，使其失去了所有的體積。如果行列式是 1，那麼這個轉換保持空間體積不變。