標量（scalar）：
一個標量就是一個單獨的數，它不同於線性代數中研究的其他大部分對象（通常是多個數的數組）。
向量（vector）：
一個向量是一列數。這些數是有序排列的。通過次序中的索 引，我們可以確定每個單獨的數。
矩陣（matrix）：
矩陣是一個二維數組，其中的每一個元素被兩個索引（而非一個）所確定。
張量（tensor）：
在某些情況下，我們會討論座標超過兩維的數組。一般地，一個數組中的元素分佈在若干維座標的規則網格中，
我們稱之爲張量。
轉置（transpose）：
是矩陣的重要操作之一。矩陣的轉置是以對角線爲軸的鏡像，這條從左上角到右下角的對角線被稱爲 主對角線（main diagonal）。
向量可以看作只有一列的矩陣。對應地，向量的轉置可以看作是隻有一行的矩陣。
有時，我們通過將向量元素作爲行矩陣寫在文本行中，然後使用轉置操作將其變爲標準的列向量，來定義一個向量，
比如：
標量可以看作是隻有一個元素的矩陣。因此，標量的轉置等於它本身，
逆矩陣：
範數：
範數（包括 Lp 範數）是將向量映射到非負值的函數。直觀上來說，向量 x 的範數衡量從原點到點 x 的距離。
對角矩陣：
對角矩陣（diagonal matrix）只在主對角線上含有非零元素，其他位置都是零。
我們用 diag(v) 表示一個對角元素由向量 v 中元素給定的對角方陣。
向量v = {1,2,3,4,5,6},則diag(v) 表示對角線上元素爲1，2，3，4，5，6的對角矩陣。
對角矩陣受到關注的部分原因是對角矩陣的乘法計算很高效。
計算乘法 diag(v)x，我們只需要將 x 中的每個元素 xi 放大 vi 倍。
計算對角方陣的逆矩陣也很高效。
對角方陣的逆矩陣存在，
當且僅當對角元素都是非零值，在這種情況下，
對稱矩陣：
對稱（symmetric）矩陣是轉置和自己相等的矩陣：
單位向量：
單位向量（unit vector）是具有 單位範數（unit norm）的向量：
正交 和 標準正交：
正交矩陣：
正交矩陣（orthogonal matrix）是指行向量和列向量是分別標準正交的方陣：
特徵分解：
特徵分解（eigendecomposition）是使用最廣的矩陣分解之一，即我們將矩陣分解成一組特徵向量和特徵值。
方陣 A 的 特徵向量（eigenvector）是指與 A 相乘後相當於對該向量進行縮放的非零向量 v：
標量 λ 被稱爲這個特徵向量對應的 特徵值（eigenvalue）。
奇異值分解：
通過奇異值分解，我們會得到一些與特徵分解相同類型的信息。然而，奇異值分解有更廣泛的應用。每個實數矩陣都有一個奇異值分解，但不一定都有特徵分解。例如，非方陣的矩陣沒有特徵分解，這時我們只能使用奇異值分解。
跡運算：
跡運算返回的是矩陣對角元素的和：
跡運算因爲很多原因而有用。若不使用求和符號，有些矩陣運算很難描述，而通過矩
陣乘法和跡運算符號可以清楚地表示。例如，跡運算提供了另一種描述矩陣Frobenius
範數的方式：
用跡運算表示表達式，我們可以使用很多有用的等式巧妙地處理表達式。例如，
跡運算在轉置運算下是不變的：
多個矩陣相乘得到的方陣的跡，和將這些矩陣中的最後一個挪到最前面之後相
乘的跡是相同的。當然，我們需要考慮挪動之後矩陣乘積依然定義良好：
行列式：
行列式，記作 det(A)，是一個將方陣 A 映射到實數的函數。
行列式等於矩陣特徵值的乘積。
行列式的絕對值可以用來衡量矩陣參與矩陣乘法後空間擴大或者縮小了多少。
如果行列式是 0，那麼空間至少沿着某一維完全收縮了，使其失去了所有的體積。
如果行列式是 1，那麼這個轉換保持空間體積不變。
主成分分析PCA：
主成分分析（principal components analysis, PCA）是一個簡單的機器學習算
法，可以通過基礎的線性代數知識推導。
