2.1 標量、向量、矩陣和張量
- 標量（scalar）
一個標量就是一個單獨的數，就把他理解爲一個普通的數。例如：2，3，5，這些都是標量，還有n 
- 向量（vector）
向量是一個和標量相對的概念，一個向量是一組數，並且這組數是有序的。因此我們可以通過確定的索引確定每個單數的數。當我們定義一個向量x，這個向量包含n個元素，並且每個元素如果都屬於實數集R，那麼這個向量一定屬於實數集R自身做n次笛卡爾積所構成的集合，記作R^n，我們會將這些元素依次排成一個方括號包圍的縱列：
笛卡爾乘積是指在數學中，兩個集合X和Y的笛卡爾積（Cartesian product），又稱直積，表示爲X × Y，第一個對象是X的成員而第二個對象是Y的所有可能有序對的其中一個成員 [1] 。
表達式：A×B = {(x,y)|x∈A∧y∈B}
就是說兩個集合做笛卡爾積後形成一個集合，這個集合中每個元素分別是由這兩個集合裏面所有元素兩兩結合形成的有序數對。
我們還可以看作向量是空間上的點，每個元素代表每個不同的座標軸上的座標值。
- 矩陣（matrix）
矩陣就是一個二維數組，每個元素由行索引和列索引這兩個索引確定，通俗的說就是某個元素在第幾行第幾列。
- 張量（tensor）
張量又與矩陣對應，矩陣是一個二維數組，而張量可以看作是一個多維的矩陣。n維的張量中，每個元素由n個索引確定。
- 轉置（transpose）
轉置就是將矩陣沿着主對角線鏡像操作（主對角線是左上到右下），或者通俗來講就是把橫縱座標交換，就是行變列，列變行。
標量可以看作是一個元素的矩陣，因此標量的轉置等於他本身。
兩個形狀相同的矩陣（兩個矩陣行列數相等）相加，就是對應位置的元素相加，結果還是一個矩陣。
標量和矩陣相加或者相乘，就是將標量和矩陣的每個元素相加或者相乘，結果還是一個矩陣。
向量相當於是一個只有一列的矩陣，我們通常講向量表示爲他的轉置向量的轉置，這樣的寫法比較節省空間不用佔用很多行。
向量也可以和矩陣相加，就是用一個向量與矩陣的每一行相加。將向量b隱式的複製到每一個位置的方式我們稱爲：廣播（broadcasting）。
2.2 矩陣和向量相乘
- 矩陣乘法
矩陣乘法式矩陣運算中最重要的操作之一。與矩陣加法完全不同，矩陣加法是形狀相同的兩個矩陣對應位置的元素相加。而矩陣乘法要滿足的條件是左矩陣的列數必須和右矩陣的行數相等，乘法得到的結果依然是一個矩陣。然後使用“左行乘右列”的規律，左邊矩陣的每一行和右邊矩陣的每一列的對應元素相乘再相加，得到結果矩陣的一個元素，這個元素的索引爲相乘的行和列的索引。矩陣的乘法規則決定了兩個矩陣相乘不滿足交換律。
另外，兩個矩陣的對應元素的乘積叫做元素對應成績，或者Hadamard乘積，與矩陣乘法不同。
兩個維數相同向量x， y的點積，相當於x轉置與y的矩陣乘積，相當於是對應元素相乘再相加，結果是一個標量，或者說結果是一個只一個元素的矩陣。
矩陣成績滿足結合律和分配律，但是不滿足交換律。
A(B+C) = AB+AC
A(BC) = (AB)C
需要注意的是：第一個式子中A右乘(B+C)，分配率之後仍然是右乘。
向量點積滿足交換律：ab = ba，或者說a轉置乘b等於b轉置乘a。
矩陣乘積的轉置：AB乘積的轉置等於B轉置乘A轉置，這樣也可以解釋爲什麼向量點積滿足交換律。
- 線性方程組
Ax = b
A是一個已知矩陣，b是一個已知向量，x是待求的向量。
根據矩陣乘法可以寫出A每一行的每一個元素與x對應相乘相加等於b對應位置元素的方程組，但矩陣相乘的形式更加緊湊。
2.3 單位矩陣和逆矩陣
- 單位矩陣
單位矩陣就是主對角線全爲1，其他位置全爲0。
單位矩陣爲方陣，行數和列數相等。
- 逆矩陣
一個矩陣和他的逆矩陣相乘得到單位矩陣。
2.4 線性相關和生成子空間
- 線性組合：一組向量乘以對應的標量係數並相加求和之後得到新的向量，這種操作叫做線性組合。
- 生成子空間：一組向量線性組合後所能到達的點的集合。
確定Ax = b的解，相當於把b向量看作一個點，計算點b是否在A的列向量的生成子空間裏面，這個生成子空間稱爲A的列空間或者A的值域。