1、線性相關和生成子空間
對於線性方程組：Ax=b，如果逆矩陣 
存在，那麼對每一個向量b恰好存在一個解。但是，對於方程組而言，對於向量b的某些值，有可能不存在解或者存在無限多解。
爲了分析方程有多少個解，我們可以將A的列向量看作從原點出發的不同方向，確定有多少種方法可以到達向量b。在這個觀點下，向量x中的每個元素表示我們應該沿着這些方向走多遠，即xi表示我們需要沿着第i個向量的方向走多遠。一般，這種操作稱爲線性組合。
一組向量的生成子空間是原始向量線性組合後所能抵達的點的集合。
確定Ax=b是否有解，相當於確定向量b是否在A列向量的生成子空間中。這個特殊的生成子空間被稱爲A的列空間或者A的值域。
爲了使方程Ax=b對於任意向量 
都存在解，我們要求A的列空間構成整個 
。如果 
中的某個點不在A的列空間中，那麼該點對應的b會使得該方程沒有解。矩陣A的列空間是整個 
的要求，意味着A至少有m列，即n≥m。否則A的列空間維數會小於m。
2、範數
範數可以通過點積 
計算
當機器學習問題中零和非零元素之間的差異非常重要時，通常會使用 
範數。每當x中某個元素從0增加ε，對應的
範數也會增加ε。
有時會統計向量中非零元素的個數來衡量向量的大小，有些作者稱爲 範數，在數學意義上不對，因爲對向量縮放α倍不會改變該向量非零元素的數目。
範數，最大範數，表示向量中具有最大幅值的元素的絕對值： 
衡量矩陣大小，用Frobenius範數，即 
3、特殊類型的矩陣和向量
對角矩陣diag(v)x，只需將x中的每個元素 
放大 
倍。
對角矩陣diag(v)的逆矩陣存在，當且僅當對角元素都是非零值，此時 
非方陣的對角矩陣沒有逆矩陣
對於一個長方形對角矩陣D而言，乘法Dx會涉及x中每個元素的縮放，如果D是瘦長型矩陣，那麼在縮放後的末尾添加一些零，如果D是寬胖型矩陣，那麼在縮放後去掉一些元素。
正交矩陣是指行向量和列向量是分別標準正交的方陣，即 
,這意味着 
。正交矩陣的行向量不僅是正交的，而且是標準正交的。對於行向量或列向量互相正交但不是標準正交的矩陣，沒有對應的專有術語
4、特徵分解
非奇異矩陣A，n×n：Av = λv
每個實對稱矩陣都可以分解成是特徵向量和實特徵值： 
，Q是A的特徵向量組成的正交矩陣。
實對稱矩陣的特徵分解可以用於優化二次方程 
，其中限制 
。當x等於A的某個特徵向量時，f將返回對應的特徵值。在限制條件下，函數f的最大值是最大特徵值，最小值是最小特徵值。
半正定矩陣保證 
，正定矩陣保證 
5、奇異值分解
每個實數矩陣都有一個奇異值分解，但不一定都有特徵分解，如非方陣的矩陣沒有特徵分解
A是m×n矩陣，
A的奇異值：
的特徵值的平方根
：
的特徵向量
D的對角線元素是A的奇異值
奇異值分解： 
6、Moore-Penrose 僞逆
矩陣A的僞逆： 
，其中對角矩陣D的僞逆
是其非零元素取到數之後再轉置得到的。
當矩陣A的列數多於行數時，使用僞逆求解線性方程是衆多可能解法中的一種。特別地， 
是方程所有可行解中歐幾里得範數 
最小的一個。
當矩陣A的行數多於列數時，可能沒有解。在這種情況下，通過僞逆得到的x使得Ax和y的歐幾里得距離 
最小。
7、跡運算
優化問題 
，可通過特徵分解求解，最優的d是 
最大特徵值對應的特徵向量。（二次型，實對稱矩陣，約束條件，最大特徵向量對應二次型最大值）
8、行列式
行列式，det(A)是將一個方陣A映射到實數的函數。行列式等於矩陣特徵值的乘積。行列式的絕對值可以用來衡量矩陣參與矩陣乘法後空間擴大或者縮小了多少。如果行列式是0，那麼空間至少沿着某一維完全收縮了，使其失去了所有的體積；如果行列式是1，那麼這個轉換保持空間體積不變。