機器學習雜貨鋪(記錄零碎的概念點)

定理補充描述：

1.Mercer定理說，任何滿足對稱性和正定性的二元函數k(x,y)都能找到 Hilbert space $\mathcal{V}$ 和函數$\psi$ 使得 k(x,y) = $\langle \psi(x),\psi(y)\rangle.$

2.矩陣的特徵值和特徵向量

3.矩陣的內積和範數

4.機器學習之範式規則化

L0範數是指向量中非0的元素的個數。如果我們用L0範數來規則化一個參數矩陣W的話，就是希望W的大部分元素都是0。

L1範數是指向量中各個元素絕對值之和，也有個美稱叫“稀疏規則算子”

**L0L1都可以實現稀疏，既然L0可以實現稀疏，爲什麼不用L0，而要用L1呢？**個人理解一是因爲L0範數很難優化求解（NP難問題），二是L1範數是L0範數的最優凸近似，而且它比L0範數要容易優化求解。

爲什麼需要稀疏呢？ 特徵選擇和可解釋性兩方面。

L2範數是指向量各元素的平方和然後求平方根。我們讓L2範數的規則項||W||2最小，可以使得W的每個元素都很小，都接近於0，但與L1範數不同，它不會讓它等於0，而是接近於0，

爲什麼要用L2呢？學習理論(防止過擬合)和優化計算(有助於處理 condition number不好的情況下矩陣求逆很困難的問題)兩方面。
condition number就是拿來衡量ill-condition系統的可信度的，

如果方陣A是非奇異的，那麼A的conditionnumber定義爲：

也就是矩陣A的norm乘以它的逆的norm。所以具體的值是多少，就要看你選擇的norm是什麼了。**如果方陣A是奇異的，那麼A的condition number就是正無窮大了。**實際上，每一個可逆方陣都存在一個condition number。對於AX=b，我們可以得到以下的結論：

對condition number來個一句話總結：conditionnumber是一個矩陣（或者它所描述的線性系統）的穩定性或者敏感度的度量，如果一個矩陣的condition number在1附近，那麼它就是well-conditioned的，如果遠大於1，那麼它就是ill-conditioned的，如果一個系統是ill-conditioned的，它的輸出結果就不要太相信了。

矩陣乘其轉置矩陣
奇異矩陣

5.如何理解矩陣的[秩]

結合方程求解代入理解，**矩陣的秩是線性代數中的一個概念。在線性代數中，一個矩陣A的列秩是A的線性獨立的縱列的極大數(最大線性無關組)。通常表示爲r(A)，rk(A)或rank A。**百度百科。

什麼是秩，如何找出一個矩陣的秩？

我們直接從定義出發，即找到矩陣A的線性無關列的列數。那什麼是線性無關呢？

簡單通俗地講，假如有n個方程式，有m個係數，那麼可以組成一個n*m的矩陣，但是這n個方程式可能會有重複可約的部分，例如 2x+3y=5和4x+6y=10是等價的(當然這個最直接的等價了，也叫二者時線性相關的，在轉化爲矩陣時直接將二者合併並化簡)，那麼此時我們就只剩n-1個方程式，此時形成的矩陣的秩就是n-1。

當然兩方程式不一定就如我舉例那樣明顯，此時就可以通過上述的數學定義來進行判斷是否線性相關。

秩有什麼意思？

「秩」是圖像經過矩陣變換之後的空間維度
「秩」是列空間的維度

對矩陣A左乘一個Trotate矩陣，也就是對A所表示的矩陣空間，進行變維處理(mn維和nb相乘，即對原來n維的b個向量變維到m維空間中，其中m*n矩陣中，m爲維度，n爲變化後的m維度的基，因此其實是改變基)

若矩陣有n個不相交的基，那麼表示這個矩陣的列空間就是n維的，這個矩陣的秩就是n個。
“不相交”是一個幾何上的意義，轉化到矩陣上就是線性獨立的列，因此一個矩陣A的列秩是A的線性獨立的縱列的極大數。

最大線性無關組數： 2*3矩陣秩爲2

~~ PCA中，對矩陣進行降維，就是降低矩陣空間的維度，也就是減少行數，減少列空間的維度。
歌者不想跟你說話，並向太陽系扔出了一個發着白色光芒，秩爲2的矩陣

！！！！！矩陣的秩和向量的維數沒有關係。矩陣的秩是空間的維度，高空間維數低向量維數，則爲高維下的低維表現。 因此矩陣的秩是低維空間(最大線性無關組)的維數。

左乘進入列空間，右乘進入行空間。

知乎原鏈接

6.np難問題

7.凸近似

8.簡寫

“s.t.”，指 subject to，受限制於…。
det(T)，求矩陣T的行列式

9. 行列式的本質是什麼？

！！！！行列式一定是方陣。
一個矩陣的行列式就是一個平行多面體的（定向的）體積，這個多面體的每條邊對應着對應矩陣的列。
他就是在給定一組基下，N個向量張成的一個N維廣義四邊形的體積。這就是行列式的本質含義。

單位陣，對角線爲1，幾何意義上來說就是各個維度的基都是標準基，都爲1。

若A有相同的兩行，那麼det(A)=0
那3爲空間來說，那麼就是一個33的矩陣，如果有兩行一樣，那麼由列構成的空間，儘管使3維的，但是另一行再怎麼變，都是3維中的一個平面，對於33的行列式 就是3維基下3個向量張成的一個廣義四變形，而行相同的情況是構不成的，或者說它構成的高爲0,體積爲0,所以行列式的值爲0 。

行列式是線性變換的伸縮因子
行列式=0，矩陣不可逆；行列式>1，放大；行列式<1，縮小；行列式爲負數則改變了基的“左右手法則”。

10如何理解矩陣的乘法

對爲什麼矩陣相乘必須是 mn * n * p= mp的矩陣解釋：因爲mn種的n，首先矩陣由於矩陣的定義，規整的格式才使得約去了未知變量只保留了係數，其次n表示對 np種的最多n個式子進行線性變化，爲了規整格式，所以不參與的用0表示，但是必須列出所有的n行，生成的m*p矩陣表示m行的式子對應原來p-1個係數和1個值。

把矩陣看作函數，這樣或許很多疑惑就可以迎刃而解。 例如矩陣乘法不滿足交換律。