【機器學習數學基礎--矩陣01】線性空間

範數

    定義：是一個描述線性空間的度量，可以理解爲二維空間的長度。

    如||x1-x2||表示向量x1,x2之間的距離。

    *Frobenius範數：機器學習常用範數。     即：矩陣所有元素先取平方和，再開平方。

特徵分解

    特徵值：滿足公式：  ，其中 λ 爲特徵值，x爲A的對應於λ的特徵向量。

    特徵分解：公式： ，其中，P是A所有特徵向量展開組成的矩陣。

        原理：AP=P×diag(...λi...)，展開可得。

正交分解

    正交矩陣：，即：

    標準正交基：n個n維向量： 中，若i=j，；若i≠j，，則該向量組稱爲一組標準正交基。即：與自己作內積等於1（平行），與其他向量作內積等於0（垂直）。

    正交矩陣性質：

        ①正交矩陣列向量是一組標準正交基。

        ②若A是一個正交矩陣， 是一組標準正交基，則也是一組標準正交基。

        ③正交變換幾何意義：對直角座標系做旋轉變換。即：存在正交矩陣A，使得原來座標爲x=(x1,x2,...xn)的向量在新座標系（旋轉後）下的座標爲y=Ax。

    正交分解：，其中P爲正交矩陣。

                    求法：施密特正交化

                    幾何意義：將一般二次曲線經過座標旋轉將其主軸轉到座標軸上。

SVD(奇異值分解)

    對於非退化方陣（r=n）：，P,Q爲是正交矩陣。

    對於一般矩陣（m×n）：，其中U爲m階正交矩陣，V爲n階正交矩陣，左上角爲 ，r爲矩陣A的秩。

僞逆

    僞逆：與矩陣的逆作用相似，每個矩陣都有僞逆。

    對於不相容線性方程組的解（即Ax=b無解）：

        存在x0，對任意x，都有，則稱x0爲方程組最小二乘解。對於所有x0，取長度     （範數）最小者，成爲最佳最小二乘解。

    定理：①對矩陣A求SVD：，僞逆爲：。其中， 爲將取倒數後整                   體轉置。

              ②對於m×n矩陣，Ax=b的最佳最小二乘解爲。

              由這兩條定理，即可求一般矩陣Ax=b的最佳最小二乘解。

PCA（主成分分析）

    這部分內容貼出課件，具體學到在深究。