Coursea-吳恩達-machine learning學習筆記（十四）【week 8之Dimensionality Reduction】

維數約減又稱爲降維。
使用維數約減的原因：
1. 數據壓縮(減少空間佔用，同時爲算法提速)
例1：從2D→1D$2D\to 1D$
存在如下圖所示樣本集，x(i)∈R2$x^{(i)}\in R^2$

希望找到如下圖中所示直線，把所有樣本映射到這條線上

如此，就可以使用下圖來表示樣本位置，只需要一個特徵變量即可：

x(1)∈R2→z(1)∈R$x^{(1)}\in R^2\to z^{(1)}\in R$
x(2)∈R2→z(2)∈R$x^{(2)}\in R^2\to z^{(2)}\in R$
⋯$\cdots$
x(m)∈R2→z(m)∈R$x^{(m)}\in R^2\to z^{(m)}\in R$

例2：從3D→2D$3D\to 2D$
存在如下圖所示樣本集，x(i)∈R3$x^{(i)}\in R^3$

把所有樣本投影到一個二維平面上，如下圖所示：

則可以使用兩個特徵值來表示樣本點的位置，如下圖：

z(i)=[z(i)1z(i)2]$z^{(i)}=\left[\begin{array}{c}{z}_1^{(i)}\\ z_2^{(i)}\end{array}\right]$
2. 數據可視化
當x(i)∈R50$x^{(i)}\in R^{50}$ 時，無法有效觀察理解數據，將其降維至z(i)∈R3$z^{(i)}\in R^3$ 或z(i)∈R2$z^{(i)}\in R^2$ ，就可以呈現爲3D$3D$ 或2D$2D$ 的圖像。

主成分分析法(PCA)：是當前最常用的降維算法。

PCA實質爲尋找一個低維的面，把數據投射在上面，使得樣本點到面的垂直距離的平方和達到最小值。這些垂直距離也稱爲投影誤差。
更一般化的表達是：從n$n$ 維降到k$k$ 維，找到k$k$ 個向量u(1),u(2),⋯,u(k)$u^{(1)},u^{(2)},\cdots ,u^{(k)}$ ，將樣本數據投射在這k$k$ 個向量上，使得投影誤差最小。

在應用PCA之前，通常會進行均值歸一化和特徵規範化。

訓練集：{x(1),x(2),⋯,x(m)}$\{x^{(1)},x^{(2)},\cdots ,x^{(m)}\}$
在執行PCA算法前的數據預處理：

1. 均值歸一化
   μj=1m∑i=1mx(i)j${\mu }_j=\frac{1}{m}\sum _{i=1}^m{x}_j^{(i)}$
   用x(i)j−μj$x_j^{(i)}-{\mu }_j$ 替換x(i)j$x_j^{(i)}$
2. 特徵縮放(可選)
   如果不同特徵值取值範圍差異較大，則進行特徵縮放，使得各特徵值具有類似的取值範圍。
   用x(i)j−μjsj$\frac{x_j^{(i)}-{\mu }_j}{s_j}$ 替換x(i)j$x_j^{(i)}$ ，sj$s_j$ 表示特徵值xj$x_j$ 的最大值-最小值或標準差。

PCA算法：
將數據從n$n$ 維降維到k$k$ 維：
⇒$\Rightarrow$ 計算協方差矩陣：Σ=1m∑i=1m(x(i))(x(i))T$\mathrm{\Sigma }=\frac{1}{m}\sum _{i=1}^m(x^{(i)})(x^{(i)}{)}^T$ (注：Σ$\mathrm{\Sigma }$ 表示希臘字母Sigma)
$$Octave$Octave$ 代碼：Sigma=(1/m)*X'*X 其中X=⎡⎣⎢⎢⎢⎢⎢⎢x(1)Tx(2)T⋮x(m)T⎤⎦⎥⎥⎥⎥⎥⎥$X=\left[\begin{array}{c}{x^{(1)}}^T\\ {x^{(2)}}^T\\ ⋮\\ {x^{(m)}}^T\end{array}\right]$
⇒$\Rightarrow$ 計算矩陣Σ$\mathrm{\Sigma }$ 的特徵向量：
$$Octave$Octave$ 代碼：[U,S,V]=svd(Sigma);
$$svd表示奇異值分解，在Octave$Octave$ 中，也可以用eig()命令求特徵向量；
$$ Sigma協方差矩陣是一個n×n$n\times n$ 矩陣；
$$ 上述語句輸出三個矩陣，我們需要的是U$U$ 矩陣，也是n×n$n\times n$ 矩陣；
$$U$U$ 矩陣的列就是我們需要的向量：U=[u(1),u(2),⋯,u(n)]∈Rn×n$U=[u^{(1)},u^{(2)},\cdots ,u^{(n)}]\in R^{n\times n}$ ；
⇒$\Rightarrow$ 提取U$U$ 矩陣的前k$k$ 列向量組成矩陣Ureduce=[u(1),u(2),⋯,u(k)]∈Rn×k$U_{reduce}=[u^{(1)},u^{(2)},\cdots ,u^{(k)}]\in R^{n\times k}$
$$Octave$Octave$ 代碼：Ureduce=U(:,1:k);
⇒$\Rightarrow$ 我們的目的是x∈Rn→z∈Rk$x\in R^n\to z\in R^k$ ，z=UreduceTx$z={U_{reduce}}^{T}x$
$$ 其中，UreduceT∈Rk×n,x∈Rn×1${U_{reduce}}^T\in R^{k\times n},x\in R^{n\times 1}$ ，所以z∈Rk$z\in R^k$
$$Octave$Octave$ 代碼：z=Ureduce'*x;
注：使用PCA算法，x∈Rn$x\in R^n$ ，沒有x0=1$x_0=1$ 這一項。

PCA算法壓縮數據的原始數據重構：
由上已知：z=UreduceTx$z={U_{reduce}}^{T}x$ ，我們現在需要z∈Rk→x∈Rn$z\in R^k\to x\in R^n$
所以：xapprox=Ureducez≈x$x_{approx}=U_{reduce}z\approx x$ ，Ureduce$U_{reduce}$ 爲n×k$n\times k$ 矩陣，z$z$ 爲k×1$k\times 1$ 向量，故xapprox$x_{approx}$ 爲n×1$n\times 1$ 向量。

PCA算法中，把n$n$ 維特徵變量降維到k$k$ 維特徵變量，k$k$ 也被稱爲主成分的數量。

如何選擇k$k$ ？
兩個定義：

平均平方映射誤差：1m∑i=1m∥x(i)−x(i)approx∥2$\frac{1}{m}\sum _{i=1}^m\Vert x^{(i)}-x_{approx}^{(i)}{\Vert }^2$ ，表示樣本x$x$ 和其在低維平面映射點之間的距離的平方的均值。
數據的總變差：1m∑i=1m∥x(i)∥2$\frac{1}{m}\sum _{i=1}^m\Vert x^{(i)}{\Vert }^2$ ，訓練樣本長度的平方的均值，表示訓練樣本與0$0$ 向量的平均距離。

選擇k$k$ 的法則：
使

1m∑i=1m∥x(i)−x(i)approx∥21m∑i=1m∥x(i)∥2⩽0.01$$\frac{\frac{1}{m}\sum _{i=1}^m\Vert x^{(i)}-x_{approx}^{(i)}{\Vert }^2}{\frac{1}{m}\sum _{i=1}^m\Vert x^{(i)}{\Vert }^2}⩽0.01$$

的最小的k$k$ 值。
此時，保留了99%$99\mathrm{\%}$ 的差異性。

算法：
⇒$\Rightarrow$ 用k=1$k=1$ 嘗試PCA算法：
$$ 計算Ureduce,z(1),z(2),⋯,z(m),x(1)approx,⋯,x(m)approx$U_{reduce},z^{(1)},z^{(2)},\cdots ,z^{(m)},x_{approx}^{(1)},\cdots ,x_{approx}^{(m)}$ ；
⇒$\Rightarrow$ 檢查1m∑i=1m∥x(i)−x(i)approx∥21m∑i=1m∥x(i)∥2$\frac{\frac{1}{m}\sum _{i=1}^m\Vert x^{(i)}-x_{approx}^{(i)}{\Vert }^2}{\frac{1}{m}\sum _{i=1}^m\Vert x^{(i)}{\Vert }^2}$ 是否⩽0.01$⩽0.01$ ；
⇒$\Rightarrow$ 若符合條件，取k=1$k=1$ ，若不符合條件，k++$k++$ ，直到找到滿足條件的最小的k$k$ 值。

上述算法的計算過於繁雜，對該算法進行改進。

改進版算法：
⇒$\Rightarrow$ 執行語句[U,S,V]=svd(Sigma)會得到S$S$ 矩陣；
$$S$S$ 矩陣是一個正方形矩陣，形式爲⎡⎣⎢⎢⎢⎢⎢S11S22⋱Snn⎤⎦⎥⎥⎥⎥⎥$\left[\begin{array}{cccc}{S}_{11}& & & \\ & S_{22}\\ & & \ddots \\ & & & S_{nn}\end{array}\right]$
⇒$\Rightarrow$ 對於給定的k$k$ 值，只需滿足1−∑i=1kSii∑i=1nSii⩽0.01$1-\frac{\sum _{i=1}^k{S}_{ii}}{\sum _{i=1}^n{S}_{ii}}⩽0.01$ 即∑i=1kSii∑i=1nSii⩾0.99$\frac{\sum _{i=1}^k{S}_{ii}}{\sum _{i=1}^n{S}_{ii}}⩾0.99$
⇒$\Rightarrow$ 不斷增加k$k$ 的取值來尋求滿足的條件的最小k$k$ 值。

當使用特定的k$k$ 值時，也可以用∑i=1kSii∑i=1nSii$\frac{\sum _{i=1}^k{S}_{ii}}{\sum _{i=1}^n{S}_{ii}}$ 來表示PCA算法性能。

PCA算法應用

⋆$\star$監督學習算法加速
⇒$\Rightarrow$ 存在樣本集{(x(1),y(1)),(x(2),y(2)),⋯,(x(m),y(m))}$\{(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),\cdots ,(x^{(m)},y^{(m)})\}$ ；
⇒$\Rightarrow$ 提取出輸入特徵值，無標籤數據集{x(1),x(2),⋯,x(m)}∈R10000$\{x^{(1)},x^{(2)},\cdots ,x^{(m)}\}\in R^{10000}$ ；
⇒$\Rightarrow$ 執行PCA算法，得到數據集{z(1),z(2),⋯,z(m)}∈R1000$\{z^{(1)},z^{(2)},\cdots ,z^{(m)}\}\in R^{1000}$ ；
⇒$\Rightarrow$ 形成新的訓練樣本：{(z(1),y(1)),(z(2),y(2)),⋯,(z(m),y(m))}$\{(z^{(1)},y^{(1)}),(z^{(2)},y^{(2)}),\cdots ,(z^{(m)},y^{(m)})\}$ ；
⇒$\Rightarrow$ 提出基於新訓練樣本的假設函數hθ(z)$h_{\theta }(z)$ 。
注：x(i)→z(i)$x^{(i)}\to z^{(i)}$ 的映射關係是通過在訓練集上運行PCA算法定義的，這個映射關係同樣適用於交叉驗證集和測試集的輸入特徵值。

常見的PCA算法應用：

1. 數據壓縮(節約存儲空間，算法加速)
   選擇k$k$ 值，保留x%$x\mathrm{\%}$ 的差異性。
2. 數據可視化
   k=2$k=2$ 或3$3$ 。

PCA算法誤用

∗$\ast$ 避免過擬合
用z(i)$z^{(i)}$ 代替x(i)$x^{(i)}$ 來減少特徵數量：n→k$n\to k$ ，且k<n$k<n$ ；
因爲特徵值越少，似乎越不容易過擬合；
這方法可能會有作用，但並不是好方法，避免過擬合應該用正則化方法。

∗$\ast$ 在設計機器學習系統時，直接使用PCA算法
建議：在執行PCA算法前，首先在原始數據x(i)$x^{(i)}$ 上執行相關算法，只有當算法收斂緩慢，佔用內存/磁盤空間很大時，再執行PCA算法，使用z(i)$z^{(i)}$ 計算。