降維算法：主成分分析 VS 自動編碼器

降維是一種減少特徵空間維度以獲得穩定的、統計上可靠的機器學習模型的技術。降維主要有兩種途徑：特徵選擇和特徵變換。

特徵選擇通過選擇重要程度最高的若干特徵，移除共性的或者重要程度較低的特徵。

特徵轉換也稱爲特徵提取，試圖將高維數據投影到低維空間。一些特徵轉換技術有主成分分析（PCA）、矩陣分解、自動編碼器（Autoencoders）、t-Sne、UMAP等。

本文主要介紹了主成分分析以及自動編碼器兩種方法，具體分析兩者的優缺點，並且通過一個生動的示例進行詳解。

主成分分析

主成分分析是一種無監督技術，將原始數據投影到若干高方差方向（維度）。這些高方差方向彼此正交，因此投影數據的相關性非常低或幾乎接近於 0。這些特徵轉換是線性的，具體方法是：

步驟一：計算相關矩陣數據，相關矩陣的大小爲 n*n。

步驟二：計算矩陣的特徵向量和特徵值。

步驟三：選取特徵值較高的 k 個特徵向量作爲主方向。

步驟四：將原始數據集投影到這 k 個特徵向量方向，得到 k 維數據，其中 k≤n。

自動編碼器

自動編碼器是一種無監督的人工神經網絡，它將數據壓縮到較低的維數，然後重新構造輸入。自動編碼器通過消除重要特徵上的噪聲和冗餘，找到數據在較低維度的表徵。它基於編解碼結構，編碼器將高維數據編碼到低維，解碼器接收低維數據並嘗試重建原始高維數據。

自動編碼器基本結構示意圖

深層自動編碼器結構示意圖

上圖中， X 是輸入數據，z 是 X 在低維空間的數據表徵，X’ 是重構得到的數據。根據激活函數的不同，數據從高緯度到低緯度的映射可以是線性的，也可以是非線性的。

性能對比：主成分分析 VS 自動編碼器

1. PCA 只能做線性變換；而自動編碼器既可以做線性變換，也可以做非線性變換。
2. 由於既有的 PCA 算法是十分成熟的，所以計算很快；而自動編碼器需要通過梯度下降算法進行訓練，所以需要花費更長的時間。
3. PCA 將數據投影到若干正交的方向；而自動編碼器降維後數據維度並不一定是正交的。
4. PCA 是輸入空間向最大變化方向的簡單線性變換；而自動編碼器是一種更復雜的技術，可以對相對複雜的非線性關係進行建模。
5. 依據經驗來看，PCA 適用於數據量較小的場景；而自動編碼器可以用於複雜的大型數據集。
6. PCA 唯一的超參數是正交向量的數量；而自動編碼器的超參數則是神經網絡的結構參數。
7. 單層的並且採用線性函數作爲激活函數的自動編碼器與 PCA 性能一致；但是多層的以非線性函數作爲激活函數的自動編碼器（深度自動編碼器）能夠具有很好的性能，雖然可能會存在過擬合，但是可以通過正則化等方式進行解決。

降維示例：圖像數據

示例圖片

該示例圖片的數據維度爲 360*460。我們將嘗試通過 PCA 和自動編碼器將數據規模降低爲原有的 10%。

PCA 方法

pct_reduction = 0.10
reduced_pixel  = int( pct_reduction* original_dimensions[1])
#Applying PCA
pca = PCA(n_components=reduced_pixel)
pca.fit(image_matrix)
#Transforming the input matrix
X_transformed = pca.transform(image_matrix)
print("Original Input dimesnions {}".format(original_dimensions))
print("New Reduced dimensions {}".format(X_transformed.shape))

輸出如下：

Original Input dimesnions (360, 460)
New Reduced dimensions (360, 46)

檢查各維度的相關性：

df_pca = pd.DataFrame(data = X_transformed,columns=list(range(X_transformed.shape[1])))
figure = plt.figure(figsize=(10,6))
corrMatrix = df_pca.corr()
sns.heatmap(corrMatrix, annot=False)
plt.show()

PCA降維後各維度相關性

從上圖可以看出，PCA 降維後各個維度都是不相關的，也就是完全正交。

接下來，我們通過降維後的數據來重構原始數據：

reconstructed_matrix = pca.inverse_transform(X_transformed)
reconstructed_image_pca = Image.fromarray(np.uint8(reconstructed_matrix))
plt.figure(figsize=(8,12))
plt.imshow(reconstructed_image_pca,cmap = plt.cm.gray)

PCA 圖像重構

計算重構後圖像的均方根誤差：

def my_rmse(np_arr1,np_arr2):
    dim = np_arr1.shape
    tot_loss = 0
    for i in range(dim[0]):
        for j in range(dim[1]):
            tot_loss += math.pow((np_arr1[i,j] - np_arr2[i,j]),2)
    return round(math.sqrt(tot_loss/(dim[0]* dim[1]*1.0)),2)
error_pca = my_rmse(image_matrix,reconstructed_matrix)

計算可知，均方根誤差爲11.84。

單層的以線性函數作爲激活函數的自動編碼器

# Standarise the Data
X_org = image_matrix.copy()
sc = StandardScaler()
X = sc.fit_transform(X_org)
# this is the size of our encoded representations
encoding_dim = reduced_pixel 
# this is our input placeholder
input_img = Input(shape=(img.width,))
# "encoded" is the encoded representation of the input
encoded = Dense(encoding_dim, activation='linear')(input_img)
# "decoded" is the lossy reconstruction of the input
decoded = Dense(img.width, activation=None)(encoded)
# this model maps an input to its reconstruction
autoencoder = Model(input_img, decoded)
#Encoder
encoder = Model(input_img, encoded)
# create a placeholder for an encoded (32-dimensional) input
encoded_input = Input(shape=(encoding_dim,))
# retrieve the last layer of the autoencoder model
decoder_layer = autoencoder.layers[-1]
# create the decoder model
decoder = Model(encoded_input, decoder_layer(encoded_input))
autoencoder.compile(optimizer='adadelta', loss='mean_squared_error')
autoencoder.fit(X, X,
                epochs=500,
                batch_size=16,
                shuffle=True)
encoded_imgs = encoder.predict(X)
decoded_imgs = decoder.predict(encoded_imgs)

自動編碼器結構

檢查各維度的相關性：

df_ae = pd.DataFrame(data = encoded_imgs,columns=list(range(encoded_imgs.shape[1])))
figure = plt.figure(figsize=(10,6))
corrMatrix = df_ae.corr()
sns.heatmap(corrMatrix, annot=False)
plt.show()

自動編碼器降維後各維度相關性

相關矩陣表明新的變換特徵具有一定的相關性。皮爾遜相關係數與0有很大的偏差。

接下來，我們通過降維後的數據來重構原始數據：

X_decoded_ae = sc.inverse_transform(decoded_imgs)
reconstructed_image_ae = Image.fromarray(np.uint8(X_decoded_ae))
plt.figure(figsize=(8,12))
plt.imshow(reconstructed_image_ae,cmap = plt.cm.gray)

自動編碼器重構後的圖像

計算重構後圖像的均方根誤差：

error_ae = my_rmse(image_matrix,X_decoded_ae)

計算可知，均方根誤差爲12.15。單層線性激活的自動編碼器和 PCA 性能幾乎一致。

三層的以非線性函數爲激活函數的自動編碼器

input_img = Input(shape=(img.width,))
encoded1 = Dense(128, activation='relu')(input_img)
encoded2 = Dense(reduced_pixel, activation='relu')(encoded1)
decoded1 = Dense(128, activation='relu')(encoded2)
decoded2 = Dense(img.width, activation=None)(decoded1)
autoencoder = Model(input_img, decoded2)
autoencoder.compile(optimizer='adadelta', loss='mean_squared_error')
autoencoder.fit(X,X,
                epochs=500,
                batch_size=16,
                shuffle=True)
# Encoder
encoder = Model(input_img, encoded2)
# Decoder
decoder = Model(input_img, decoded2)
encoded_imgs = encoder.predict(X)
decoded_imgs = decoder.predict(X)

自動編碼器模型結構

圖像重構：

X_decoded_deep_ae = sc.inverse_transform(decoded_imgs)
reconstructed_image_deep_ae = Image.fromarray(np.uint8(X_decoded_deep_ae))
plt.figure(figsize=(8,12))
plt.imshow(reconstructed_image_deep_ae,cmap = plt.cm.gray)

計算均方誤差：

error_dae = my_rmse(image_matrix,X_decoded_deep_ae)

多層自動編碼器的均方誤差爲 8.57，性能優於 PCA，提升了 28%。

具有非線性激活的附加層的自動編碼器能夠更好地捕獲圖像中的非線性特徵。它能夠比PCA更好地捕捉複雜的模式和像素值的突然變化。但是它需要花費相對較高的訓練時間和資源。

總結

本文主要介紹了主成分分析以及自動編碼器兩種方法，具體分析兩者的優缺點，並且通過一個生動的示例進行詳解。

完整代碼 https://github.com/samread81/PCA-versus-AE

作者：Abhishek Mungoli

deephub翻譯組：Oliver Lee