潛在空間：就是瓶頸層，該空間包含了所有隱變量。潛在空間就是得到的最小特徵存在的空間。潛在值就是得到的最小特徵，爲了可視化，會將潛在向量（隱變量）減小到二維
特點
無監督的神經網絡
學會如何用特徵還原數據
通過學習，忽略數據中的噪聲，來減小數據尺寸
我感覺就是：輸入一張圖片->先提取特別多的特徵->從特徵中繼續提取，但是比之前的少->重複個多次->得到最小能表示特徵的矩陣->通過這個特徵不斷還原回去，從小到大->得到重建的圖像。
自編碼器包括4個部分
1- 編碼器：模型學習如何減小輸入尺寸並將輸入數據壓縮爲編碼表示形式。
2- 瓶頸（Bottleneck）：這是包含輸入數據壓縮表示的層。這是輸入數據的最小尺寸。神經元的數目是最少的
3- 解碼器：模型學習如何用編碼重建數據，使其儘可能接近原始輸入。
4- 重建損失：這是一種測量解碼器性能的方法以及輸出與原始輸入的接近程度的方法。
損失函數
用均方誤差或交叉熵
總結
| 自編碼器類型 | 簡介 |
|---|---|
| 普通自編碼器 (Vanilla) |
降維得到最小特徵，然後直接根據特徵還原 |
| 稀疏自編碼器 (Sparse [spɑːrs]) |
作用：跟自編碼器效果一樣，效果更好 特點：在自編碼器的基礎上加上L1正則限制，就是稀疏自編碼器 |
| 去噪自編碼器 Denoising |
作用：去噪 特點：輸入數據後，給數據加噪，然後餵給模型 |
| 變分自編碼器 Variational |
作用：生成數據、圖像 特點：潛在空間是連續的，可以輕鬆地進行隨機採樣和插值； 損失函數中引入KL散度； 可以處理順序或非順序數據、連續或離散數據；  |
