Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting
作者在這篇文章中提出用卷積操作替代矩陣的乘法操作——採用ConvLSTM去取代FC-LSTM，這樣做的目的是更好的獲取空間特徵。
RNN
在講解ConvLSTM之前，我們需要知道LSTM實際上就是RNN的一種變體。下面先對RNN進行一個簡單的介紹。
1.RNN的結構
RNN的出現是爲了解決DNN無法對空間序列建模的問題。如圖所示，RNN的展開是一個鏈式結構，鏈式的特徵揭示了 RNN 本質上是與序列和列表相關的。2.RNN的應用
RNN如今廣泛應用於我們的生活當中，其應用包括語音識別，音樂生成，情感分類，DNA序列分析，機器翻譯和視頻行爲識別等。
3.RNN的變體
RNN的主要變體有LSTM和GRU。這裏着重介紹一下LSTM。針對RNN由於梯度消失或爆炸很難解決長時間依賴問題，在此基礎上Hochreiter & Schmidhuber (1997)提出提出了LSTM，LSTM的本質就是能夠記住很長時間內的信息。LSTM單元中包含了遺忘門，輸入門和輸出門。
LSTM結構圖遺忘門
這個門的輸入是ht-1和xt，經過一個激活函數，輸出ft。ft爲衰減因子，表示讓Ct-1的各部分信息通過的比重。
輸入門
Sigmoid 層決定哪些信息需要更新；一個 tanh 層生成一個向量，也就是備選的用來更新的內容Ct’，在下一步把這兩部分聯合起來，對 cell 的狀態進行一個更新。
更新信息
有了上述的結構，就可以更新 cell 狀態， 即把Ct-1更新爲 Ct，舊的狀態 Ct-1 和和 ft 相乘， 把一些不想保留的信息忘掉。然後加上 it 和Ct’相乘的結果，這部分信息就是我們要添加的新內容。輸出門
輸出不僅僅依賴於 Ct ，而是需要經過一個過濾的處理。首先，使用一個sigmoid層來決定 Ct 中的哪部分信息會被輸出。接着，把 Ct 通過一個 tanh 層（把數值都歸到 -1 和 1 之間），然後把 tanh 層的輸出和 sigmoid 層計算出來的權重相乘得到了最後輸出的結果ht。
論文相關
接下來介紹一下關於論文相關的一些知識。論文提出一種ConvLSTM結構，不僅可以向LSTM一樣建立時序關係，而且可以像CNN一樣刻畫局部空間特徵，並且作者通過實驗證明了ConvLSTM在獲取時空關係上比FC-LSTM有更好的效果，而且ConvLSTM不僅可以預測天氣，還能夠解決其他時空序列的預測問題。
在介紹ConvLSTM之前，再介紹一下FC-LSTM。FC-LSTM
FC-LSTM本質上是在LSTM的基礎上做出了修改。爲了解決記憶被輸出門截斷後使得各個門單元受控性降低的問題，在LSTM上引入了“peephole”連接。讓幾個“門”的輸入數據除了接收正確的輸入數據和上一個時刻的輸出之外，再接受“細胞狀態”的輸入，這樣就形成了FC-LSTM。FC-LSTM能很好的處理時序數據，但對於空間數據，它易造成冗餘。ConvLSTM
ConvLSTM核心本質還是和LSTM一樣，將上一層的輸出作下一層的輸入。不同的地方在於加上卷積操作之後，不僅能夠得到時序關係，還能夠像卷積層一樣提取特徵，提取空間特徵。這樣就能夠得到時空特徵，並且將狀態與狀態之間的切換也換成了卷積計算。
ConvLSTM的公式如下：
作者在論文中提出了一種降水臨近預報模型，實質是以過去雷達圖序列爲輸入，以未來雷達圖的一個固定序列作爲輸出的時空序列預報問題。通過給定固定長度爲J的歷史觀測數據，如何預測未來長度爲K的序列。
這個模型由一個編碼網絡和一個預測網絡組成，具體結構參照論文
編碼網絡的作用是將輸入序列壓縮成一個hidden state的張量，而預測網絡則是對這個hidden state進行預測。實驗結果
通過Moving MNIST和Radar Echo數據集，我們可以得到一些結論：
- ConvLSTM在處理時空關係時較FC-LSTM表現得更好
- 模型需要深且參數少
- 卷積核的大小需要大於1
- 在降水預測方面，ConvLSTM表現得比ROVER好
(部分圖片來自於《Understanding LSTM Network》)