b. 分析前饋神經網絡、卷積神經網絡和循環神經網絡的異同點。
1）前饋神經網絡（FNN）是經典感知機算法的進化版本。該網絡不考慮輸入數據可能具備的任何特定結構。儘管如此，它仍是非常強大的機器學習工具，尤其是與先進的正則化技術一起使用時。這些技術幫助解決人們處理「深度」網絡時遇到的訓練問題：神經網絡有大量隱藏層，隱藏層非常難以訓練（梯度消失和過擬合問題）。
圖：FNN 前向神經網絡
FNN 由一個輸入層、一個（淺層網絡）或多個（深層網絡，因此叫作深度學習）隱藏層，和一個輸出層構成。每個層（除輸出層以外）與下一層連接。這種連接是 FNN 架構的關鍵
2）卷積神經網絡（CNN）擅長圖像分類，其中卷積和池化是 CNN 的構建基元。CNN 由若干個卷積和池化操作組成，通常跟隨着一個或多個全連接層（與傳統的 FNN 層相似）。
圖 ：一個典型的 CNN 架構（受到 LeNet 啓發）：卷積操作之後跟着池化操作，直到每一個特徵圖的大小降爲 1。然後再引入全連接層。
循環神經網絡（RNN）這種類型的神經網絡真正的新穎之處在於，我們正試圖預測時間序列會被編碼進整個網絡架構中。RNN 最開始被用於預測句子中的下一個單詞（分類任務），即時間序列上的預測。但這種網絡架構也可以被應用在迴歸問題中。
圖 ： RNN 架構，數據在「空間」和「時間」域同時傳播。在我們的例子中，時間尺寸爲 8，而空間尺寸爲 4。
參考資料：
c. RNN爲何不能像前饋神經網絡一樣的方式進行多樣本並行計算，他是通過這樣的方式進行並行的
因爲RNN爲延時網絡，網絡的每個輸入都與前一個時刻的輸出有關係，因此，當輸入只有一句話時，無法並行計算。
但是作爲批量訓練的時候，可以將一個batch的樣本在某一個時刻的輸入輸出並行，加速計算，而不是將一個樣本的整個過程並行（因爲依賴性無法並行）。
參考資料：