卷積神經網絡的基本思想和應用領域&循環神經網絡的基本思想和應用領域。
A1：
卷積神經網絡是一個多層的神經網絡，每層由多個二維平面（feature map）組成，而每個平面由多個獨立神經元組成。其結構包括如下形式的約束：
特徵提取。每一個神經元從上一層的局部區域得到輸入，然後提取局部特徵。
特徵映射。每一個計算層都是由多個特徵映射（多個feature map）組成的，每個特徵映射都是平面形式的。平面中每個神經元在約束下共享相同的連接權值集（與上一層對應視覺野範圍內節點的所有連邊），這樣減少了參數數量個減輕了計算負擔。
子抽樣。卷積層後面是一個局部子抽樣的計算層，由此特徵映射（featuremap）的分辨率降低，以降低對變形的敏感度。子抽樣層對應與池化過程，此處會有一個池化窗口，池化窗口是不重疊的。
圖1 卷積神經網絡示意圖（C層代表卷積層，S層代表池化層（採樣層），S4層之後是一個將高維特徵一維化過程，再將多個channel的特徵拼接起來作爲多層感知機的輸入。
卷積層爲特徵提取層，每個神經元的輸入與前一層的局部感受野相連，並提取該局部的特徵，一旦該局部特徵被提取後，它與其他特徵間的位置關係也隨之確定下來。
採樣層是特徵映射層，網絡的每個計算層由多個特徵映射組成，每個特徵映射爲一個平面，平面上所有神經元的權值相等。特徵映射結構採用影響函數核小的sigmoid函數作爲卷積網絡的激活函數，使得特徵映射具有位移不變性。
應用領域：
1、CNNs在圖像分類領域做出了巨大貢獻，也是當今絕大多數計算機視覺系統的核心技術，從Facebook的圖像自動標籤到自動駕駛汽車都在使用。
2、自然語言處理CNNs對NLP問題的效果非常理想。正如詞袋模型（Bag of Words model），它明顯是基於錯誤假設的過於簡化模型，但這不影響它多年來一直被作爲NLP的標準方法，並且取得了不錯的效果。
3、時間序列預測，高光譜圖像分析等未來科學的方向。
A2：
RNN(RecurrentNeuron Network)是一種對序列數據建模的神經網絡，即一個序列當前的輸出與前面的輸出也有關。具體的表現形式爲網絡會對前面的信息進行記憶並應用於當前輸出的計算中，即隱藏層之間的節點不再無連接而是有連接的，並且隱藏層的輸入不僅包括輸入層的輸出還包括上一時刻隱藏層的輸出。理論上，RNNs能夠對任何長度的序列數據進行處理。
應用：
1、自然語言處理(Natural Language Processing, NLP)中取得了巨大成功以及廣泛應用。
2、機器翻譯是將一種源語言語句變成意思相同的另一種源語言語句，如將英語語句變成同樣意思的中文語句。與語言模型關鍵的區別在於，需要將源語言語句序列輸入後，才進行輸出，即輸出第一個單詞時，便需要從完整的輸入序列中進行獲取
3、RNNs已經在對無標圖像描述自動生成中得到應用。將CNNs與RNNs結合進行圖像描述自動生成。這是一個非常神奇的研究與應用。該組合模型能夠根據圖像的特徵生成描述。