所有的節點是這樣表示的
分別爲：
輸入節點
反饋輸入節點
噪聲輸入節點
隱藏節點
概率隱藏節點
脈衝隱藏節點
膠囊節點
輸出節點
對比輸入輸出節點
遞歸節點
記憶節點
記憶門節點
核
卷積和池化
前饋神經網絡Feed forward neural networks (FF or FFNN)![FFNN]()
前饋神經網絡和感知機，是徑直從頭開始輸入的，它們從前面一個節點得到信息，然後向後傳輸信息，一個豎着的神經網絡一般描述爲一層，其中輸入層，隱藏層，輸出層都是並行的，一個單獨的層中間的節點是沒有聯繫的，通常是和前後兩層有聯繫，最簡單的實際網絡有兩個輸入節點，一個輸出節點，可以用來模擬邏輯門。我們通常用反向傳播來訓練FFNN，給神經網絡輸入成對的數據，輸出一個數據。這是監督學習，不是無監督學習，我們只給它輸入信息，讓網絡填補空白，反向傳播的錯誤，通常是輸入和輸出之間的差異的一些變化。考慮到網絡中擁有足夠的穎倉神經元，理論上可以模擬輸入和輸出的關係。實際上，它們的使用是非常有限的，但它們通常與其他網絡結合形成新的網絡。
徑向基函數（RBF）網絡 是以徑向基函數爲激活函數的FFNN網絡。沒有別的了。並不意味着它們沒有自己的用途，但是大多數具有其他激活功能的FFNN沒有自己的名稱。這主要與在正確的時間發明它們有關。
遞歸神經網絡，也稱作循環神經網絡RNN
循環神經網絡是具有隱含狀態的，在隱藏層的每個節點，節點與節點自己是有聯繫的，在同一層中，節點與節點之間也是有聯繫的，前後層節點之間也是有聯繫的，但是輸入層和輸出層，節點之間是 肯定沒有聯繫的，一個節點的輸入有可能是上一層，有可能是同一層的其他節點，也有可能是節點自己。RNN最大的問題就是隨着時間的推移，可能會發生梯度消失而無法學習的問題（這個問題在後面的LSTM中得到緩解），信息隨着時間的推移迅速丟失，就像非常深的FFNN在深度上丟失信息，直觀地說，這不是什麼問題，因爲這些只是權重，而不是神經元狀態，但時間權重實際上是存儲過去信息的位置；如果權重達到0或1000 000，則以前的狀態就不會具有很高的信息量。
RNN在NLP領域運用的很多，其實一般來說，數據是呈序列的，比如是一句話，比如是股票成交量，外匯率等待，就可以放進去預測。
長短記憶神經網絡 LSTM Long Short Term Memory Networks
LSTM就是用來解決RNN 梯度消失的問題的，LSTM試圖通過明確定義記憶節點，來解決梯度消失問題，每個節點都有輸入輸出和遺忘門，這些門的功能就是以阻止或者允許信息流通過來保護信息的，輸入門決定前一層的信息存儲在單元中的數量，輸出層在另一端接受作業，並缺點下一層要接受多少信息的，遺忘門看似非常奇怪，但是有時候這是有益的遺忘，就像人讀書一樣，讀下一章，那就把之前章節不重要的信息給忘記，只留下重要的信息一樣。注意，每個門對前一個神經元中的一個細胞都有權重，因此需要更多的資源來運行。
