目前的人工神經網絡是第二代神經網絡。它們通常是全連接的，接收連續的值，輸出連續的值。儘管當代神經網絡已經讓我們在很多領域中實現了突破，但它們在生物學上是不精確的，其實並不能模仿生物大腦神經元的運作機制。
SNN 使用脈衝——這是一種發生在時間點上的離散事件——而非常見的連續值。每個峯值由代表生物過程的微分方程表示出來，其中最重要的是神經元的膜電位。本質上，一旦神經元達到了某一電位，脈衝就會出現，隨後達到電位的神經元會被重置。對此，最常見的模型是 Integrate-And-Fire（LIF）模型。此外，SNN 通常是稀疏連接的，並會利用特殊的網絡拓撲。
乍一看，脈衝神經網絡的方法像是一種倒退。我們從連續輸出移動至二進制輸出，這些脈衝訓練的可解釋性不強。但是，脈衝訓練增強了我們處理時空數據（或者說真實世界感官數據）的能力。空間指神經元僅與附近的神經元連接，這樣它們可以分別處理輸入塊（類似於 CNN 使用濾波器）。時間指脈衝訓練隨着時間而發生，這樣我們在二進制編碼中丟失的信息可以在脈衝的時間信息中重新獲取。這允許我們自然地處理時間數據，無需 RNN 添加額外的複雜度。事實證明脈衝神經元是比傳統人工神經元更強大的計算單元。