深度學習概述追本溯源:深度學習基礎

<二> 追本溯源:深度學習基礎


本章節,我們旨在讓讀者快速瞭解深度學習相關概念,並不對其做具體展開。

1、線性迴歸



線性迴歸加上非線性激勵得到一個神經元。多個神經元構造出一個神經網絡。


2、CNN
從神經網絡—> 卷積神經網絡
卷積核—> filter ,濾鏡 

每個卷積核(二維矩陣)可以生成一張新的圖片


多個卷積核,可以形成一個神經網絡,我們把它叫做卷積神經網絡。
CNN的侷限:
沒有記憶,只對單張圖片有效
視頻處理時,只是簡單的多幀疊加,無法學習前後關係。

3、RNN
神經網絡—>遞歸神經網絡RNN
遞歸神經網絡是傳統神經網絡在時域的擴展。

RNN 的關鍵點之一就是他們可以用來連接先前的信息到當前的任務上,例如使用過去的視頻段來推測對當前段的理解。
對於RNN來說,每一次是輸出作爲下一時刻的輸入,這種方式在某種場景下可能會導致 s0 對 sn的影響很小。不能滿足某種應用場景,如自然語言處理。
因此引入了LSTM

 LSTM 是一種特別的 RNN,可以學習長期依賴信息。比標準的 RNN 在很多的任務上都表現得更好。幾乎所有的令人振奮的關於 RNN 的結果都是通過 LSTM 達到的。

LSTM更爲詳細的理解請參考譯文理解 LSTM 網絡








發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章