原创 《神經網絡與深度學習》-循環神經網絡

循環神經網絡1. 給網絡增加記憶能力1.1 延時神經網絡1.2 有外部輸入的非線性自迴歸模型1.3 循環神經網絡2. 簡單循環網絡2.1 循環神經網絡的計算能力2.1.1 循環神經網絡的通用近似定理2.1.2 圖靈完備3. 應用到

原创 《神經網絡與深度學習》-網絡優化和正則化

網絡優化與正則化1. 網絡優化1.1 網絡優化的難點1.1.1 網絡結構的多樣性1.1.2 高維變量的非凸優化2. 優化算法2.1 小批量梯度下降2.2 批量大小選擇2.3 學習率調整2.3.1 學習率衰減2.3.2 學習率預熱2

原创 《神經網絡與深度學習》-卷積神經網絡

卷積神經網絡1. 卷積1.1 互相關1.2 卷積的變種1.2.1 轉置卷積1.2.2 空洞卷積1.3 卷積的數學性質1.3.1 交換性1.3.2 導數2. 卷積神經網絡2.1 用卷積代替全連接2.2 卷積層2.3 匯聚層(池化層)