深度學習框架圖

深度學習入門（一天讀懂深度學習-李宏毅）

1、深度學習框架圖： （參考網址https://blog.csdn.net/u010164190/article/details/72633245）

2、神經網絡要解決的問題

2.1、基於網絡功能函數的定義（網絡模型的選擇，激勵函數的選擇，優化方法的選擇）-->網絡模型好壞的評估（損失函數的定義）-->選出一個最優模型-->過擬合問題的解決

2.2、常見的網絡結構：DNN,CNN,RNN,LSTM(這個四種神經網絡的前向傳遞，反向參數優化推導網址http://www.cnblogs.com/pinard/p/6418668.html)

2.3、常見的激勵函數：sigmod,tanh,ReLU,maxout

2.4、常見的優化方法：SGD、Adagrad、Adadelta、Adam、adamax、Nada                                                                                          （https://blog.csdn.net/yunxinan/article/details/74858070）

2.5、常用的損失函數：square error，cross entropy

2.6、常用的解決過擬合的方法：early stop、正則化（權重衰減）、dropout、增加訓練樣本