【來源於5.18和5.26大佬的課程】
【好吧不記錄果然什麼都忘了】
基礎
神經網絡中的基本概念
conv層
對於卷積（N，H，W，C）
卷積層的參數量爲 cOut * cIn * hKernel * wKernel， 例如如果輸入爲20 * 20 * 3，如果輸出chanel爲 5，則根據下圖，上一層的每個c都會與下一層c相連，因此爲cIn * cOut的參數量，具體的可理解過程爲每個卷積核，對每一層進行卷積之後，再進行矩陣運算（in * out）
fc層
全連接層的圖也可以引用上面的圖，conv在某種情況下可以作爲fc使用
pooling層
average-pooling
max-pooling
激活函數
爲了解決神經網絡的輸出和輸入爲線性關係的問題，引入激活函數
sigmoid函數
- 由於在兩端的導數值較小，會產生梯度消失
- 由於sigmoid輸出均大於0，使得後序的神經元輸入不爲均值0
tanh函數
- 由於在兩端的導數值較小，會產生梯度消失（same as sigmoid
relu
pooling
反向傳播
網絡發展史
VGG（2014年）
- 提出小卷積核的優點，例如2層3 * 3的卷積核可以代替5 * 5的卷積核，見下圖示意
![在這裏插入圖片描述]()
- 數據增強
Inception（GoogleNet）
v1
- bottleneck