RESNET
跳躍連接
RESNEXT
拆分-轉換-合併
增加基數（獨立路徑的數量）來提高準確度比網絡加深或擴大來提高準確度更有效。（爲什麼呢？）
DENSENET
相加改爲相併聯
加強shortcut，將所有層直接連接在一起
DPN
將殘差通道和densely connected path相融合，實現優缺互補
-------------------------------------------以下爲輕量級網絡-------------------------------------------
MOBILE NET
v1
1. 放棄pooling，直接採用stride=2進行卷積運算，【其他網絡，具體應用的時候再看
2. 使用兩步卷積代替一步卷積（深度可分離卷積），優點：減少計算量
3. 用兩個超參數來控制網絡計算速度與準確度之間的平衡，寬度調節參數（調節每一層的channel數），分辨率調節參數（調節輸入圖像的分辨率）
（啥是輕量化，爲啥這個可以做到輕量化呢？）輕量化--參數量少
v2
1. 引入shortcut結構（殘差網絡）
2. 在進行depthwise之前先進行1*1的卷積增加feature map的通道數，實現feature map的擴張。（inverted residual block，一般的residual block是兩頭channel多中間feature map的channel少（沙漏形狀）。而inverted residual block是兩頭通道少，中間feature的通道多（梭子形態））（梭子形態有啥好處嗎？爲啥resnet不用呢？----參數量已經很少了，中間增加一點參數，準確率也會高一點）
3. pointwise結束之後棄用relu激活函數，該用linear激活函數，來防止relu對特徵的破壞（爲啥relu有破壞，linear不會）
參考博文：https://www.jianshu.com/p/854cb5857070
SHUFFLE NET
分組卷積，交換不同組之間的通道。（shuffle net與resnet相比的優點和缺點）