參考:pycaffe網絡模型訓練和fine-tuning
參考:caffe模型訓練小技巧
1、網絡結構完全相同
1.常用的非線性激活函數: sigmoid、tanh、relu等等,前兩者sigmoid/tanh比較常見於全鏈接層,後者relu常見於卷積層。這裏先簡要介紹下最基礎的sigmoid函數(btw,在本博客中SVM那篇文章開頭有提過)