原创 Caffe Prototxt 特殊層系列：Concat Layer
Concat Layer將多個bottom按照需要聯結一個top 一般特點是：多個輸入一個輸出，多個輸入除了axis指定維度外，其他維度要求一致 message ConcatParameter { // The axis al
2020-06-25 03:03:00
2
原创 Caffe Prototxt 特殊層系列：Softmax Layer
Softmax Layer作用是將分類網絡結果概率統計化，常常出現在全連接層後面 CNN分類網絡中，一般來說全連接輸出已經可以結束了，但是全連接層的輸出的數字，有大有小有正有負，人看懂不說，關鍵是訓練時，它無法與groundtru
2020-06-25 03:03:00
9
原创 Pytorch模型訓練(0) - CPN源碼解析
《CPN源碼解析》 文章目錄0 博客目錄1 前言2 源碼結構 0 博客目錄 Pytorch模型訓練(0) - CPN源碼解析 Pytorch模型訓練(1) - 模型定義 Pytorch模型訓練(2) - 模型初始化 Pytorch
2020-06-25 03:03:00
原创 Caffe Prototxt 特徵層系列：Scale Layer
Scale Layer是輸入進行縮放和平移，常常出現在BatchNorm歸一化後，Caffe中常用BatchNorm+Scale實現歸一化操作（等同Pytorch中BatchNorm） 首先我們先看一下 ScaleParamete
2020-06-25 03:03:00
8
原创 Pytorch模型訓練(3) - 模型保存與加載
《模型保存與加載》 本系列來總結Pytorch訓練中的模型結構一些內容，包括模型的定義，模型參數化初始化方法，模型的保存與加載等 文章目錄0 博客目錄1 保存和加載1.1 Save源碼1.2 Load源碼2 一般形式2.1 保
2020-06-25 03:03:00
1
原创 Caffe Prototxt 激活層系列：ReLU Layer
ReLU Layer 是DL中非線性激活的一種，常常在卷積、歸一化層後面（當然這也不是一定的） 首先我們先看一下 ReLUParameter // Message that stores parameters used by Re
2020-06-25 03:03:00
原创 Pytorch模型訓練(5) - Optimizer
《Optimizer》 本文總結Pytorch中的Optimizer Optimizer是深度學習模型訓練中非常重要的一個模塊，它決定參數參數更新的方向，快慢和大小，好的Optimizer算法和合適的參數使得模型收斂又快又
2020-06-25 03:03:00
原创 Pytorch模型訓練(4) - Loss Function
《Loss Function》 本文總結Pytorch中的Loss Function Loss Function是深度學習模型訓練中非常重要的一個模塊，它評估網絡輸出與真實目標之間誤差，訓練中會根據這個誤差來更新網絡參數，
2020-06-25 03:03:00
原创 Pytorch模型訓練(1) - 模型定義
《模型定義》 本系列來總結Pytorch訓練中的模型結構一些內容，包括模型的定義，模型參數化初始化方法，模型的保存與加載等 文章目錄0 博客目錄1 模型定義--三要素1.1 Pytorch模型的定義都需要繼承nn.module這
2020-06-25 03:02:59
原创 Caffe Prototxt 特徵層系列：Dropout Layer
Dropout Layer作用是隨機讓網絡的某些節點不工作（輸出置零），也不更新權重；是防止模型過擬合的一種有效方法 首先我們先看一下 DropoutParameter message DropoutParameter {
2020-06-25 03:02:59
原创 Caffe Prototxt 特徵層系列：InnerProduct Layer
InnerProduct Layer是全連接層，CNN中常常出現在分類網絡的末尾，將卷積全連接化或分類輸出結果，當然它的用處很多，不只是分類網絡中 首先我們先看一下 InnerProductParameter message I
2020-06-25 03:02:59
原创 Caffe Prototxt 特徵層系列：BatchNorm Layer
BatchNorm Layer 是對輸入進行均值，方差歸一化，消除過大噪點，有助於網絡收斂 首先我們先看一下 BatchNormParameter message BatchNormParameter { // If fal
2020-06-25 03:02:59
原创 Pytorch模型訓練(6) - 數據加載
《 數據加載》 前面幾篇博客分析Pytorch模型訓練的模型定義，損失函數及優化器，本文則來看看在模型訓練中，又一非常重要的模塊—數據加載 在深度學習模型訓練中，我們面對的訓練任務是多種多樣的，不同任務面對的數據格式也是不
2020-06-25 03:02:59
原创 Caffe Prototxt 特徵層系列：Convolution Layer
Convolution Layer是CNN中最常見最重要的特徵提取層，形式多種多樣 首先我們先看一下 ConvolutionParameter message ConvolutionParameter { optional
2020-06-25 03:02:59
原创 Pytorch模型訓練(2) - 模型初始化
《模型初始化》 本系列來總結Pytorch訓練中的模型結構一些內容，包括模型定義，模型參數初始化，模型保存與加載等 上篇博文簡述了模型定義，嚴格來說，模型參數初始化也是模型構造的一部分，但其又有其特殊性和篇幅，所以我單獨列
2020-06-25 03:02:59