最近的事情比較多，忙過之後終於有時間整理一下思緒了。
在做課題之餘，把caffe框架的網絡結構好好梳理了一番，希望可以幫助到有需要的人。
solver.prototxt
test_iter: 100 #預測階段迭代次數爲100，設置預測迭代次數爲100可以覆蓋全部的10000個測試集
# Carry out testing every 500 training iterations.
test_interval: 500 #測試頻率，訓練時，每迭代500次進行一次測試
# The base learning rate, momentum and the weight decay of the network.
base_lr: 0.01 #基礎學習率
momentum: 0.9 #基礎衝量
#solver_type: ADAGRAD
weight_decay: 0.0005 #基礎權衰量
# The learning rate policy
lr_policy: "inv" #學習速率的衰減策略
gamma: 0.0001 #學習率變化的比率
power: 0.75
# Display every 100 iterations
display: 100 #每100次顯示一次
# The maximum number of iterations
max_iter: 10000 #最大迭代次數
# snapshot intermediate results
snapshot: 5000 #每5000次打印一次，即模型保存一次
snapshot_prefix: "examples/mnist/lenet" #模型保存位置
# solver mode: CPU or GPU
solver_mode: GPU #設置使用CPU或者GPU進行網絡訓練
data層
layer {
name: "mnist" #層的名稱
type: "Data" #層類型
top: "data" #輸出，有兩個，data和label
top: "label"
data_param {
source: "examples/mnist/mnist-train-leveldb" #訓練數據所在位置
backend: LEVELDB #數據類型
batch_size: 64 #批量數目，表示一次讀取64張
}
transform_param {
scale: 0.00390625 #數據變換使用的縮放因子
}
include: { phase: TRAIN } #該層只在訓練階段有效
}
convolution層
layer { #定義一個卷積層
name: "conv1"
type: "Convolution" #該層類型是卷積層
bottom: "data" #該層的輸入層
top: "conv1" #該層的輸出層
param {
lr_mult: 1 #權值學習速率倍乘因子，1倍表示保持與全局參數一致
}
param {
lr_mult: 2 #偏置學習速率倍乘因子，是全局參數的2倍（一般偏置學習率是權值學習率的2倍）
}
convolution_param { #卷積參數
num_output: 20 #feature map維數，既特徵圖個數爲20
kernel_size: 5 #卷積核大小
stride: 1 #步長
weight_filler { #權值使用xavier填充器，大多時候用“xavier”，也可用“gaussion”
type: "xavier"
}
bias_filler { #偏置使用常數填充器，默認爲0
type: "constant"
}
}
}
卷積層之後一般都會有一個ReLu激活層
layer {
name: "relu1_1" #激活函數
type: "ReLU"
bottom: "conv1_1" #輸入層
top: "conv1_1" #輸出層
}
pool層
layer { #定義池化層
name: "pool1"
type: "Pooling" #該層類型是池化層
bottom: "conv1" #該層輸入
top: "pool1" #該層輸出
pooling_param { #池化參數
pool: MAX #最大池化，還有均值池化等
kernel_size: 2 #濾波器大小爲2*2
stride: 2 #步長爲2，即不重疊
}
}
fc層（全連接層）
layer {
name: "fc6"
type: "InnerProduct" #全連接層，輸出的是一個簡單向量，參數跟卷積層一樣
bottom: "pool5"
top: "fc6"
inner_product_param {
num_output: 4096
}
}
Drop層（隨機的丟棄一些網絡參數，可防止過擬合）
layer {
name: "drop6" #丟棄層
type: "Dropout"
bottom: "fc6"
top: "fc6"
dropout_param {
dropout_ratio: 0.5 #參數丟棄的概率
}
}
Crop層
layer {
name: "score"
type: "Crop" #裁剪
bottom: "upscore" #該層輸入
bottom: "data" #該層輸入
top: "score" #該層輸出
crop_param {
axis: 2 #從哪個軸開始裁剪
offset: 19 #從偏移位置開始裁剪
}
caffe中的數據是以blobs的形式存放的，blobs是四維數據（N，C,H,W）分別表示Batch size, Channels, Height, Width，其編號爲0,1,2,3.
其中，axis：2表示從第二個軸開始裁剪，也就是裁剪2,3（H，W）兩個軸。
例如：A爲bottom,A_size=(20,50,512,512)
B爲裁剪的參考輸入，B_size=(20,10,256,256)
C是輸出，C_size=（20,10,256,256）
若axis=1,offeset=(25,128,128)
表示從第一個軸開始裁剪，也就是裁剪（C,H,W）三個軸。
則C_size=A[：， 25 : 25+B.shape(1), 128 : 128+B.shape(2), 128 : 128+B.shape(3) ]
=A[: , 25 : 35 , 128 : 128+256 , 128 : 128+256 ] = A[ : , 10 , 256 , 256]
即C_size=(20 ,10 ,256 ,256)
ConCat層
爲了增加網絡輸入通道，可以將輸入簡單的拼接在一起。
如下面代碼所示，可以將RGB數據和depth數據拼接起來作爲網絡的輸入。
layer {
name: "data"
type: "Concat" #拼接層
bottom: "color" #如果輸入是RGB-D數據的話，可以將RGB和Depth信息拼接在一起輸入該層，輸出是data層
bottom: "depth"
top: "data"
}
Eltwise層
該層有三種操作：product點乘，sum加減（默認操作），max（取最大值）
layer {
name: "s_fused"
type: "Eltwise"
bottom: "s_frcolor" #該層輸入有兩個，s_frcolor和s_frhha
bottom: "s_frhha"
top: "s_fused" #該層的輸出
eltwise_param {
operation: SUM #操作是加，即將兩個輸入加起來
coeff: 0.5 #第一個輸入的係數
coeff: 0.5 #第二個輸入的係數
}
Eltwise層可以更直接地利用多個輸入信息，提高算法的精確度，但是卻增加了算法的計算時間；而ConCat層雖然只是簡單的將輸入拼接在一起，對於算法提高的沒有Eltwise層多，但是訓練和測試的速率更快一些。
loss層
layer {
name: "loss" #損失層
type: "SoftmaxWithLoss"
bottom: "score" #預測結果
bottom: "label" #標籤
top: "loss" #該層輸出
loss_param {
ignore_label: 255
normalize: false
}
}