原创 卷積和反捲積

卷積示意圖A:卷積核矩陣,M卷積核的數量,也是輸出的channel,K爲卷積核的大小,K可以理解爲k*k(卷積核的長、寬)。B:輸入圖像矩陣,K爲對應卷積核大小的矩陣塊。N爲輸出矩陣特徵的長和寬。 N=((image_h +

原创 在新版本caffe裏添加新的一層(向舊格式中加)

今天實現了在caffe框架中加入一個層,完成歐式距離的任務。之所以這樣,是因爲還沒有實現自己想要的loss,只是試着學者,看能不能把添加層的流程順下來。最後實現了。(一)總體框架1)在./src/caffe/proto/caffe.pro

原创 Python編寫caffe代碼

有時候,我們需要將網絡使用caffe代碼實現,人工手寫容易出問題。可以使用Python完成網絡編寫。卷積層:def generate_conv_layer_no_bias(name, bottom, top, weight, num_ou

原创 caffe學習:Crop 層

 在Fully Convolutional Networks(FCN)中,會用到Crop 層,他的主要作用是進行裁切。下面我們舉一個例子來說明如何使用Crop 層。  Caffe中的數據是以 blobs形式存在的,blob是四維數據,即

原创 損失層SoftmaxWithLossLayer

類SoftmaxWithLossLayer包含類SoftmaxLayer的實例。其中SoftmaxLayer層在正向傳導函數中將64*10的bottom_data,通過計算得到64*10的top_data。這可以理解爲輸入數據爲64個樣本

原创 SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation要點

               max-pooling indics:在SegNet中,深度編碼器 - 解碼器網絡被聯合訓練用於監督學習任務。Segnet移除了全連接層,這樣可以使其比其他許多近來的結構(FCN,DeconvNet,Pars

原创 熵,相對熵

1 信息熵的抽象定義熵的概念最早由統計熱力學引入。信息熵是由信息論之父香農提出來的,它用於隨機變量的不確定性度量,先上信息熵的公式。信息是用來減少隨機不確定性的東西(即不確定性的減少)。我們可以用log ( 1/P )來衡量不確定性。P是

原创 caffe loss層

在caffe中,默認的以loss結尾的layer可以作爲loss層,但是中間的層同樣可以作爲loss層.原因是這樣的:有一個和這個相關的參數:loss_weight,它決定了你的每個loss層佔最好的loss的大小.在以loss結尾的la

原创 ResNet結構圖

ResNet結構圖

原创 caffe SigmoidCrossEntropyLossLayer

代碼:layer { name: "loss_2" type: "SigmoidCrossEntropyLoss" bottom: "score_2" bottom: "label" top: "loss_2" l

原创 卷積神經網絡系列之softmax,softmax loss和cross entropy

全連接層到損失層間的計算先理清下從全連接層到損失層之間的計算。這張圖的等號左邊部分就是全連接層做的事,W是全連接層的參數,我們也稱爲權值,X是全連接層的輸入,也就是特徵。從圖上可以看出特徵X是N*1的向量,這是怎麼得到的呢?       

原创 C++算法八:快速排序

最流行的排序算法,速度最快的排序算法1962年,C.A.R. Hoare發明了快速排序算法pivot:樞軸遞歸快速排序算法首先選取樞軸,一般選取最左邊或最右邊的值爲樞軸,然後從數組的左右兩端的值開始與樞軸的值進行比較,如果左邊的值大於樞軸

原创 caffe,deeplab,對Interp(差值)層的理解

更詳細的參數解釋查閱interp_layer.cpp。prototxt中的用法:layer{ bottom:"input" top:"output" name:"interp_layer" type:"Interp"

原创 VGG16結構圖

爲了更好的瞭解VGG16的結構圖,其可視化結構如下:vgg16構造模型圖softmax層一般連接的是全連接層和loss層,現在的CNN都是end-to-end的,最後通過全連接層送入softmax來進行分類。參考:https://blog

原创 Deeplab V1、v2要點

背景: CNN的一個特性是不變性,這個特性使得它在high-level的計算機視覺任務比如classification中,取得很好的效果。但是在semantic segmentation任務中,這個特性反而是個障礙。畢竟語義分割是像素級別