2019=12-14卷積神經網絡CNN matlab程序

原創 qq_32790593 2020-02-21 10:14

一、卷積網絡原理

1、動機

卷積神經網絡（CNN）是多層感知機（MLP）的一個變種模型，它是從生物學概念中演化而來的。從Hubel和Wiesel早期對貓的視覺皮層的研究工作，我們知道在視覺皮層存在一種細胞的複雜分佈，，這些細胞對於外界的輸入局部是很敏感的，它們被稱爲“感受野”（細胞），它們以某種方法來覆蓋整個視覺域。這些細胞就像一些濾波器一樣，它們對輸入的圖像是局部敏感的，因此能夠更好地挖掘出自然圖像中的目標的空間關係信息。

此外，視覺皮層存在兩類相關的細胞，S細胞（Simple Cell）和C（Complex Cell）細胞。S細胞在自身的感受野內最大限度地對圖像中類似邊緣模式的刺激做出響應，而C細胞具有更大的感受野，它可以對圖像中產生刺激的模式的空間位置進行精準地定位。

視覺皮層作爲目前已知的最爲強大的視覺系統，廣受關注。學術領域出現了很多基於它的神經啓發式模型。比如：NeoCognitron [Fukushima], HMAX [Serre07] 以及本教程要討論的重點 LeNet-5 [LeCun98]。

2、稀疏連接

CNNs通過加強神經網絡中相鄰層之間節點的局部連接模式（Local Connectivity Pattern）來挖掘自然圖像（中的興趣目標）的空間局部關聯信息。第m層隱層的節點與第m-1層的節點的局部子集，並具有空間連續視覺感受野的節點（就是m-1層節點中的一部分，這部分節點在m-1層都是相鄰的）相連。可以用下面的圖來表示這種連接。

這裏寫圖片描述

假設，m-1層爲視網膜輸入層（接受自然圖像）。根據上圖的描述，在m-1層上面的m層的神經元節點都具有寬度爲3的感受野，m層每一個節點連接下面的視網膜層的3個相鄰的節點。m+1層的節點與它下面一層的節點有着相似的連接屬性，所以m+1層的節點仍與m層中3個相鄰的節點相連，但是對於輸入層（視網膜層）連接數就變多了，在本圖中是5。這種結構把訓練好的濾波器（corresponding to the input producing the strongest response）構建成了一種空間局部模式（因爲每個上層節點都只對感受野中的，連接的局部的下層節點有響應）。根據上面圖，多層堆積形成了濾波器（不再是線性的了），它也變得更具有全局性了（如包含了一大片的像素空間）。比如，在上圖中，第m+1層能夠對寬度爲5的非線性特徵進行編碼（就像素空間而言）。

3、權值共享

在CNNs中，每一個稀疏濾波器hi在整個感受野中是重複疊加的，這些重複的節點形式了一種特徵圖（feature map）,這個特種圖可以共享相同的參數，比如相同的權值矩陣和偏置向量。 
這裏寫圖片描述

在上圖中，屬於同一個特徵圖的三個隱層節點，因爲需要共享相同顏色的權重, 他們的被限制成相同的。在這裏， 梯度下降算法仍然可以用來訓練這些共享的參數，只需要在原算法的基礎上稍作改動即可。共享權重的梯度可以對共享參數的梯度進行簡單的求和得到。

二、網絡的分析 
上面這些內容，基本就是CNN的精髓所在了，下面結合LeNet做具體的分析。 
結構圖： 
這裏寫圖片描述 
這裏寫圖片描述 
LeNet算上輸入輸出一共爲八層，下面逐層分析。 
第一層：數據輸入層 
CNN的強項在於圖片的處理，lenet的輸入爲32*32的矩陣圖片。這裏需要注意的點： 
1、數據的歸一化，這裏的歸一化是廣義的，不一定要歸到0-1，但要是相同的一個區間範圍，一般我們的灰度圖爲0-255。 
2、數據的去均值，如果樣本有非零的均值，而且與測試部分的非零均值不一致，可能就會導致識別率的下降。當然這不一定發生，我們這麼做是爲了增加系統的魯棒性。 
這裏寫圖片描述 
第二層：卷積層c1 
卷積層是卷積神經網絡的核心，通過不同的卷積核，來獲取圖片的特徵。卷積核相當於一個濾波器，不同的濾波器提取不同特徵。打個比方，對於手寫數字識別，某一個卷積核提取‘一’，另一個卷積核提取‘|’，所以這個數字很有可能就判定爲‘7’。當然實際要比這複雜度得多，但原理大概就是這個樣子。 
第三層：pooling層 
基本每個卷積層後邊都會接一個pooling層，目的是爲了降維。一般都將原來的卷積層的輸出矩陣大小變爲原來的一半，方便後邊的運算。另外，pooling層增加了系統的魯棒性，把原來的準確描述變爲了概略描述（原來矩陣大小爲28*28，現在爲14*14，必然有一部分信息丟失，一定程度上防止了過擬合）。 
第四層：卷積層 
與之前類似，在之前的特徵中進一步提取特徵，對原樣本進行更深層次的表達。注意：這裏不是全連接。這裏不是全連接。這裏不是全連接。X代表連接，空白代表不連。 
這裏寫圖片描述 
第五層：pooling層 
與之前類似。 
第六層：卷積層（全連接） 
這裏有120個卷積核，這裏是全連接的。將矩陣卷積成一個數，方便後邊網絡進行判定。 
第七層：全連接層 
和MLP中的隱層一樣，獲得高維空間數據的表達。 
第八層：輸出層 
這裏一般採用RBF網絡，每個RBF的中心爲每個類別的標誌，網絡輸出越大，代表越不相似，輸出的最小值即爲網絡的判別結果。 
三、卷積網絡的BP訓練 
前面的都很好理解，卷積神經網絡的難度在於BP過程。網上zouxy09的博文寫的很好，可以看一下，自己搞明白。傳送門：CNN的BP推導 
四、代碼部分 
關於MNIST數據集，網上有很多現成的代碼對其進行提取，但提取出來的都是亂序的很不利於使用。這裏有提取好的分類後的，詳情傳送門 
簡單起見，我們的代碼選用一層卷積層。 
CNN_simple_mian.m

  1. %%%  matlab實現LeNet-5
  2. %%%  作者：xd.wp
  3. %%%  時間：2016.10.22  14:29
  4. %% 程序說明
  5. %          1、池化（pooling）採用平均2*2
  6. %          2、網絡結點數說明：
  7. %                           輸入層：28*28
  8. %                           第一層：24*24（卷積）*20
  9. %                           tanh
  10. %                           第二層：12*12（pooling）*20
  11. %                           第三層：100(全連接)
  12. %                           第四層：10(softmax)
  13. %          3、網絡訓練部分採用800個樣本，檢驗部分採用100個樣本
  14. clear all;clc;
  15. %% 網絡初始化
  16. layer_c1_num=20;
  17. layer_s1_num=20;
  18. layer_f1_num=100;
  19. layer_output_num=10;
  20. %權值調整步進
  21. yita=0.01;
  22. %bias初始化
  23. bias_c1=(2*rand(1,20)-ones(1,20))/sqrt(20);
  24. bias_f1=(2*rand(1,100)-ones(1,100))/sqrt(20);
  25. %卷積核初始化
  26. [kernel_c1,kernel_f1]=init_kernel(layer_c1_num,layer_f1_num);
  27. %pooling核初始化
  28. pooling_a=ones(2,2)/4;
  29. %全連接層的權值
  30. weight_f1=(2*rand(20,100)-ones(20,100))/sqrt(20);
  31. weight_output=(2*rand(100,10)-ones(100,10))/sqrt(100);
  32. disp('網絡初始化完成......');
  33. %% 開始網絡訓練
  34. disp('開始網絡訓練......');
  35. for iter=1:20
  36. for n=1:20
  37.     for m=0:9
  38.         %讀取樣本
  39.         train_data=imread(strcat(num2str(m),'_',num2str(n),'.bmp'));
  40.         train_data=double(train_data);
  41.         % 去均值
  42. %       train_data=wipe_off_average(train_data);
  43.         %前向傳遞,進入卷積層1
  44.         for k=1:layer_c1_num
  45.             state_c1(:,:,k)=convolution(train_data,kernel_c1(:,:,k));
  46.             %進入激勵函數
  47.             state_c1(:,:,k)=tanh(state_c1(:,:,k)+bias_c1(1,k));
  48.             %進入pooling1
  49.             state_s1(:,:,k)=pooling(state_c1(:,:,k),pooling_a);
  50.         end
  51.         %進入f1層
  52.         [state_f1_pre,state_f1_temp]=convolution_f1(state_s1,kernel_f1,weight_f1);
  53.         %進入激勵函數
  54.         for nn=1:layer_f1_num
  55.             state_f1(1,nn)=tanh(state_f1_pre(:,:,nn)+bias_f1(1,nn));
  56.         end
  57.         %進入softmax層
  58.         for nn=1:layer_output_num
  59.             output(1,nn)=exp(state_f1*weight_output(:,nn))/sum(exp(state_f1*weight_output));
  60.         end
  61.        %% 誤差計算部分
  62.         Error_cost=-output(1,m+1);
  63. %         if (Error_cost<-0.98)
  64. %             break;
  65. %         end
  66.         %% 參數調整部分
  67.         [kernel_c1,kernel_f1,weight_f1,weight_output,bias_c1,bias_f1]=CNN_upweight(yita,Error_cost,m,train_data,...
  68.                                                                                                 state_c1,state_s1,...
  69.                                                                                                 state_f1,state_f1_temp,...
  70.                                                                                                 output,...
  71.                                                                                                 kernel_c1,kernel_f1,weight_f1,weight_output,bias_c1,bias_f1);
  72.  
  73.     end    
  74. end
  75. end
  76. disp('網絡訓練完成，開始檢驗......');
  77. count=0;
  78. for n=1:20
  79.     for m=0:9
  80.         %讀取樣本
  81.         train_data=imread(strcat(num2str(m),'_',num2str(n),'.bmp'));
  82.         train_data=double(train_data);
  83.         % 去均值
  84. %       train_data=wipe_off_average(train_data);
  85.         %前向傳遞,進入卷積層1
  86.         for k=1:layer_c1_num
  87.             state_c1(:,:,k)=convolution(train_data,kernel_c1(:,:,k));
  88.             %進入激勵函數
  89.             state_c1(:,:,k)=tanh(state_c1(:,:,k)+bias_c1(1,k));
  90.             %進入pooling1
  91.             state_s1(:,:,k)=pooling(state_c1(:,:,k),pooling_a);
  92.         end
  93.         %進入f1層
  94.         [state_f1_pre,state_f1_temp]=convolution_f1(state_s1,kernel_f1,weight_f1);
  95.         %進入激勵函數
  96.         for nn=1:layer_f1_num
  97.             state_f1(1,nn)=tanh(state_f1_pre(:,:,nn)+bias_f1(1,nn));
  98.         end
  99.         %進入softmax層
  100.         for nn=1:layer_output_num
  101.             output(1,nn)=exp(state_f1*weight_output(:,nn))/sum(exp(state_f1*weight_output));
  102.         end
  103.         [p,classify]=max(output);
  104.         if (classify==m+1)
  105.             count=count+1;
  106.         end
  107.         fprintf('真實數字爲%d  網絡標記爲%d  概率值爲%d \n',m,classify-1,p);
  108.     end
  109. end

 

init_kernel.m

  1. function [kernel_c1,kernel_f1]=init_kernel(layer_c1_num,layer_f1_num)
  2. %% 卷積核初始化
  3. for n=1:layer_c1_num
  4.     kernel_c1(:,:,n)=(2*rand(5,5)-ones(5,5))/12;
  5. end
  6. for n=1:layer_f1_num
  7.     kernel_f1(:,:,n)=(2*rand(12,12)-ones(12,12));
  8. end
  9. end

convolution.m

  1. function [state]=convolution(data,kernel)
  2. %實現卷積層操作
  3. [data_row,data_col]=size(data);
  4. [kernel_row,kernel_col]=size(kernel);
  5. for m=1:data_col-kernel_col+1
  6.     for n=1:data_row-kernel_row+1
  7.         state(m,n)=sum(sum(data(m:m+kernel_row-1,n:n+kernel_col-1).*kernel));
  8.     end
  9. end
  10. end

pooling.m

  1. function state=pooling(data,pooling_a)
  2. %% 實現取樣層pooling操作
  3. [data_row,data_col]=size(data);
  4. [pooling_row,pooling_col]=size(pooling_a);
  5. for m=1:data_col/pooling_col
  6.     for n=1:data_row/pooling_row
  7.         state(m,n)=sum(sum(data(2*m-1:2*m,2*n-1:2*n).*pooling_a));
  8.     end
  9. end
  10. end

convolution_f1.m

  1. function [state_f1,state_f1_temp]=convolution_f1(state_s1,kernel_f1,weight_f1)
  2. %% 完成卷積層2操作
  3. layer_f1_num=size(weight_f1,2);
  4. layer_s1_num=size(weight_f1,1);
  5.  
  6. %%
  7. for n=1:layer_f1_num
  8.     count=0;
  9.     for m=1:layer_s1_num
  10.         temp=state_s1(:,:,m)*weight_f1(m,n);
  11.         count=count+temp;
  12.     end
  13.     state_f1_temp(:,:,n)=count;
  14.     state_f1(:,:,n)=convolution(state_f1_temp(:,:,n),kernel_f1(:,:,n));
  15. end
  16. end

CNN_upweight.m

  1. function [kernel_c1,kernel_f1,weight_f1,weight_output,bias_c1,bias_f1]=CNN_upweight(yita,Error_cost,classify,train_data,state_c1,state_s1,state_f1,state_f1_temp,...
  2.                                                                                                 output,kernel_c1,kernel_f1,weight_f1,weight_output,bias_c1,bias_f1)
  3. %%%     完成參數更新，權值和卷積核
  4. %% 結點數目
  5. layer_c1_num=size(state_c1,3);
  6. layer_s1_num=size(state_s1,3);
  7. layer_f1_num=size(state_f1,2);
  8. layer_output_num=size(output,2);
  9.  
  10. [c1_row,c1_col,~]=size(state_c1);
  11. [s1_row,s1_col,~]=size(state_s1);
  12.  
  13. [kernel_c1_row,kernel_c1_col]=size(kernel_c1(:,:,1));
  14. [kernel_f1_row,kernel_f1_col]=size(kernel_f1(:,:,1));
  15. %% 保存網絡權值
  16. kernel_c1_temp=kernel_c1;
  17. kernel_f1_temp=kernel_f1;
  18.  
  19. weight_f1_temp=weight_f1;
  20. weight_output_temp=weight_output;
  21. %% Error計算
  22. label=zeros(1,layer_output_num);
  23. label(1,classify+1)=1;
  24. delta_layer_output=output-label;
  25. %% 更新weight_output
  26. for n=1:layer_output_num
  27.     delta_weight_output_temp(:,n)=delta_layer_output(1,n)*state_f1';
  28. end
  29. weight_output_temp=weight_output_temp-yita*delta_weight_output_temp;
  30.  
  31. %% 更新bias_f1以及kernel_f1
  32. for n=1:layer_f1_num
  33.     count=0;
  34.     for m=1:layer_output_num
  35.         count=count+delta_layer_output(1,m)*weight_output(n,m);
  36.     end
  37.     %bias_f1
  38.     delta_layer_f1(1,n)=count*(1-tanh(state_f1(1,n)).^2);
  39.     delta_bias_f1(1,n)=delta_layer_f1(1,n);
  40.     %kernel_f1
  41.     delta_kernel_f1_temp(:,:,n)=delta_layer_f1(1,n)*state_f1_temp(:,:,n);
  42. end
  43. bias_f1=bias_f1-yita*delta_bias_f1;
  44. kernel_f1_temp=kernel_f1_temp-yita*delta_kernel_f1_temp;
  45. %% 更新weight_f1
  46. for n=1:layer_f1_num
  47.     delta_layer_f1_temp(:,:,n)=delta_layer_f1(1,n)*kernel_f1(:,:,n);
  48. end
  49. for n=1:layer_s1_num
  50.     for m=1:layer_f1_num
  51.         delta_weight_f1_temp(n,m)=sum(sum(delta_layer_f1_temp(:,:,m).*state_s1(:,:,n)));
  52.     end
  53. end
  54. weight_f1_temp=weight_f1_temp-yita*delta_weight_f1_temp;
  55.  
  56. %% 更新 bias_c1
  57. for n=1:layer_s1_num
  58.     count=0;
  59.     for m=1:layer_f1_num
  60.         count=count+delta_layer_f1_temp(:,:,m)*weight_f1(n,m);   
  61.     end
  62.     delta_layer_s1(:,:,n)=count;
  63.     delta_layer_c1(:,:,n)=kron(delta_layer_s1(:,:,n),ones(2,2)/4).*(1-tanh(state_c1(:,:,n)).^2);
  64.     delta_bias_c1(1,n)=sum(sum(delta_layer_c1(:,:,n)));
  65. end
  66. bias_c1=bias_c1-yita*delta_bias_c1;
  67. %% 更新 kernel_c1
  68. for n=1:layer_c1_num
  69.     delta_kernel_c1_temp(:,:,n)=rot90(conv2(train_data,rot90(delta_layer_c1(:,:,n),2),'valid'),2);
  70. end
  71. kernel_c1_temp=kernel_c1_temp-yita*delta_kernel_c1_temp;
  72.  
  73. %% 網絡權值更新
  74. kernel_c1=kernel_c1_temp;
  75. kernel_f1=kernel_f1_temp;
  76.  
  77. weight_f1=weight_f1_temp;
  78. weight_output=weight_output_temp;
  79.  
  80. end

​​​​​​​

程序運行結果： 
這裏寫圖片描述

檢驗200個，196個識別正確，4個識別錯誤。 
這裏寫圖片描述

qq_32790593
發佈了26 篇原創文章 · 獲贊 20 · 訪問量 6萬+
私信 關注
發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

利用深度學習進行高光譜圖像分類SCI論文分析

Weiwei Song, Student Member, IEEE, Shutao Li , Senior Member, IEEE, Leyuan Fang , Senior Member, IEEE, and Ting Lu

qq_32790593 2020-07-02 14:30:20

2019-12-14matlab 批量提取CNN特徵

clear close all addpath ./matlab model= ‘./models/bvlc_reference_caffenet/deploy.prototxt’; weights= ‘./models/bvlc

qq_32790593 2020-07-02 14:30:20

2019-12-14灰度圖像的卷積參數計算

qq_32790593 2020-02-21 10:14:28

2019-12-14CNN提取圖片特徵，之後用SVM分類

qq_32790593 2020-02-21 10:14:28

利用深度學習進行高光譜圖像分類SCI論文分析

Weiwei Song, Student Member, IEEE, Shutao Li , Senior Member, IEEE, Leyuan Fang , Senior Member, IEEE, and Ting Lu

qq_32790593 2020-07-02 14:30:20

2019-12-14matlab 批量提取CNN特徵

clear close all addpath ./matlab model= ‘./models/bvlc_reference_caffenet/deploy.prototxt’; weights= ‘./models/bvlc

qq_32790593 2020-07-02 14:30:20

2019-12-14灰度圖像的卷積參數計算

qq_32790593 2020-02-21 10:14:28

2019-12-14CNN提取圖片特徵，之後用SVM分類

qq_32790593 2020-02-21 10:14:28

無參考圖像的清晰度評價方法

qq_32790593 2019-08-28 18:56:26

Caffe代碼解讀(四):solver_param

qq_32790593 2019-08-28 18:56:26

卷積神經網絡(CNN)講解及代碼1 卷積神經網絡(CNN)講解及代碼

qq_32790593 2019-03-04 01:13:16

Deep Learning學習 之 CNN代碼解析（MATLAB）1

qq_32790593 2019-03-04 01:13:16

CNN卷積神經網絡手寫數字識別實例及代碼詳解1

qq_32790593 2019-03-04 01:13:16

詳解CNN卷積神經網絡1

qq_32790593 2019-03-04 01:13:16

卷積神經網絡(CNN)講解及代碼2

qq_32790593 2019-03-04 01:13:16