1.卷積神經網絡（Convolutional Neural Network ，CNN）
優點：
（1）直接使用圖像的原始像素作爲輸入，不必先使用SIFT等算法提取特徵，減少了大量重複、繁瑣的數據預處理工作；
（2）卷積神經網絡訓練的模型對縮放、平移、旋轉等畸變具有不變性，有很強的泛化性；
（3）卷積神經網絡最大的特點是卷積的權值共享結構，大幅減少神經網絡的參數量，防止過擬合的同時又降低神經網絡模型的復 雜度。
……
所以，這也是卷積神經網絡這麼火的原因吧。
2.tensorflow實現簡單的卷積神經網絡的代碼實現
（1）環境：Ubuntu16.04 + Python3.5 + tensorflow 1.14的CPU（或者GPU，筆者的是CPU，不得不說，真的很慢）
（2）CNN的簡單網絡模型：兩個卷積層 + 一個全連接層
（3）代碼實現(來自TensorFlow的開源實現)：
/*導入tensorflow，創建路徑，載入數據集*/
from tensorflow.examples.tutorials.mnist import input_data
import tensorflow as tf
mnist = input_data.read_data_sets("MNIST_data",one_hot = True)/*第一個參數是路徑*/
/*創建默認的Interactive session，之後的運算默認跑在這個session中，不同的session中的運算和數據是相互獨立的*/
sess = tf.InteractiveSession()
/*卷積神經網絡有很多的權重和偏置需要創建，需要先定義好初始化函數，方便重複使用，越複雜的神經網絡，初始化函數越複雜，也越重要。給權重製造一些隨機的噪聲打破完全對稱，如截斷的正態分佈噪聲，標準差設爲0.1，給偏置增加小的正值，避免死亡節點*/
def weight_variable(shape):
initial = tf.truncated_normal(shape, stddev=0.1)
return tf.Variable(initial)
def bias_variable(shape):
initial = tf.constant(0.1, shape = shape)
return tf.Variable(initial)
/*定義卷積層和池化層的函數，tf.nn.conv2d是tensorflow中的2維卷積函數，參數中，x是輸入，W是卷積的參數，如[5,5,1,32],前面兩個數字代表卷積核的尺寸，第3個是通道（channel）的數量，如果是灰度單色，就是1，如果是RGB，就是3，最後一個數字代表卷積核的數量，即這個卷積核會提取多少類的特徵。strides代表卷積模板移動的步長，都是1代表會劃過圖片的每一個點。padding代表邊界的處理方式，SAME代表給邊界加上padding，使輸入和輸出保持同樣的尺寸。tf.nn.max_pool是tensorflow的最大池化函數，使用2X2的最大池化,將2X2的像素塊將爲1X1的，最大池化會保留原始像素塊中灰度值最高的那個像素，即保留最顯著特徵*/
def conv2d(x, W):
return tf.nn.conv2d(x, W, strides = [1,1,1,1], padding = 'SAME')
def max_pool_2X2(x):
return tf.nn.max_pool(x, ksize = [1,2,2,1], strides = [1,2,2,1], passing = 'SAME')
/*先創建輸入數據的地方placeholder,第一個參數是數據類型，第二個[None, 784],代表tensor的shape，即數據尺寸。x是特徵，y_是真實的label*/
x = tf.placeholder(tf.float32, [None,784])
y_ = tf.placeholder(tf.float32, [None,10])
/*卷積神經網絡要用到空間結構信息，因此要把1維的輸入向量轉爲2維的圖片結構，即從1X784-->28X28，-1代表樣本數量不固定，最後的1是指通道數量爲1*/
x_image = tf.reshape(x, [-1,28,28,1])
/*定義第一個卷積層，ReLU爲激活函數，進行非線性處理*/
W_conv1 = weight_variable([5,5,1,32])
b_conv1 = bias_variable([32])
h_conv1 = tf.nn.relu(conv2d(x_image, W_conv1) + b_conv1)
h_pool1 = max_pool_2X2(h_conv1)
/*定義第二個卷積層，卷積核數量變成了64，其他一樣*/
W_conv2 = weight_variable([5,5,1,64])
b_conv2 = bias_variable([64])
h_conv2 = tf.nn.relu(conv2d(x_image, W_conv2) + b_conv2)
h_pool2 = max_pool_2X2(h_conv2)
/*前面使用兩次2X2的最大池化，現在邊長爲之前的1/4，即28X28 --> 7X7，兩次卷積之後，輸出的tensor尺寸爲7X7X64，使用tf.reshape函數對輸出進行變形處理，轉爲1維向量，然後連接一個全連接層，隱含結點爲1024，最後使用relu激活函數*/
W_fc1 = weight_variable([7 * 7 * 64, 1024])
b_fc1 = bias_variable([1024])
h_pool2_flat = tf.reshape(h_pool2,[-1,7 * 7 * 64])
h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat,W_fc1) + b_fc1)
/*使用Dropout層，減輕過擬合*/
keep_prob = tf.placeholder(tf.float32)
h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob)
/*最後將dropout的輸出連接到Softmax層，得到概率輸出*/
W_fc2 = weight_variable([1024，10])
b_fc2 = bias_variable([10])
y_conv = tf.nn.softmax(tf.matmul(h_fc1_drop, W_fc2) + b_fc2)
/*定義損失函數cross_entropy,優化器使用Adam，學習速率爲1e-4*/
cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y_conv),reduction_indices=[1]))
train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)
/*定義評測準確率*/
correct_prediction = tf.equal(tf.argmax(y_conv,1) tf.argmax(y_,1))
accuracy = tf.reduce.mean(tf.cast(correct_prediction, tf.float32))
/*開始訓練，首先初始化所有參數，使用大小爲50的mini-batch，進行20000次迭代，訓練的樣本共100萬*/
tf.initialize_all_variable().run()
for i in range(20000):
batch = mnist.train.next_batch(50)
if i%10 ==0:
train_accuracy = accuracy.eval(feed_dict= {x:batch[0],y_:batch[1],keep_prob:1.0})
print("step %d, training accuracy %g" %(i, train_accuracy))
train_step.run(feed_dict={x:batch[0], y_:batch[1], keep_prob:0.5})
/*全部訓練完成，得到整體的分類準確率*/
print("test accuracy %g"%accuracy.eval(feed_dict={x:mnist.test.images, y_:mnist.test.labels, keep_prob: 1.0})
（4）最終結果，這個簡單的CNN模型的準確率約爲99.2%，在tensorflow的CPU版本上面運行，時間比較久，在GPU版本上面就快很多了。