Python+Opencv進行識別相似圖片

在網上看到python做圖像識別的相關文章後，真心感覺python的功能實在太強大，因此將這些文章總結一下，建立一下自己的知識體系。

當然了，圖像識別這個話題作爲計算機科學的一個分支，不可能就在本文簡單幾句就說清，所以本文只作基本算法的科普向。

看到一篇博客是介紹這個，但他用的是PIL中的Image實現的，感覺比較麻煩，於是利用Opencv庫進行了更簡潔化的實現。

相關背景

要識別兩張相似圖像，我們從感性上來談是怎麼樣的一個過程？首先我們會區分這兩張相片的類型，例如是風景照，還是人物照。風景照中，是沙漠還是海洋，人物照中，兩個人是不是都是國字臉，還是瓜子臉（還是倒瓜子臉……哈哈……）。

那麼從機器的角度來說也是這樣的，先識別圖像的特徵，然後再相比。

很顯然，在沒有經過訓練的計算機(即建立模型)，那麼計算機很難區分什麼是海洋，什麼是沙漠。但是計算機很容易識別到圖像的像素值。

因此，在圖像識別中，顏色特徵是最爲常用的。（其餘常用的特徵還有紋理特徵、形狀特徵和空間關係特徵等）

其中又分爲

• 直方圖

• 顏色集

• 顏色矩

• 聚合向量

• 相關圖

直方圖計算法

這裏先用直方圖進行簡單講述。

先借用一下戀花蝶的圖片，

從肉眼來看，這兩張圖片大概也有八成是相似的了。

在python中利用opencv中的calcHist()方法獲取其直方圖數據，返回的結果是一個列表，使用matplotlib，畫出了這兩張圖的直方圖數據圖

如下：

是的，我們可以明顯的發現，兩張圖片的直方圖還是比較重合的。所以利用直方圖判斷兩張圖片的是否相似的方法就是，計算其直方圖的重合程度即可。

計算方法如下：

其中gi和si是分別指兩條曲線的第i個點。

最後計算得出的結果就是就是其相似程度。

不過，這種方法有一個明顯的弱點，就是他是按照顏色的全局分佈來看的，無法描述顏色的局部分佈和色彩所處的位置。

也就是假如一張圖片以藍色爲主，內容是一片藍天，而另外一張圖片也是藍色爲主，但是內容卻是妹子穿了藍色裙子，那麼這個算法也很可能認爲這兩張圖片的相似的。

緩解這個弱點有一個方法就是利用Image的crop方法把圖片等分，然後再分別計算其相似度，最後綜合考慮。

圖像指紋與漢明距離

在介紹下面其他判別相似度的方法前，先補充一些概念。第一個就是圖像指紋

圖像指紋和人的指紋一樣，是身份的象徵，而圖像指紋簡單點來講，就是將圖像按照一定的哈希算法，經過運算後得出的一組二進制數字。

說到這裏，就可以順帶引出漢明距離的概念了。

假如一組二進制數據爲101，另外一組爲111，那麼顯然把第一組的第二位數據0改成1就可以變成第二組數據111，所以兩組數據的漢明距離就爲1

簡單點說，漢明距離就是一組二進制數據變成另一組數據所需的步驟數，顯然，這個數值可以衡量兩張圖片的差異，漢明距離越小，則代表相似度越高。漢明距離爲0，即代表兩張圖片完全一樣。

如何計算得到漢明距離，請看下面三種哈希算法

平均哈希法(aHash)

此算法是基於比較灰度圖每個像素與平均值來實現的

一般步驟

• 1.縮放圖片，一般大小爲8*8，64個像素值。

• 2.轉化爲灰度圖

• 3.計算平均值：計算進行灰度處理後圖片的所有像素點的平均值，直接用numpy中的mean()計算即可。

• 4.比較像素灰度值：遍歷灰度圖片每一個像素，如果大於平均值記錄爲1，否則爲0.

• 5.得到信息指紋：組合64個bit位，順序隨意保持一致性。

最後比對兩張圖片的指紋，獲得漢明距離即可。

感知哈希算法(pHash)

平均哈希算法過於嚴格，不夠精確，更適合搜索縮略圖，爲了獲得更精確的結果可以選擇感知哈希算法，它採用的是DCT（離散餘弦變換）來降低頻率的方法

一般步驟：

• 縮小圖片：32 * 32是一個較好的大小，這樣方便DCT計算

• 轉化爲灰度圖

• 計算DCT：利用Opencv中提供的dct()方法，注意輸入的圖像必須是32位浮點型，所以先利用numpy中的float32進行轉換

• 縮小DCT：DCT計算後的矩陣是32 * 32，保留左上角的8 * 8，這些代表的圖片的最低頻率

• 計算平均值：計算縮小DCT後的所有像素點的平均值。

• 進一步減小DCT：大於平均值記錄爲1，反之記錄爲0.

• 得到信息指紋：組合64個信息位，順序隨意保持一致性。

最後比對兩張圖片的指紋，獲得漢明距離即可。

dHash算法

相比pHash，dHash的速度要快的多，相比aHash，dHash在效率幾乎相同的情況下的效果要更好，它是基於漸變實現的。

步驟：

• 縮小圖片：收縮到9*8的大小，以便它有72的像素點

• 轉化爲灰度圖

• 計算差異值：dHash算法工作在相鄰像素之間，這樣每行9個像素之間產生了8個不同的差異，一共8行，則產生了64個差異值

• 獲得指紋：如果左邊的像素比右邊的更亮，則記錄爲1，否則爲0.
  最後比對兩張圖片的指紋，獲得漢明距離即可。

整個的代碼實現如下：

# -*- coding: utf-8 -*-
#feimengjuan
# 利用python實現多種方法來實現圖像識別

import cv2
import numpy as np
from matplotlib import pyplot as plt

# 最簡單的以灰度直方圖作爲相似比較的實現
def classify_gray_hist(image1,image2,size = (256,256)):
    # 先計算直方圖
    # 幾個參數必須用方括號括起來
    # 這裏直接用灰度圖計算直方圖，所以是使用第一個通道，
    # 也可以進行通道分離後，得到多個通道的直方圖
    # bins 取爲16
    image1 = cv2.resize(image1,size)
    image2 = cv2.resize(image2,size)
    hist1 = cv2.calcHist([image1],[0],None,[256],[0.0,255.0])
    hist2 = cv2.calcHist([image2],[0],None,[256],[0.0,255.0])
    # 可以比較下直方圖
    plt.plot(range(256),hist1,'r')
    plt.plot(range(256),hist2,'b')
    plt.show()
    # 計算直方圖的重合度
    degree = 0
    for i in range(len(hist1)):
        if hist1[i] != hist2[i]:
            degree = degree + (1 - abs(hist1[i]-hist2[i])/max(hist1[i],hist2[i]))
        else:
            degree = degree + 1
    degree = degree/len(hist1)
    return degree

# 計算單通道的直方圖的相似值
def calculate(image1,image2):
    hist1 = cv2.calcHist([image1],[0],None,[256],[0.0,255.0])
    hist2 = cv2.calcHist([image2],[0],None,[256],[0.0,255.0])
     # 計算直方圖的重合度
    degree = 0
    for i in range(len(hist1)):
        if hist1[i] != hist2[i]:
            degree = degree + (1 - abs(hist1[i]-hist2[i])/max(hist1[i],hist2[i]))
        else:
            degree = degree + 1
    degree = degree/len(hist1)
    return degree

# 通過得到每個通道的直方圖來計算相似度
def classify_hist_with_split(image1,image2,size = (256,256)):
    # 將圖像resize後，分離爲三個通道，再計算每個通道的相似值
    image1 = cv2.resize(image1,size)
    image2 = cv2.resize(image2,size)
    sub_image1 = cv2.split(image1)
    sub_image2 = cv2.split(image2)
    sub_data = 0
    for im1,im2 in zip(sub_image1,sub_image2):
        sub_data += calculate(im1,im2)
    sub_data = sub_data/3
    return sub_data

# 平均哈希算法計算
def classify_aHash(image1,image2):
    image1 = cv2.resize(image1,(8,8))
    image2 = cv2.resize(image2,(8,8))
    gray1 = cv2.cvtColor(image1,cv2.COLOR_BGR2GRAY)
    gray2 = cv2.cvtColor(image2,cv2.COLOR_BGR2GRAY)
    hash1 = getHash(gray1)
    hash2 = getHash(gray2)
    return Hamming_distance(hash1,hash2)

def classify_pHash(image1,image2):
    image1 = cv2.resize(image1,(32,32))
    image2 = cv2.resize(image2,(32,32))
    gray1 = cv2.cvtColor(image1,cv2.COLOR_BGR2GRAY)
    gray2 = cv2.cvtColor(image2,cv2.COLOR_BGR2GRAY)
    # 將灰度圖轉爲浮點型，再進行dct變換
    dct1 = cv2.dct(np.float32(gray1))
    dct2 = cv2.dct(np.float32(gray2))
    # 取左上角的8*8，這些代表圖片的最低頻率
    # 這個操作等價於c++中利用opencv實現的掩碼操作
    # 在python中進行掩碼操作，可以直接這樣取出圖像矩陣的某一部分
    dct1_roi = dct1[0:8,0:8]
    dct2_roi = dct2[0:8,0:8]
    hash1 = getHash(dct1_roi)
    hash2 = getHash(dct2_roi)
    return Hamming_distance(hash1,hash2)

# 輸入灰度圖，返回hash
def getHash(image):
    avreage = np.mean(image)
    hash = []
    for i in range(image.shape[0]):
        for j in range(image.shape[1]):
            if image[i,j] > avreage:
                hash.append(1)
            else:
                hash.append(0)
    return hash


# 計算漢明距離
def Hamming_distance(hash1,hash2):
    num = 0
    for index in range(len(hash1)):
        if hash1[index] != hash2[index]:
            num += 1
    return num


if __name__ == '__main__':
    img1 = cv2.imread('10.jpg')
    cv2.imshow('img1',img1)
    img2 = cv2.imread('11.jpg')
    cv2.imshow('img2',img2)
    degree = classify_gray_hist(img1,img2)
    #degree = classify_hist_with_split(img1,img2)
    #degree = classify_aHash(img1,img2)
    #degree = classify_pHash(img1,img2)
    print degree
    cv2.waitKey(0)