雙目立體匹配算法--歸一化互相關（NCC）詳解和代碼實現（python）

原理：

• 對於原始的圖像內任意一個像素點$(p_x,p_y)$構建一個$n\times n$的鄰域作爲匹配窗口。然後對於目標相素位置$(p_x+d, p_y)$同樣構建一個$n\times n$大小的匹配窗口，對兩個窗口進行相似度度量，注意這裏的$d$有一個取值範圍。對於兩幅圖像來說，在進行$NCC$計算之前要對圖像處理，也就是將兩幀圖像校正到水平位置，即光心處於同一水平線上，此時極線是水平的，否則匹配過程只能在傾斜的極線方向上完成，這將消耗更多的計算資源。
• $NCC$計算公式如下圖所示：
  
  其中$NCC(p,d)$得到的值得範圍將在$[-1,1]之間$。
  $W_p$爲之前提到的匹配窗口。
  $I_1(x,y)$爲原始圖像的像素值。
  $\overline{I_1}(p_x,p_y)$爲原始窗口內像素的均值。
  $I_2(x+d,y)$爲原始圖像在目標圖像上對應點位置在$x$方向上偏移$d$後的像素值。
  $\overline{I_2}(p_x+d, p_y)$爲目標圖像匹配窗口像素均值。
• 若$NCC = -1$，則表示兩個匹配窗口完全不相關，相反，若$NCC = 1$時，表示兩個匹配窗口相關程度非常高。

匹配流程

• 採集圖像：通過標定好的雙目相機採集圖像，當然也可以用兩個單目相機來組合成雙目相機。
• 極線校正：校正的目的是使兩幀圖像極線處於水平方向，或者說是使兩幀圖像的光心處於同一水平線上。通過校正極線可以方便後續的$NCC$操作。
  • 由標定得到的內參中畸變信息中可以對圖像去除畸變。
  • 通過校正函數校正以後得到相機的矯正變換R和新的投影矩陣P，接下來是要對左右視圖進行去畸變，並得到重映射矩陣。
• 特徵匹配：這裏便是我們利用$NCC$做匹配的步驟啦，匹配方法如上所述，右視圖中與左視圖待測像素同一水平線上相關性最高的即爲最優匹配。完成匹配後，我們需要記錄其視差d，即待測像素水平方向xl與匹配像素水平方向xr之間的差值$d = x_r - x_l$，最終我們可以得到一個與原始圖像尺寸相同的視差圖$D$。
• 深度恢復：通過上述匹配結果得到的視差圖$D$，我們可以很簡單的利用相似三角形反推出以左視圖爲參考系的深度圖。計算原理如下圖所示：

如圖，$Tx$爲雙目相機基線，$f$爲相機焦距，這些可以通過相機標定步驟得到。而$xr - xl$就是視差$d$。

通過公式$z =$${f \times Tx }\over d$可以很簡單地得到以左視圖爲參考系的深度圖了。

至此，我們便完成了雙目立體匹配。倘若只是用於圖像識別，那麼到步驟3時已經可以結束了。

代碼實現：

• 本次使用的圖片爲：
  • 左圖：
    
  • 右圖：
    
• 圖片下載網址爲：http://vision.middlebury.edu/stereo/data/scenes2003/ 已經經過矯正。
• 版本1（運行較慢）

import numpy as np
import cv2
import math

im1 = 'im2.ppm'
im2 = 'im6.ppm'
img1 = cv2.imread(im1, cv2.CV_8UC1)
img2 = cv2.imread(im2, cv2.CV_8UC1)
rows, cols = img1.shape
print(img1.shape)
#用3*3卷積核做均值濾波

def NCC(img1,img2,avg_img1,avg_img2,disparity,NCC_value,deeps, threshold,max_d, min_rows, max_rows):
    #設立閾值
    ncc_value = threshold
    if min_rows == 0:
        min_rows += 1
    for i in range(3, max_rows - 3):
        for j in range(3, cols-3):
            if j < cols - max_d-3:
                max_d1 = max_d
            else:
                max_d1 = cols - j - 3
            for d in range(4, max_d1):#減一防止越界
                ncc1 = 0
                ncc2 = 0
                ncc3 = 0
                for m in range(i-3, i+4):
                    for n in range(j-3, j+4):
                        ncc1 += (img2[m, n] - avg_img2[i, j])*(img1[m, n+d]-avg_img1[i, j+d])
                        ncc2 += (img2[m, n] - avg_img2[i, j])*(img2[m, n] - avg_img2[i, j])
                        ncc3 += (img1[m, n+d]-avg_img1[i, j+d])*(img1[m, n+d]-avg_img1[i, j+d])
                ncc_b = math.sqrt(ncc2*ncc3)
                ncc_p_d = 0
                if ncc_b != 0:
                    ncc_p_d = ncc1/(ncc_b)
                if ncc_p_d > ncc_value:
                    ncc_value = ncc_p_d
                    disparity[i, j] = d
                    NCC_value[i ,j] = ncc_p_d
            ncc_value = threshold
        print("iter{0}".format(i))

if __name__ == "__main__":

    disparity = np.zeros([rows, cols])
    NCC_value = np.zeros([rows, cols])
    deeps = np.zeros([rows, cols])
    # 用3*3卷積核做均值濾波
    avg_img1 = cv2.blur(img1, (7, 7))
    avg_img2 = cv2.blur(img2, (7, 7))
    img1 = img1.astype(np.float32)
    img2 = img2.astype(np.float32)
    avg_img1 = avg_img1.astype(np.float32)
    NCC(img1,img2,avg_img1,avg_img2, disparity, NCC_value,deeps, 0.6,64,0,150)
    disp = cv2.normalize(disparity, disparity, alpha=0, beta=255, norm_type=cv2.NORM_MINMAX,
                          dtype=cv2.CV_8U)
    cv2.imshow("depth", disp)
    cv2.waitKey(0)  # 等待按鍵按下
    cv2.destroyAllWindows()#清除所有窗口
    print(NCC_value)

• 運行結果：
  
• 版本2：（運行快）
  • 已上傳至我的$Github$：sunrise666

參考博客：

雙目立體匹配——歸一化互相關（NCC）