信用卡數字識別OpenCV實現（含代碼）【DataWhale項目】

參考課程：Opencv計算機視覺實戰(Python版)

基本材料準備

一張僅含數字的圖像作爲模板。
一張銀行卡的圖像作爲檢測樣本。

代碼編寫或者閱讀的習慣

常打斷點
勤展示數組的shape等，以及數組的圖像。

思路介紹

模板圖像的處理

模板圖像是一張背景色爲255的白色且字體爲黑色0 但是仍舊是三層通道的BGR彩色圖像
由於圖像識別等科學操作，使用彩色圖沒有一個比較好的效果，而二維的灰度圖效果卻很不錯，因此在讀入三維的彩色圖像之後，需要轉化爲灰度圖。
因爲做輪廓檢測之間需要二值圖像，因此需要將灰度圖再轉化爲二值圖像
這裏的二值圖像轉換過程強調一點：二值圖像不僅僅只有0和255兩種值的情況。原因在於二值圖像的實現是藉助threshhold方法實現的，而這個方法需要自行指定閾值。所以最後的二值圖像是隻有0和255還是隻有0和閾值等情況
取決於你的method參數。
得到二值圖像就可以調用findContours方法尋找輪廓，且給返回一個Contours對象。此時注意，findContours方法的參數的格式必須是：二值圖像深度複製的副本、mode輪廓檢測模式一般選擇RETR_EXTERNAL，而method表示輪廓逼近方法：一般選擇CHAIN_APPROX_SIMPLE（只保留各個輪廓的部分頂點或者轉折點，足夠用來描繪出輪廓！）
爲了展示輪廓檢測的效果，可以將contours對象作爲參數，傳入drawContours方法中。
我們希望在用模板識別信用卡數字時，能夠按照0-9的順序排列，所以需要對Countours對象中的10個輪廓list對象，進行排序。這裏是自行寫了一個方法。
排序的思想是：通過boundingRect方法獲取到包含了每個輪廓的矩形的左上座標，因爲模板圖像本身是按照從小到大的順序排列，因此，通過比較個輪廓矩形的左上座標的橫座標即可得到個輪廓的排序的列表refCnts。
通過定義一個digits字典來通過對refCnts列表的for循環來將數字0123456789與refCnts中的邊框在ref圖像中的像素點區域（相當於截取了該數字在模板上對應的數字模板）一一對應。

被識別圖像的處理

因爲被識別圖像的內容比較豐富，此時如果機械地重複模板圖像的處理流程（轉化爲灰度圖、二值圖像、輪廓檢測）則會產生大量的問題。因此結合這個被識別的圖像的具體情況，我們也可以針對性的提出一些附加的預處理操作和形態學處理操作。
形態學的處理操作其實是基於灰度圖的因此事先需要先進行這方面的操作。
形態學的頂帽操作（原始輸入–開運算的結果（先腐蝕再膨脹，以突出主體區域）以突出細節區域），另做頂帽操作的卷積核的大小設定，是考慮到自己想要識別的區域的長寬，比如“5412”這四個字的整體區域，因此選擇了一個9*3的卷積核。
其中，膨脹操作會使得像素點值大的得到膨脹，侵蝕像素值小的區域（比如：白色侵蝕黑色）
腐蝕操作會使得像素點值小的顏色侵蝕像素點值大的區域（比如黑色侵蝕白色），此時也可以看出所謂侵蝕還是膨脹操作是以"像素點值大的區域"爲中心進行稱謂命名的。（像素值大的區域膨脹、像素值大的區域被侵蝕）

#讀取輸入圖像，預處理
image = cv2.imread("./images/credit_card_03.png")
cv_show('image',image)
image = myutils.resize(image, width=300)
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
cv_show('gray',gray)
## 查看腐蝕的結果
erosion_1 = cv2.erode(gray,rectKernel,iterations = 1)
cv_show('erosion_1', erosion_1)
## 查看膨脹的結果
dilate_1 = cv2.dilate(gray,rectKernel,iterations = 1)
cv_show('dilate_1', dilate_1)
## 查看開運算的結果
opening = cv2.morphologyEx(gray, cv2.MORPH_OPEN, rectKernel)
cv_show('opening', opening)
#禮帽操作，突出更明亮的區域
tophat = cv2.morphologyEx(gray, cv2.MORPH_TOPHAT, rectKernel) 
cv_show('tophat',tophat)

灰度圖：

腐蝕操作之後：像素點值大的被腐蝕

膨脹操作：

開運算操作：

頂帽操作：

綜合來看：
4. 通過sobel算子對輸入圖像進行處理，得到輸入圖像的邊緣特徵（注意，邊緣特徵雜而亂，不等於輪廓特徵的規整。）
而邊緣特徵進行檢測時的流程時，對X方向或者Y方向或者XY方向以此進行Soble計算、絕對值操作、歸一化、uint8類型轉變。（這裏選擇的時對X方向進行運算。）

5. 想要實現一種行爲：將數字構成的四個組塊提取出來，爲此用到閉操作（先膨脹後腐蝕）使得數字連在一起。

6. 灰度圖的形態學處理完成後，還需要做二值化處理。這裏的threashhold方法要採取系統自動指定閾值的方式來進行二值化操作處理。

7. 爲了使得分組的圖像中的空洞位置同樣被白色填充，我們可以再進行一步閉操作。這樣做的好處提升外輪廓定位的準確率

8. 調用findContours方法以及顯示所有的輪廓。

9. 因爲找到的所有輪廓中包含大量不規則且不是我們想要的邊框區域，所以進行過濾操作，而過濾操作的實現思路是，人爲地指定四組數字所有的區域的範圍的座標，使得Contours對象中的各個輪廓的座標不處於這個範圍之內的輪廓被排除掉。處理後，依舊進行排序操作。（此時的排序操作，不需要根據邊框的左上點的橫座標來排序）。
10.爲了使得每一組邊框中的圖像一一與0-9的數字進行模板匹配，需要再將每一組輪廓中的四個數字再次細分爲四個數字，而這一步就類似於模板圖像提取每個數據模板的過程（灰度圖的基礎上二值化處理、輪廓檢測、排序、根據每一個輪廓截取二值圖像中的相應輪廓的位置）。

10. 截至到目前，我們已經獲得模板圖像中截取出來的10個數字模板。同時也從銀行卡中截取到的16個數字且這26個圖像的大小經過resize都搞成了一樣的shape。此時就可以做模板匹配了。思想即是，對於每一個要驗證的數字，使用10個數字模板一一遍歷匹配，並計算ROI得分，選擇最大值的數字。
11. 當上一步操作結束，即可將加過呈現在原來的圖片上。

代碼實現

主程序

# 導入工具包
from imutils import contours
import numpy as np
import argparse
import cv2
import myutils

# 設置參數
# ap = argparse.ArgumentParser()
# ap.add_argument("-i", "--image", required=True,
# 	help="path to input image")
# ap.add_argument("-t", "--template", required=True,
# 	help="path to template OCR-A image")
# args = vars(ap.parse_args())

# 指定信用卡類型
FIRST_NUMBER = {
	"3": "American Express",
	"4": "Visa",
	"5": "MasterCard",
	"6": "Discover Card"
}
# 繪圖展示
def cv_show(name,img):
	cv2.imshow(name, img)
	cv2.waitKey(0)
	cv2.destroyAllWindows()
# 讀取一個模板圖像
# img = cv2.imread(args["template"])
img = cv2.imread("ocr_a_reference.png")
cv_show('img',img)
# 灰度圖
ref = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
cv_show('ref',ref)
# 二值圖像
ref = cv2.threshold(ref, 10, 255, cv2.THRESH_BINARY_INV)[1]
cv_show('ref',ref)

# 計算輪廓
#cv2.findContours()函數接受的參數爲二值圖，即黑白的（不是灰度圖）,cv2.RETR_EXTERNAL只檢測外輪廓，cv2.CHAIN_APPROX_SIMPLE只保留終點座標
#返回的list中每個元素都是圖像中的一個輪廓

ref_, refCnts, hierarchy = cv2.findContours(ref.copy(), cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)

cv2.drawContours(img,refCnts,-1,(0,0,255),3) 
cv_show('img',img)
print (np.array(refCnts).shape)
refCnts = myutils.sort_contours(refCnts, method="left-to-right")[0] #排序，從左到右，從上到下
digits = {}

# 遍歷每一個輪廓
for (i, c) in enumerate(refCnts):
	# 計算外接矩形並且resize成合適大小
	(x, y, w, h) = cv2.boundingRect(c)
	roi = ref[y:y + h, x:x + w]
	roi = cv2.resize(roi, (57, 88))

	# 每一個數字對應每一個模板
	digits[i] = roi

# 初始化卷積核
rectKernel = cv2.getStructuringElement(cv2.MORPH_RECT, (9, 3))
sqKernel = cv2.getStructuringElement(cv2.MORPH_RECT, (5, 5))

# ==============================================================================================================================
#讀取輸入圖像，預處理
image = cv2.imread("./images/credit_card_03.png")
cv_show('image',image)
image = myutils.resize(image, width=300)
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
cv_show('gray',gray)

#禮帽操作，突出更明亮的區域
tophat = cv2.morphologyEx(gray, cv2.MORPH_TOPHAT, rectKernel) 
cv_show('tophat',tophat) 
# 
gradX = cv2.Sobel(tophat, ddepth=cv2.CV_32F, dx=1, dy=0, #ksize=-1相當於用3*3的
	ksize=-1)


gradX = np.absolute(gradX)
(minVal, maxVal) = (np.min(gradX), np.max(gradX))
gradX = (255 * ((gradX - minVal) / (maxVal - minVal)))
gradX = gradX.astype("uint8")

print (np.array(gradX).shape)
cv_show('gradX',gradX)

#通過閉操作（先膨脹，再腐蝕）將數字連在一起
gradX = cv2.morphologyEx(gradX, cv2.MORPH_CLOSE, rectKernel) 
cv_show('gradX',gradX)
#THRESH_OTSU會自動尋找合適的閾值，適合雙峯，需把閾值參數設置爲0
thresh = cv2.threshold(gradX, 0, 255,
	cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1] 
cv_show('thresh',thresh)

#再來一個閉操作

thresh = cv2.morphologyEx(thresh, cv2.MORPH_CLOSE, sqKernel) #再來一個閉操作
cv_show('thresh',thresh)

# 計算輪廓

thresh_, threshCnts, hierarchy = cv2.findContours(thresh.copy(), cv2.RETR_EXTERNAL,
	cv2.CHAIN_APPROX_SIMPLE)

cnts = threshCnts
cur_img = image.copy()
cv2.drawContours(cur_img,cnts,-1,(0,0,255),3) 
cv_show('img',cur_img)
locs = []

# 遍歷輪廓
for (i, c) in enumerate(cnts):
	# 計算矩形
	(x, y, w, h) = cv2.boundingRect(c)
	ar = w / float(h)

	# 選擇合適的區域，根據實際任務來，這裏的基本都是四個數字一組
	if ar > 2.5 and ar < 4.0:

		if (w > 40 and w < 55) and (h > 10 and h < 20):
			#符合的留下來
			locs.append((x, y, w, h))

# 將符合的輪廓從左到右排序
locs = sorted(locs, key=lambda x:x[0])
output = []

# 遍歷每一個輪廓中的數字
for (i, (gX, gY, gW, gH)) in enumerate(locs):
	# initialize the list of group digits
	groupOutput = []

	# 根據座標提取每一個組
	group = gray[gY - 5:gY + gH + 5, gX - 5:gX + gW + 5]
	cv_show('group',group)
	# 預處理
	group = cv2.threshold(group, 0, 255,
		cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]
	cv_show('group',group)
	# 計算每一組的輪廓
	group_,digitCnts,hierarchy = cv2.findContours(group.copy(), cv2.RETR_EXTERNAL,
		cv2.CHAIN_APPROX_SIMPLE)
	digitCnts = contours.sort_contours(digitCnts,
		method="left-to-right")[0]

	# 計算每一組中的每一個數值
	for c in digitCnts:
		# 找到當前數值的輪廓，resize成合適的的大小
		(x, y, w, h) = cv2.boundingRect(c)
		roi = group[y:y + h, x:x + w]
		roi = cv2.resize(roi, (57, 88))
		cv_show('roi',roi)

		# 計算匹配得分
		scores = []

		# 在模板中計算每一個得分
		for (digit, digitROI) in digits.items():
			# 模板匹配
			result = cv2.matchTemplate(roi, digitROI,
				cv2.TM_CCOEFF)
			(_, score, _, _) = cv2.minMaxLoc(result)
			scores.append(score)

		# 得到最合適的數字
		groupOutput.append(str(np.argmax(scores)))

	# 畫出來
	cv2.rectangle(image, (gX - 5, gY - 5),
		(gX + gW + 5, gY + gH + 5), (0, 0, 255), 1)
	cv2.putText(image, "".join(groupOutput), (gX, gY - 15),
		cv2.FONT_HERSHEY_SIMPLEX, 0.65, (0, 0, 255), 2)

	# 得到結果
	output.extend(groupOutput)

# 打印結果
print("Credit Card Type: {}".format(FIRST_NUMBER[output[0]]))
print("Credit Card #: {}".format("".join(output)))
cv2.imshow("Image", image)
cv2.waitKey(0)

其中 myutils.py

import cv2

def sort_contours(cnts, method="left-to-right"):
    reverse = False
    i = 0

    if method == "right-to-left" or method == "bottom-to-top":
        reverse = True

    if method == "top-to-bottom" or method == "bottom-to-top":
        i = 1
    boundingBoxes = [cv2.boundingRect(c) for c in cnts] #用一個最小的矩形，把找到的形狀包起來x,y,h,w
    (cnts, boundingBoxes) = zip(*sorted(zip(cnts, boundingBoxes),
                                        key=lambda b: b[1][i], reverse=reverse))

    return cnts, boundingBoxes
def resize(image, width=None, height=None, inter=cv2.INTER_AREA):
    dim = None
    (h, w) = image.shape[:2]
    if width is None and height is None:
        return image
    if width is None:
        r = height / float(h)
        dim = (int(w * r), height)
    else:
        r = width / float(w)
        dim = (width, int(h * r))
    resized = cv2.resize(image, dim, interpolation=inter)
    return resized

====================== T H E E N D ===========================

信用卡數字識別OpenCV實現（含代碼）【DataWhale項目】

基本材料準備

代碼編寫或者閱讀的習慣

思路介紹

模板圖像的處理

被識別圖像的處理

代碼實現

【面試準備】又一次失敗的面試經歷，題目離譜～資深軟件測試工程師

dotnet 8 版本與銀河麒麟V10和UOS系統的 glibc 兼容性

信用卡數字識別OpenCV實現（含代碼）【DataWhale項目】

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結