最近在做一个车牌识别的小项目，之前也没这方面的经验，我大概也就是按照一般步骤：1). 车牌检测;2).车牌校正;3).车牌文字识别这么个三步走的策略来弄。在现实场景中，检测出来的车牌通常都不是那么正规正矩，带有一定的倾斜角度。因此在识别之前要进行车牌矫正，矫正的结果直接影响车牌识别的效果。这篇文章是我在看了 开源项目HyperLPR(基于深度学习高性能中文车牌识别)中关于车牌矫正部分的代码后的一个记录。
例如下面这张汽车尾部图，因为车子带有一定的倾角，在用矩形框检出车牌时会包含一部分汽车尾部背景图案。严格意义上说，我们只需要关注车牌文字部分的图像，但这需要借用一定的技术对图片进行精修、矫正。精修的意思是尽可能地去除干扰信息，矫正是指将图片摆正。
step1:扩充
首先，作者对检出的车牌框按下面的公式进行扩充。这里面的参数还是比较考究，我粗略地调了调其它参数，没有默认参数来得好。车牌框的标注格式为(x,y,w,h)，其中(x,y)为左上角点座标，w、h 分别为其宽和高。
x -= w * 0.14
w += w * 0.28
y -= h * 0.6
h += h * 1.1
step2:二值化
扩展后的车牌图像作者会进行一个二值化操作。图像的二值化操作就是将图像上的像素点的灰度值设置为0或255，这样将使整个图像呈现出明显的黑白效果，从而能凸现出目标的轮廓。在后面将进一步说明车牌图像中轮廓的重要意义。二值化的方式有多种，如全局二值化，局部二值化，局部自适应二值化。在访项目中作者使用的是局部自适应二值化，相比全局以及局部二值化，它对于细节表现更加明显。这在下面这张对比图中可以明显地看出来，最右边的即是局部自适应二值化。
OpenCV 中提供了自适应二值化接口 adaptiveThreshold()。
原型：
cv2.adaptiveThreshold(src, x, adaptive_method, threshold_type, block_size, param1)
参数：
第一个参数 src 指原图像，原图像应该是灰度图。
第二个参数 x 指当像素值高于（有时是小于）阈值时应该被赋予的新的像素值
第三个参数 adaptive_method 指CV_ADAPTIVE_THRESH_MEAN_C或 CV_ADAPTIVE_THRESH_GAUSSIAN_C
第四个参数 threshold_type 指取阈值类型：必须是下者之一 • CV_THRESH_BINARY,二值化
• CV_THRESH_BINARY_INV,反二值化
第五个参数 block_size 指用来计算阈值的象素邻域大小: 3, 5, 7, ...
第六个参数 param1 指与方法有关的参数。对方法CV_ADAPTIVE_THRESH_MEAN_C 和 CV_ADAPTIVE_THRESH_GAUSSIAN_C， 它是一个从均值或加权均值提取的常数, 尽管它可以是负数。自适应阈值： 对方法CV_ADAPTIVE_THRESH_MEAN_C，先求出块中的均值，再减掉param1。对方法 CV_ADAPTIVE_THRESH_GAUSSIAN_C ，先求出块中的加权和(gaussian)， 再减掉param1。
扩展的车牌图像二值化后的效果如下图：
step3:轮廓
二值化并不是目的，二值化的目的是凸显出轮廓。在二值化后的车牌图像上通过调用opencv 的 findContours 接口来查找检测物体的轮廓。
原型:
cv2.findContours(image, mode, method[, contours[, hierarchy[, offset ]]])
参数:
第一个参数是输入图像
第二个参数表示轮廓的检索模式,有4种:
cv2.RETR_EXTERNAL表示只检测外轮廓
cv2.RETR_LIST检测的轮廓不建立等级关系
cv2.RETR_CCOMP建立两个等级的轮廓，上面的一层为外边界，里面的一层为内孔的边界信息。如果内孔内还有一个连通物体，这个物体的边界也在顶层。
cv2.RETR_TREE建立一个等级树结构的轮廓。
第三个参数method为轮廓的近似办法:
cv2.CHAIN_APPROX_NONE存储所有的轮廓点，相邻的两个点的像素位置差不超过1，即max（abs（x1-x2），abs（y2-y1））==1
cv2.CHAIN_APPROX_SIMPLE压缩水平方向，垂直方向，对角线方向的元素，只保留该方向的终点座标，例如一个矩形轮廓只需4个点来保存轮廓信息
cv2.CHAIN_APPROX_TC89_L1，CV_CHAIN_APPROX_TC89_KCOS使用teh-Chinl chain近似算法
因为我们关注的是文字部分的轮廓，所以对cv2.findContours检出的轮廓矩形框会进行过滤，剩余的轮廓矩形框才能为我所用。
step4:上下边界拟合
借助于轮廓矩形框，通过调用 cv2.fitLine 函数可以拟合出上下两条边界线。
step5: 校正
确定了图像的上下边界，一步对图像进行校正，这一步由仿射变换来实现。
注意到图片是校正了，但是左右边界还夹杂太多的背景信息，所以还要对左右边界进行一次回归。
step6: 左右边界回归
这一步作者直接使用了一个训练好的模型来回归出左右边界。
至此，车牌图像的矫正就算是完成了，效果还是可以接受的。
部分源代码(我加了点注释)
def findContoursAndDrawBoundingBox(image_rgb):
line_upper = [];
line_lower = [];
line_experiment = []
grouped_rects = []
gray_image = cv2.cvtColor(image_rgb,cv2.COLOR_BGR2GRAY)
# for k in np.linspace(-1.5, -0.2,10):
for k in np.linspace(-50, 0, 15):
# thresh_niblack = threshold_niblack(gray_image, window_size=21, k=k)
# binary_niblack = gray_image > thresh_niblack
# binary_niblack = binary_niblack.astype(np.uint8) * 255
# 当一幅图像上的不同部分具有不同亮度时,我们需要采用自适应阈值.此时的阈值是根据图像上的每一个小区域计算与其
# 对应的阈值.因此,在同一幅图像上的不同区域采用的是不同的阈值,从而使我们能在亮度不同的情况下得到更好的结果.
"""
Args:
- src, 原图像,应该是灰度图
- x, 指当像素值高于(有时是低于)阈值时应该被赋予新的像素值, 255是白色
- adaptive_method, CV_ADAPTIVE_THRESH_MEAN_C 或 CV_ADAPTIVE_THRESH_GAUSSIAN_C
- threshold_type: 指取阈值类型
. CV_THRESH_BINARY, 二进制阈值化
. CV_THRESH_BINARY_INV, 反二进制阈值化
- block_size: 用来计算阈值的像素邻域大小(块大小):3,5,7,...
- param1: 指与方法有关的参数.对方法CV_ADAPTIVE_THRESH_MEAN_C和CV_ADAPTIVE_THRESH_GAUSSIAN_C,它是一个从均值或加权均值提取的常数,尽管它可以是负数。
. 对方法 CV_ADAPTIVE_THRESH_MEAN_C，先求出块中的均值，再减掉param1。
. 对方法 CV_ADAPTIVE_THRESH_GAUSSIAN_C ，先求出块中的加权和(gaussian)， 再减掉param1。
"""
binary_niblack = cv2.adaptiveThreshold(gray_image,255,cv2.ADAPTIVE_THRESH_MEAN_C,cv2.THRESH_BINARY,17,k) #邻域大小17是不是太大了??
#cv2.imshow("image1",binary_niblack)
#cv2.waitKey(0)
#imagex, contours, hierarchy = cv2.findContours(binary_niblack.copy(),cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)
contours, hierarchy = cv2.findContours(binary_niblack.copy(),cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE) # modified by bigz
for contour in contours:
#用一个最小的矩形,把找到的形状包起来
bdbox = cv2.boundingRect(contour)
if (bdbox[3]/float(bdbox[2])>0.7 and bdbox[3]*bdbox[2]>100 and bdbox[3]*bdbox[2]<1200) or (bdbox[3]/float(bdbox[2])>3 and bdbox[3]*bdbox[2]<100):
# cv2.rectangle(rgb,(bdbox[0],bdbox[1]),(bdbox[0]+bdbox[2],bdbox[1]+bdbox[3]),(255,0,0),1)
line_upper.append([bdbox[0],bdbox[1]])
line_lower.append([bdbox[0]+bdbox[2],bdbox[1]+bdbox[3]])
line_experiment.append([bdbox[0],bdbox[1]])
line_experiment.append([bdbox[0]+bdbox[2],bdbox[1]+bdbox[3]])
# grouped_rects.append(bdbox)
"""
想为图像周围建一个边使用访函数,这经常在卷积运算或0填充时被用到
Args:
- src: 输入图像
- top,bottom,left,right 对应边界的像素数目
- borderType: 要添加哪种类型的边界
- BORDER_CONSTANT #边缘填充用固定像素值,比如填充黑边,就用0,白边255
- BORDER_REPLICATE #用原始图像相应的边缘的像素去做填充,看起来有一种把图像边缘"拉糊了"的效果
"""
rgb = cv2.copyMakeBorder(image_rgb,30,30,0,0,cv2.BORDER_REPLICATE)
leftyA, rightyA = fitLine_ransac(np.array(line_lower),3)
rows,cols = rgb.shape[:2]
# rgb = cv2.line(rgb, (cols - 1, rightyA), (0, leftyA), (0, 0, 255), 1,cv2.LINE_AA)
leftyB, rightyB = fitLine_ransac(np.array(line_upper),-3)
rows,cols = rgb.shape[:2]
# rgb = cv2.line(rgb, (cols - 1, rightyB), (0, leftyB), (0,255, 0), 1,cv2.LINE_AA)
pts_map1 = np.float32([[cols - 1, rightyA], [0, leftyA],[cols - 1, rightyB], [0, leftyB]])
pts_map2 = np.float32([[136,36],[0,36],[136,0],[0,0]])
mat = cv2.getPerspectiveTransform(pts_map1,pts_map2)
image = cv2.warpPerspective(rgb,mat,(136,36),flags=cv2.INTER_CUBIC)
#校正角度
#cv2.imshow("校正前",image)
#cv2.waitKey(0)
image,M = deskew.fastDeskew(image)
#cv2.imshow("校正后",image)
#cv2.waitKey(0)
return image