獨家 | 無人駕駛項目實戰: 使用OpenCV進行實時車道檢測

作者:PRATEEK JOSHI

翻譯:張若楠

校對:吳金笛

本文長度爲2600字,建議閱讀10分鐘

本文爲一個從圖像預處理角度入手的無人駕駛車道識別實戰項目。

作者序

大約十年前,我瞥見了第一輛自動駕駛汽車,當時Google仍在對初代無人車進行測試,而我立刻被這個想法吸引了。誠然,在將這些概念開源給社區之前,我必須等待一段時間,但是這些等待是值得的。

我最近嘗試了一些與計算機視覺有關的自動駕駛理念,其中包括車道檢測。設想一下,在設計任何自動駕駛汽車時,車道檢測都是一個非常核心的技術。我們將基於這段視頻搭建車道檢測系統:https://youtu.be/sYhZbhT-Smw。很酷對吧?我將使用OpenCV庫,通過計算機視覺,引導你進入車道檢測和自動駕駛這一領域。當然,在本教程中我們還將講解Python代碼。

對於任何深度學習或計算機視覺新手,請注意--如果你要入門,請查看以下課程及產品。這些資源可以很好的助力你開始計算機視覺之旅:

  • 深度學習基礎

https://courses.analyticsvidhya.com/courses/fundamentals-of-deep-learning

  • 使用深度學習的計算機視覺

https://courses.analyticsvidhya.com/courses/computer-vision-using-deep-learning-version2


目錄

1. 瞭解車道檢測的概念

2. 問題陳述

3. 什麼是幀蒙版(Frame Mask)?

4. 用於車道檢測的圖像預處理

5. 在Python中使用OpenCV進行車道檢測實戰

 

車道檢測的概念

 

那麼什麼是車道檢測?維基百科是這樣定義車道的:“車道是道路(行車道)的一部分,專門用於單行車輛,以控制和引導駕駛員並減少交通衝突。”

 

Figure 1:https://en.wikipedia.org/wiki/Lane

對此進行正式定義很重要,因爲它使我們能夠在項目中使用固定的車道定義,這樣在構建系統時我們不會產生任何歧義。

如我之前提到的,車道檢測是自動駕駛的重要組成部分。它是推動場景理解的最重要的研究主題之一。一旦獲得車道位置,車輛將知道要去哪裏,並避免駛入其他車道或離開道路的風險。這可以防止駕駛員/駕駛系統偏離行車軌道。

以下是一些隨機道路圖像(第一行)及其檢測到的車道(第二行):

 

Figure 2 https://github.com/qinnzou/Robust-Lane-Detection

 

問題陳述

我們希望執行的任務是視頻中的實時車道檢測。我們可以通過多種方式做車道檢測。可以使用樣本訓練的方法,例如在帶有標註的視頻數據集上訓練深度學習模型,或者使用預先訓練好的模型。

但是,也有更簡單的方法來執行車道檢測。在本文中,我將向你展示如何在不使用任何深度學習模型的情況下做到這一點。我們將在Python中用到廣受歡迎的OpenCV庫。

以下是我們將要處理的視頻中的一幀:

 

如圖片中所示,我們有四條用白色車道標記隔開的車道。因此要檢測一條車道,我們必須檢測到該車道兩側的白色標記。這就引出了關鍵問題 -- 我們如何檢測車道標記線?

除了車道線外,場景中還有很多其他對象。道路上有車輛,路旁的障礙物,路燈等。在視頻中,每一幀的場景都在變化。這很好地反映了現實生活中的駕駛情況。因此,在解決車道檢測問題之前,我們必須找到一種方法來忽略駕駛場景中的無關物體。我們可以直接上手的一件事就是縮小關注範圍。相較於使用整個幀,我們只使用畫面中的一部分。在下圖中,除車道標記外,其他所有內容都隱藏在該幀中。隨着車輛的移動,車道標記只會在該區域出現得更多或更少。

 

在下一節,我將向你展示如何編輯視頻的邊框以選擇特定區域。此外你還將瞭解一些必要的圖像預處理操作。

 

什麼是蒙版(Frame Mask)?

 

在這裏,蒙版不過是一個NumPy數組。當我們想對圖像應用遮罩時,我們只需將圖像中所需區域的像素值更改爲0或255,或任何其他數字。下面給出的是圖像遮罩的示例。圖像中某個區域的像素值已設置爲0:

 

這是一種非常簡單但有效的方法,可以從圖像中刪除不需要的區域和對象。

 

車道檢測的圖像預處理

我們將首先對輸入視頻中的所有幀應用蒙版。然後,我們將應用圖像閾值處理,然後進行霍夫線變換來檢測車道標記。

圖像閾值處理

在該方法中,我們基於一個閾值,將灰度圖像的像素值分配爲黑色或者白色。如果像素的值大於閾值,則爲其分配一個值(黑色或白色),否則爲另一個顏色。

 

如你在上方所見,在對蒙版圖像應用閾值設置後,我們在輸出的圖像中只留下了車道標記。現在,我們可以藉助霍夫線變換輕鬆地檢測到這些標記。

 

霍夫線變換

霍夫變換是一種檢測可以數學表示的形狀的技術。

例如,它可以檢測矩形,圓形,三角形或直線等形狀。而我們關注的對象是可以表示爲線的車道標記。我非常建議你查閱霍夫變換的資料:

https://opencvpythontutroals.readthedocs.io/en/latest/py_tutorials/py_imgproc/py_houghlines/py_houghlines.html

在執行圖像閾值處理後,在圖像上應用霍夫線變換,我們將得到以下的輸出圖像:

 

我們需要針對所有幀執行此過程,然後將生成的幀拼接到新視頻中。

 

在Python中使用OpenCV實現車道檢測

 

現在該用Python實現這個車道檢測項目了!我建議使用Google Colab,因爲構建車道檢測系統將需要很大計算力。

首先,導入所需的庫:

import os
import re
import cv2
import numpy as np
from tqdm import tqdm_notebook
import matplotlib.pyplot as plt

讀取視頻幀

我已經從該YouTube視頻中採樣了一些視頻幀。您可以從此鏈接下載。

https://drive.google.com/file/d/1e4cc4zFFna3Owyym6aq7ZXoquHA2l95O/view

# get file names of frames
col_frames = os.listdir('frames/')
col_frames.sort(key=lambda f: int(re.sub('\D', '', f)))


# load frames
col_images=[]

讓我們繪製其中一幀:

 

# specify frame index
idx = 457


# plot frame
plt.figure(figsize=(10,10))
plt.imshow(col_images[idx][:,:,0], cmap= "gray")

 

創建幀蒙版

我們感興趣的區域是多邊形。我們要掩蓋除此區域以外的所有內容。因此,我們首先必須指定多邊形的座標,然後使用它來準備蒙版:

# create a zero array
stencil = np.zeros_like(col_images[idx][:,:,0])


# specify coordinates of the polygon
polygon = np.array([[50,270], [220,160], [360,160], [480,270]])


# fill polygon with ones
cv2.fillConvexPoly(stencil, polygon, 1)


# plot polygon
plt.figure(figsize=(10,10))
plt.imshow(stencil, cmap= "gray")
plt.show()

# apply polygon as a mask on the frame
img = cv2.bitwise_and(col_images[idx][:,:,0], col_images[idx][:,:,0], mask=stencil)


# plot masked frame
plt.figure(figsize=(10,10))
plt.imshow(img, cmap= "gray")
plt.show()

 

圖像預處理

我們必須對視頻幀執行幾個圖像預處理操作,以檢測所需的車道。預處理操作爲:

1. 圖像閾值處理

2. 霍夫線變換

1.圖像閾值處理

# apply image thresholding
ret, thresh = cv2.threshold(img, 130, 145, cv2.THRESH_BINARY)


# plot image
plt.figure(figsize=(10,10))
plt.imshow(thresh, cmap= "gray")
plt.show()

 

2. 霍夫線變換

 

lines = cv2.HoughLinesP(thresh, 1, np.pi/180, 30, maxLineGap=200)


# create a copy of the original frame
dmy = col_images[idx][:,:,0].copy()


# draw Hough lines
for line in lines:
  x1, y1, x2, y2 = line[0]
  cv2.line(dmy, (x1, y1), (x2, y2), (255, 0, 0), 3)


# plot frame
plt.figure(figsize=(10,10))
plt.imshow(dmy, cmap= "gray")
plt.show()

現在,我們將所有這些操作應用於每個幀。我們還將結果幀保存在新目錄中:

cnt = 0


for img in tqdm_notebook(col_images):


  # apply frame mask
  masked = cv2.bitwise_and(img[:,:,0], img[:,:,0], mask=stencil)


  # apply image thresholding
  ret, thresh = cv2.threshold(masked, 130, 145, cv2.THRESH_BINARY)


  # apply Hough Line Transformation
  lines = cv2.HoughLinesP(thresh, 1, np.pi/180, 30, maxLineGap=200)
  dmy = img.copy()


  # Plot detected lines
  try:
    for line in lines:
      x1, y1, x2, y2 = line[0]
      cv2.line(dmy, (x1, y1), (x2, y2), (255, 0, 0), 3)


    cv2.imwrite('detected/'+str(cnt)+'.png',dmy)


  except TypeError: 
    cv2.imwrite('detected/'+str(cnt)+'.png',img)


  cnt+= 1

視頻預處理

# input frames path
pathIn= 'detected/'


# output path to save the video
pathOut = 'roads_v2.mp4'


# specify frames per second
fps = 30.0


from os.path import isfile, join


# get file names of the frames
files = [f for f in os.listdir(pathIn) if isfile(join(pathIn, f))]
files.sort(key=lambda f: int(re.sub('\D', '', f)))

接下來,我們將所有包含檢測到的車道的幀放入列表中:

frame_list = []


for i in tqdm_notebook(range(len(files))):
    filename=pathIn + files[i]
    #reading each files
    img = cv2.imread(filename)
    height, width, layers = img.shape
    size = (width,height)


    #inserting the frames into an image array
    frame_list.append(img)

最後,我們現在可以使用以下代碼將幀組合成視頻:

# write the video
out = cv2.VideoWriter(pathOut,cv2.VideoWriter_fourcc(*'DIVX'), fps, size)


for i in range(len(frame_array)):
    # writing to a image array
    out.write(frame_array[i])


out.release()

搞定!這就是你的Python車道檢測系統。

總結

在本教程中,我們介紹了一種簡單的車道檢測技術。我們沒有使用任何模型或複雜的圖像功能。相反,我們的解決方案僅基於某些圖像預處理操作。

但是,在許多情況下,此解決方案將不起作用。例如,當沒有車道標記或道路上的交通過多時,該系統將發生故障。在車道檢測中有更復雜的方法可以克服此類問題。如果你對自動駕駛汽車的概念感興趣,我希望你繼續探索這個話題。

原文標題:

Hands-On Tutorial on Real-Time Lane Detection using OpenCV (Self-Driving Car Project!)

原文鏈接:

https://www.analyticsvidhya.com/blog/2020/05/tutorial-real-time-lane-detection-opencv/

編輯:於騰凱

校對:呂豔芹

譯者簡介

張若楠,UIUC統計研究生畢業,南加州傳媒行業data scientist。曾實習於國內外商業銀行,互聯網,零售行業以及食品公司,喜歡接觸不同領域的數據分析與應用案例,對數據科學產品研發有很大熱情。

翻譯組招募信息

工作內容:需要一顆細緻的心,將選取好的外文文章翻譯成流暢的中文。如果你是數據科學/統計學/計算機類的留學生,或在海外從事相關工作,或對自己外語水平有信心的朋友歡迎加入翻譯小組。

你能得到:定期的翻譯培訓提高志願者的翻譯水平,提高對於數據科學前沿的認知,海外的朋友可以和國內技術應用發展保持聯繫,THU數據派產學研的背景爲志願者帶來好的發展機遇。

其他福利:來自於名企的數據科學工作者,北大清華以及海外等名校學生他們都將成爲你在翻譯小組的夥伴。

點擊文末“閱讀原文”加入數據派團隊~

轉載須知

如需轉載,請在開篇顯著位置註明作者和出處(轉自:數據派ID:DatapiTHU),並在文章結尾放置數據派醒目二維碼。有原創標識文章,請發送【文章名稱-待授權公衆號名稱及ID】至聯繫郵箱,申請白名單授權並按要求編輯。

發佈後請將鏈接反饋至聯繫郵箱(見下方)。未經許可的轉載以及改編者,我們將依法追究其法律責任。

點擊“閱讀原文”擁抱組織

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章