交通信號燈檢測與行人過馬路策略
一．概述
在智能交通領域關於交通標誌，車道線，車輛前向碰撞預警，後向碰撞預警，車距檢測等已經有比較廣泛的研究。這些交通相關的計算機視覺方向也是目前自動駕駛汽車正在解決或者已經解決的經典問題。相比於這幾個方向，對於交通燈的檢測的研究相對較少。交通燈的檢測在自動駕駛汽車的安全行駛中至關重要。傳統CV的研究中，更多的是針對比較簡單的高空架空的交通燈的識別。在複雜的城市環境中，交通燈的檢測和識別仍然是一個比較困難的問題。雖然目前藉助於Deep Learning 的技術，交通燈的識別效果有了很大的進步。但是複雜城市環境道路中的交通燈檢測仍然達不到很高的精度。
交通信號燈的檢測與識別是無人駕駛與輔助駕駛必不可少的一部分，其識別精度直接關乎智能駕駛的安全。一般而言，在實際的道路場景中採集的交通信號燈圖像具有複雜的背景，且感興趣的信號燈區域只佔很少的一部分。針對這些難點，國內外的衆多研究者提出了相應的解決方案。總的來說，大多基於傳統的圖像處理方法；但目前也有用強學習能力的卷積神經網絡去進行識別，但這類方法往往需要大量的訓練樣本避免過擬合的風險。截至目前的大多數方法都是在各種顏色空間中利用信號燈顏色的先驗進行分割得到興趣區域，然後再通過信號燈所特有的形狀特徵和角點特徵等進行進一步的判定。
二．信號燈檢測識別技術方案
- 傳統圖像識別方案
1） 顏色分割
爲了消除噪聲，光照等因素的干擾，首先對採集的圖像進行直方圖均衡化。即：對每一個通道(R,G,B)數據進行直方圖均衡化，再合併爲一個3通道圖像。顏色特徵是交通信號燈重要而顯著的特徵之一。要對交通信號燈進行顏色分割，首先要選擇合適的色彩空間。RGB色彩空間中的R、G、B這3個分量之間相關性較高，受光照影響較大，不利於顏色分割。因此，對RGB這3個通道數據進行歸一化，即R=R./(R+G+B),G=G./(R+G+B),B=B./(R+G+B)R=R./(R+G+B),G=G./(R+G+B),B=B./(R+G+B)；然後，統計了不同環境條件下拍攝的交通信號燈的紅色、綠色的R,G,B值，確定交通信號燈的顏色閾值。
2）感興趣區域提取
該步驟的主要目的爲對分割的紅色通道圖像和綠色通道圖像，進行聯通區域的標定，並提取區域的基本幾何特徵，比如長度，寬度，長寬比，面積(即白色像素個數)。
3）信號燈區域判定與識別
該步驟在前一步驟的基礎上根據信號燈的特有特徵過濾出真正的信號燈區域。本技術使用了3個先驗知識：信號燈面積；信號燈形狀；信號燈的黑色邊框。
信號燈面積
本技術設置的上下限是10，200；可根據實際情況進行設定，過濾面積過大或過小區域。
信號燈形狀
形狀特徵是交通信號燈重要而顯著的另一特徵，儘管氣候、道路環境等會對採集的交通信號燈產生不同程度的噪聲、褪色及形變，但是交通信號燈的形狀和幾何尺寸不會發生太大的變化。對於圓形交通信號燈使用圓形度檢測，過濾圓形度過低的區域，其中圓形度是指候選區域邊緣接近圓形的程度
。圓度的定義爲CircleMetric=潛在白色區域面積/外接矩形框面積CircleMetric=潛在白色區域面積/外接矩形框面積，該值如果爲0.785，則爲圓形；設置的閾值爲0.5。
信號燈的黑色邊框
交通信號燈在形狀上有個顯著的特徵，即它的燈板是一個黑色矩形框。根據交通信號燈的設計規範，利用該特徵可以將交通信號燈的範圍提取出來。可採用SVM分類器，進行識別。
a. 首先根據一些訓練圖像建立黑色邊框正樣本，即在工程中用鼠標框住黑色燈框，在該區域內提取顏色直方圖；重複操作，得到正樣本集；同樣的道理，我們在訓練圖像中其它區域提取負樣本集；最後在顏色直方圖的特徵空間中學習出分割超平面。
b. 在識別前加載訓練好的SVM文件，而後在之前檢測出的白色連通區域的上下位置提取一定大小無重疊區域，在該區域內提取顏色直方圖特徵；
c. 根據該顏色直方圖特徵，根據訓練的分割超平面預測其類別；
d. 如果是，則白色區域可進一步判定爲信號燈區域；若不是，則過濾掉該區域。
- 深度學習方案
目前，各路研究者已經開發出了特定的方法來解決這一問題。
1）項目整體設計：
整個項目主要分爲三大部分:Traffic
lights locate; Traffic lights detect; Traffic lights recognize;
Traffic lights locate: 交通燈定位部分主要是對項目所使用的圖片進行預處理等操作，準確找到交通燈區域；
Traffic lights detect: 交通燈檢測部分主要是對定位部分得到的交通燈區域進行精確篩選；
Traffic lights recognize: 交通燈識別部分主要是對檢測到的交通燈進行紅，黃，綠的顏色區分。
2）項目相關數據集：
Bosch Small Traffic Lights
Dataset
三．行人過馬路實驗方案
過馬路是我們走在大街上參與交通路權的重要交通場景之一。車輛駕駛員和行人之前通常使用非語言交流來相互判斷協商人行橫道是否可以通行。隨着沒有人工安全員的自動駕駛汽車上路，無人車很難將車輛的駕駛意圖傳達給十字路口的行人，這可能會使行人和其他道路使用者的安全性降低。
比如福特在研究車輛頂端粘貼燈帶來向行人示意；
捷豹的車輛用投影在地上的字條來示意行人；
還有Drive.ai而直接使用了LED燈帶顯示出車輛下一步的信息來解決行人過馬路的問題。
但是，這些方法都有一些不符合邏輯的地方，除非每輛汽車都以相同的方式進行操作，否則此策略將行不通。例如，除非汽車製造商就前燈應如何傳達某些信息或政府制定規則達成共識，否則不可能確保行人瞭解該信息。對於新技術，例如汽車上的LED留言板，也是如此。在不學習多個系統的情況下，需要有一套行人可以理解的標準消息。
即使車輛以相同的方式進行通信，也有幾輛汽車接近十字路口並做出關於停車的獨立決策可能會造成混亂。想象一下，有三到五輛自動駕駛汽車靠近人行橫道，每一輛都顯示自己的信息。行人在決定是否過馬路之前，需要在行駛的汽車上閱讀所有這些信息。
通過對行人的安全感進行研究，發現行人對紅綠燈的信任超越了對自動駕駛汽車的恐懼。這就說明幫助行人信任並與自動駕駛汽車安全互動的一種方法可能是將汽車的駕駛行爲與交通信號燈聯繫起來。
他們建立了一個虛擬現實模擬器，讓人們體驗街道十字路口並選擇是否要過馬路。在不同的模擬中，自動駕駛汽車或多或少地表現得就像一個激進的駕駛員。在更具侵略性的模式下，汽車將在最後可能的瞬間突然停車，以讓行人過馬路。在較不積極的模式下，它會更早開始制動，並向行人表明它將爲他們停下來。
激進駕駛降低了行人對自動駕駛汽車的信任，使他們不太可能過馬路。但是，只有在沒有交通信號燈的情況下，這纔是正確的。當有燈光時，行人聚焦在交通信號燈上，通常會過馬路，而不管汽車是否在積極行駛。這表明行人對交通信號燈的信任超過了對自動駕駛汽車行爲的擔憂。
該團隊最終研究出了更好的方法，是使汽車與交通信號燈直接通信，行人已經着眼於瞭解當前的交通信號燈。通過在無線網絡中進行接入，汽車可以比通過等待相機看到的交通燈更早地知道交通燈在做什麼。
這項技術仍在開發中，研究諸如如何在汽車和信號之間發送消息和確定消息優先級的問題。它可以有效地將無人駕駛汽車置於交通信號燈的控制之下，並具有適應當前狀況的方法。例如，一個交通信號燈可能告訴正在駛近的汽車將要變成紅色，從而使他們有更多的時間停車。在溼滑的道路上，汽車可能會要求燈保持綠色幾秒鐘，因此無需突然停止。
爲了實現這一目標，工程師和政策制定者需要共同努力，開發技術和制定規則。每個人都必須更好地瞭解對方的所作所爲。同時，他們需要了解並非每種解決方案都適用於每個地區或社會。