會議：CVPR 2019
標題：《 Robust Lane Detection from Continuous Driving Scenes Using Deep Neural Networks 》
論文鏈接：https://arxiv.org/pdf/1903.02193.pdf
代碼鏈接：–
摘要
在無人駕駛和輔助駕駛系統中，車道線檢測是一個很重要的模塊。近年來，提出了很多複雜的車道線檢測方法。但是，許多方法主要是檢測單幀圖片上的車道線，在複雜場景中如重陰影，標記線嚴重退化，堵車等場景中表現不好。實際上，道路上的車道線是連續的線結構。因此，單單在當前一幀上不能精確的檢測出車道線。爲此，我們研究通過道路的多個連續幀進行車道線檢測，提出了結合CNN+RNN的混合深度框架。特別是，每一幀的信息被CNN模塊提取，多個連續幀的CNN特徵保持了時間連續性，輸入給RNN模塊作爲特徵學習和車道線預測。在兩個大規模的數據集上進行廣泛的實驗，結惡果表明，提出的這個方法在車道線檢測，尤其是複雜場景下的車道線檢測上表現突出。
相關工作
過去兩世紀，在車道線檢測和預測領域有大量的研究。這些方法可以大致分爲兩類。傳統的方法和基於深度學習的方法。
傳統方法
在深度學習方法發展起來以前，車道線檢測主要是依據直線檢查和直線擬合來建立幾何模型，最初的特徵主要採用梯度、顏色和紋理和能量最小化算法。
1. 幾何模型
2. 能量最小化
基於深度學習方法
1. Encoder-decoder CNN
2. FCN with optimization algorithms
3. ‘CNN+RNN‘
4. GAN model
不同於以上四種基於深度學習的方法，我們提出了針對車道線檢測的結合RNN和CNN的端到端的訓練網絡。
本文方法
系統概述
車道線是路面上的實現或虛線結構，在單幀圖像上可以通過幾何模型或者語義分割方法檢測出來。但是在ADAS（智能輔助駕駛）系統中，由於場景複雜，單幀圖像信息不能滿足穩健的車道線檢測算法。
我們提出了結合CNN和RNN的連續幀車道線檢測算法。RNN具有連續信號處理，時序特徵提取和集成的優勢，可以用來車道線檢測和預測。CNN的優勢在於能處理大量的圖像，通過卷積和池化等操作，將輸入圖片提取成小尺寸的特徵圖。這些來自於連續幀的特徵圖包含了時序屬性，可以很好地被RNN模塊處理。
爲了更好的將CNN 和RNN結合成一個端到端的訓練網絡，我們設計了一個（encoder-decoder）編解碼框架。這個框架如圖2所示。編碼CNN和解碼CNN是兩個全連接網絡。一系列的連續圖片作爲輸入，傳入編碼CNN模塊，編碼CNN處理後得到時序的特徵圖。特徵圖作爲輸入傳入LSTM網絡用來預測車道線信息。LSTM網絡的輸出再傳入到解碼CNN網絡中，得到車道線預測的概率圖。且這個概率圖和輸入圖片尺寸大小一致。
網絡設計
- LSTM network
採用ConvLSTM替代LSTM各門的矩陣乘法，用於組合端到端的訓練網絡。
一個通用的ConvLSTM細胞在t時刻的激活函數可以表示爲如下：
- Encoder-decoder network
編解碼網絡在車道線檢測模型中類似於語義分割任務。
訓練策略
1）這個網絡採用SegNe和UNet在ImageNet上的預訓練權重模型。
2）駕駛場景道路的大量的連續N幀圖片作爲輸入圖片
3）損失函數的設計
4）在不同的訓練層級上採用不同的優化方法。在最初開始訓練時，採用Adam優化，訓練到相當高的精度時，採用SGD算法
實驗和結果
數據集
結合TuSimple車道數據集和我們自己的數據集
結論
本文中，提出了一種結合CNN和RNN的魯棒性車道線檢測的複雜的神經網絡。這個網絡結構基於編解碼框架，採取多連續幀作爲輸入，然後以一種語義分割的方式預測當前幀中的車道線。在這個框架中，輸入圖片的每一幀中的特徵會首先被CNN編碼器提取，然後所有輸入幀的順序編碼特徵送入ConvLSTM(卷積 LSTM)處理。最後，ConvLSTM的輸出傳入解碼CNN中用來信息重建和車道線預測。兩個數據集包含了組成的連續的車道圖片用來績效評估。
對比那些只採用單張圖片作爲輸入的基準架構，這個新提出的架構明顯有很好的結果，證明使用多連續幀作爲輸入時很有效的。同時，實驗結果表明ConvLSTM比FcLSTM在車道線檢測中的序列特徵學習和目標信息預測上有明顯優勢。此模型在精確度，召回率，和準確度上表現更好。另外，本文模型在一組非常有挑戰性的數據集上進行測試，驗證它的魯棒性，結果顯示，本文模型在多種路況下能很穩定的檢測出車道線，避免錯誤識別。在參數分析中，更長的輸入序列會有更好的表現，並進一步表明了在車道線檢測中，多幀圖片比單幀圖片更有幫助。
未來，我們計劃通過在此框架中添加曲線擬合來進一步提車道線檢測。這樣的話，檢測出的車大凹陷會更平滑更完整。另外，在昏暗的環境中存在強烈的干擾，SegNet-ConvLSTM表現會比UNet-ConvLSTM表現得好一點，這方面需要更多的研究。