之前有分析過深度學習和自動駕駛的關係，但是主要是在視覺的基礎上來分析的：連接
這裏想從各個角度來分析深度學習在自動駕駛中的應用，如果你正好有這方面的需要，不妨選擇一個着力點，筆者從事自動駕駛3年來，也處於瓶頸期，需要在一個特定的領域深挖，這裏也建議大家，在瞭解自動駕駛各模塊之間的關係之後，需要在一個特定的領域深挖，才能稱之爲自動駕駛領域內的專家。又因爲傳統技術很難有所突破，深度學習提供了很好的機遇。
1. 場景感知與定位
深度學習方法特別適合於從攝像機和lidar設備獲取的2d圖像和3d點雲中檢測和識別對象。具體應用有如下幾個方面：
1. 目標邊界識別；圖像中最常用的二維目標檢測結構是單級和雙級檢測器。單級探測器（只看一次）：Yolo、SSD；雙級檢測器：如RCNN、Faster RCNN或R-FCN，其將目標檢測過程分爲兩部分：感興趣區域候選方案和邊界框分類。單級探測器的性能不如雙級探測器，但速度要快得多。
2. 語義和實例分割；駕駛場景的理解也可以通過語義分割來實現，圖像中每個像素標記出不同分類：可駕駛區域、行人、交通參與者、建築物等。其中Segnet、ICnet、ENET、Adapnet或Mask R-CNN等語義分割網絡具有像素級分類的能力。
3. 定位；一般理解定位是查分GPS的任務，實際上基於視覺、lidar、毫米波雷達等車身傳感器也能進行定位，而這些定位方法就可以使用深度學習技術，之前文章有介紹過基於深度學習的點雲配準方法，不記得的可以翻看我之前的文章；另外深度學習和視覺SLAM也有很深的結合，在SLAM的特徵匹配階段，深度學習可以直接選取比較好的關鍵點，從而方便後面的計算。
2. 佔用網格
佔用網格是將駕駛空間劃分爲一組單元並計算每個單元的佔用概率的環境表示。深度學習用於Occupancy Maps的上下文中，用於動態對象檢測和跟蹤，車輛周圍佔用圖的概率估計或用於推導駕駛場景上下文。在後一種情況下，Occupancy Maps是通過隨着時間的推移積累數據來構建的，而深層神經網絡則用於將環境標記爲駕駛上下文類，例如高速公路駕駛、停車場或市中心駕駛。Occupancy Maps代表一個車內虛擬環境，以更適合路徑規劃和運動控制的形式集成感知信息。深度學習在估計中起着重要作用，因爲用於填充網格單元的信息是從使用場景感知方法處理圖像和lidar數據中推斷出來的。
3. 路徑規劃和行爲仲裁
在路徑規劃過程，自動駕駛汽車應考慮周圍環境中存在的所有障礙物，並計算出無碰撞的軌跡。解決方案是構造一個由部分可學習和部分非可學習組成的策略函數。可學習的策略試圖最大化獎勵功能（包括舒適性、安全性、超車機會等）。同時，不可學習策略遵循功能安全的硬約束，同時保持可接受的舒適度。深度學習可直接訓練出路徑規劃和行爲仲裁的網絡，由於路徑規劃的有其優缺點，例如，駛離車道、車輛碰撞等，這些數據是稀缺的，使得訓練網絡在遇到不可見數據時的響應是不確定的。另一方面，儘管DRL系統能夠在模擬世界中探索不同的駕駛情況，但這些模型在移植到現實世界時往往會有偏差行爲。
4. 汽車運動控制器
傳統控制器是利用由固定參數組成的先驗模型，例如：模型預測控制MPC，無法預見系統必須處理的所有可能情況。深度學習的控制器可以把所以信息全部輸入，能夠考慮各種可能的情況，輸出最優的橫縱向控制參數。
5. End2End學習系統
上面提到的還是傳統自動駕駛的思路，感知、決策、控制，實際上深度學習可以提供一種端到端的學習方法：
端到端的學習方法實際上是一種擴展到複雜模型的反向傳播算法，直接利用傳感器的數據訓練出最終的控制結果，並利用理想的結果或者錯區懲罰機制，結合反向傳播算法訓練網絡。第一階段是模擬，第二階段是測試車。
6. 自動駕駛安全
深度學習和自動駕駛安全相結合，主要是利用深度學習的推理，深度學習可以理解可能的故障和其影響；更廣泛的系統中的上下文；定義安全行爲的含義，包括非功能約束。