引用

Dosovitskiy, Alexey, German Ros, Felipe Codevilla, Antonio Lopez, and Vladlen Koltun. "CARLA: An Open Urban Driving Simulator." In Conference on Robot Learning, pp. 1-16. 2017.

背景

感覺運動控制，在現階段仍然是機器學習和自動駕駛技術的主要挑戰。在自動駕駛技術中，最具有挑戰的問題就是如何控制汽車在人來人往的城市環境中運動。現實世界場景設定的成本和訓練測試系統的邏輯問題成為研究相關問題的主要障礙。同時，有些測試場景過於危險，不適合在現實世界中進行模擬。而且在進行問題研究時的時間和資金成本往往不是某個專案組可以承擔的。因此，將模擬技術用於駕駛模型的訓練和測試可以有效的解決相關問題。雖然模擬技術在自動駕駛領域的應用非常廣泛，但是大多數的模擬平臺都存在不同的侷限性。不能直接用於自動駕駛的開發與測試。

解決問題

為了降低自動駕駛汽車開發成本高效率低，克服大多數模擬平臺侷限性的問題，文章提出了將開源的CARLA（Car Learning To Art）軟體作為模擬器，進行場景構建來支援開發驗證自動駕駛模型。並使用CARLA對自動駕駛汽車三種技術進行了研究：1、自動駕駛技術的模組化通道（MP）（感知、規劃、執行）2、模仿學習的深度網路（IL）3、強化學習的神經網路（RL）

方法

文章基於CARLA軟體模擬了一個逼真的動態虛擬世界，並提供了與現實世界互動了介面。文章將CARLA設計為一個伺服器客戶端系統，通過伺服器模擬呈現虛擬場景，客戶端的API是由Python進行實現，負責與客戶端進行互動。客戶端向伺服器傳送指令和原命令並接收感測器的資料，指令用於控制車輛運動，元命令負責控制伺服器的行為。

文章在進行場景構建時，呼叫了相關的資源庫以此進行駕駛場景的構建。文章設計搭建了兩種不同的環境，一個用於訓練模型，一個用於測試模型。這兩種不同的環境將在補充內進行詳細說明。文章對場景中的行人及干擾車輛做出模擬，使其行為更接近於現實中的表現。文章對天氣條件也進行了模擬。在感測器方面，文章模擬了三種類型的感測器：普通攝像頭，ground-truth depth感測器和ground-truth semantic segmentation感測器其中後兩個感測器為偽感測器。相關感測器如下圖：

文章對所有的動態物件進行精確定位。這些訊號在訓練和測試自動駕駛系統有關鍵作用。

文章對自動駕駛系統三種技術進行了評估。

1、對於模組化管道技術，文章將其分為三個子系統：感知，規劃，執行。感知部分是基於RefineNET語義分割網路的，該網路經過訓練可以有效地對外部環境物件進行分類。規劃部分通過規劃器生成一組規劃路線進行導航，並將相關資料傳給控制器。執行部分文章採用了比例積分導數（PID）進行控制。

2、對於模仿學習技術，文章除了對感測器資料進行採集外還將人類的駕駛資訊作為資料進行輸入。這些資料用於訓練深度神經網路。詳細細節在補充中進行說明。

3、對於強化學習技術，文章基於環境的獎勵訊號對深度網路進行訓練。該網路以1000萬個模擬步驟作為訓練集對模型進行訓練。

針對三種技術，文章進行了相同的實驗：在六種不同的天氣條件下執行四組難度遞增的任務（只有第四個難度存在動態干擾源）。規定在預定的時間內到達目的地視為成功，如果偏離車道或發生碰撞視為失敗並進行記錄。

結果

下面兩張表描述了在四個不同的難度下成功完成任務的百分比以及出現違規情況時已經行駛的平均距離：

從結果可以看出，即使是在最簡單的直線行駛任務上，三種技術都不能做到十分完美。難度越高成功率越低。三種技術對於天氣的適應性好於對新場景的適應性。實驗結果強調了對場景的普適性對於三種技術的重要性。將三種技術進行橫向對比：1、強化學習的效果較差2、模組化管道與模仿學習兩者測試結果十分接近，但是在新場景與新天氣的環境下MP的表現不佳3、將兩種深度學習技術進行比較，IL的學習時間僅用了14小時而RL的學習時間用了12天，但是RL的表現卻很差。對違規行為的行駛距離進行分析，可以看出所有的方法在訓練集的完成結果較好。IL最不容易偏離車道，RL在這個方面表現最差。但是RL最不容易與行人發生碰撞。在靜態物件方面MP表現的最佳。

結論

文章介紹並使用CARLA模擬器對學習場景及測試場景進行構建。構建了兩種不同的場景，六種不同的天氣，四種不同難度的測試環境。利用這些模擬測試環境，文章測試了三種自動駕駛的方法（MP、IL、RL），將這些自動駕駛方法應用在存在行人車輛的場景中，並對實驗結果進行評估分析。打破了開發成本以及其他模擬平臺侷限性的問題。

補充

一、模擬技術的相關細節：

1、 文章基於CARLA設計了一個客戶端-伺服器模式的測試系統。伺服器實現虛擬世界，客戶端實現對自動駕駛汽車的控制（油門、制動、轉向）。

2、 元命令：客戶端可以通過元命令控制環境及伺服器的行為：干擾車輛行人數量、天氣、干擾車輛及行人的行為、感測器引數。

3、 客戶端可以接收到伺服器傳遞的相關引數：測試車輛位置、碰撞、對向車道、人行道、時間、測試車輛加速度、行駛方向、交通訊號燈、交通標誌。

二、自動駕駛技術細節

1、模組化管道（MP）：在車道保持的狀態下車輛從ground-truth semantic segmentation感測器獲取資料計算出與車道右邊固定距離的點，依靠這些點進行自動駕駛。在十字路口進行轉彎時，採用提前預估轉向角的方式進行轉彎，當出現故障時系統會進入緊急模式，請求控制器中斷。

2、模仿學習（IL）：該學習網路由四個模組組成：感知模組、測量模組、整合模組、控制模組。使用Adam隨機優化演算法對訓練資料集進行資料增強來訓練該學習網路。

3、強化學習（RL）：RL是基於Mnih等人提出的網路架構組成的，該學習網路的輸入由感測器採集的資料以及一個測量向量組成，卷積模組負責處理影象資訊，網路模組負責處理測量向量。最後將兩個模組進行合併處理

三、違規型別

文章定義了以下五種違規行為：

進入對向車道、進入人行道、與靜態物件發生碰撞、與車輛碰撞、與行人碰撞

每次違規時限為2秒。

致謝

本文由南京大學軟體學院2019級碩士徐彬桐翻譯轉述。

感謝國家自然科學基金專案（重點專案）智慧軟體系統的資料驅動測試方法與技術（61932012）資助