1.物體識別
一般的物體識別,有一個長方形框框能識別出來車在哪裡,很好,很不錯,
但是Mobileye出來的是這樣子的:很明顯的區別就是Mobileye可以實現非常準確的車的正面以及側面的檢測,以及完全正確的區分左邊側面以及右邊側面(黃色和藍色)。
這兩種檢測結果的資訊量是完全不同的,左邊這個檢測結果告訴我們什麼位置大概有一輛車,但是他的具體位置,車的朝向資訊完全沒有。但是從右邊的檢測結果,就可以相對精確的估算出來車的位置,行駛方向等重要資訊,跟我們人看到後可以推測的資訊差不多了。
這樣出眾的結果,對於較近距離的車,用其他基於幾何的方法,多跟蹤幾幀,可能可以做到接近的效果,但是留意遠處很小的車,結果也完全正確,這就只可能是深度學習的威力了。
2.可行駛區域(free space)檢測
深度學習以前的可行駛區域檢測,有兩種方法,一是基於雙目攝像頭立體視覺或者Structure from motion, 二是基於區域性特徵,馬爾科夫場之類的影象分割。結果是這樣的:
綠色部分是可行駛區域檢測,看著還不錯對不對? 但是注意左邊的綠色部分涵蓋了馬路“倒鴨子”(雷鋒網(公眾號:雷鋒網)按:路邊石)以及人行道部分,因為“倒鴨子”也就比路面高十釐米左右, 靠立體視覺是很難跟馬路區分開來的。而傳統的影象分割也很困難,因為區域性特徵上,“倒鴨子”上和路面的顏色極其接近。區分二者需要對環境整個context的綜合理解。
自從有了深度學習可以做scene understanding之後,這個問題終於被攻克了:
綠色部分還是可行駛區域,馬路右邊的路肩跟路面的高度相差無幾,顏色texture也是一模一樣,用立體視覺的方法不可能區分開來。
3.行駛路徑檢測
這一部分工作要解決的問題主要是在沒有車輛線或者車輛線狀況很差的情況下,車怎麼開的問題。如果所有的路況都如下:
那當然很完美,但是由於路況或者天氣,有些時候車輛線是很難檢測到的。
深度學習為此提供了一個解決辦法。我們可以用人在沒有車道線的路況下開車的資料來訓練神經網路,訓練好之後,神經網路在沒有車道線的時候也能大概判斷未來車可以怎麼開。這一部分原理也是比較清楚的,找一個人開車,把整個開車的過程攝像頭的錄影儲存下來,把人開車的策略車輛的行駛路徑也儲存下來。用每一幀圖片作為輸入,車輛未來一段時間(很短的時間)的路徑作為輸出訓練神經網路。之前很火的Comma公司,黑蘋果手機那個創立的,做的無人駕駛就是這種思路,因為其可靠性以及原創性還被LeCun鄙視了。
1.物體識別
一般的物體識別,有一個長方形框框能識別出來車在哪裡,很好,很不錯,
但是Mobileye出來的是這樣子的:很明顯的區別就是Mobileye可以實現非常準確的車的正面以及側面的檢測,以及完全正確的區分左邊側面以及右邊側面(黃色和藍色)。
這兩種檢測結果的資訊量是完全不同的,左邊這個檢測結果告訴我們什麼位置大概有一輛車,但是他的具體位置,車的朝向資訊完全沒有。但是從右邊的檢測結果,就可以相對精確的估算出來車的位置,行駛方向等重要資訊,跟我們人看到後可以推測的資訊差不多了。
這樣出眾的結果,對於較近距離的車,用其他基於幾何的方法,多跟蹤幾幀,可能可以做到接近的效果,但是留意遠處很小的車,結果也完全正確,這就只可能是深度學習的威力了。
2.可行駛區域(free space)檢測
深度學習以前的可行駛區域檢測,有兩種方法,一是基於雙目攝像頭立體視覺或者Structure from motion, 二是基於區域性特徵,馬爾科夫場之類的影象分割。結果是這樣的:
綠色部分是可行駛區域檢測,看著還不錯對不對? 但是注意左邊的綠色部分涵蓋了馬路“倒鴨子”(雷鋒網(公眾號:雷鋒網)按:路邊石)以及人行道部分,因為“倒鴨子”也就比路面高十釐米左右, 靠立體視覺是很難跟馬路區分開來的。而傳統的影象分割也很困難,因為區域性特徵上,“倒鴨子”上和路面的顏色極其接近。區分二者需要對環境整個context的綜合理解。
自從有了深度學習可以做scene understanding之後,這個問題終於被攻克了:
綠色部分還是可行駛區域,馬路右邊的路肩跟路面的高度相差無幾,顏色texture也是一模一樣,用立體視覺的方法不可能區分開來。
3.行駛路徑檢測
這一部分工作要解決的問題主要是在沒有車輛線或者車輛線狀況很差的情況下,車怎麼開的問題。如果所有的路況都如下:
那當然很完美,但是由於路況或者天氣,有些時候車輛線是很難檢測到的。
深度學習為此提供了一個解決辦法。我們可以用人在沒有車道線的路況下開車的資料來訓練神經網路,訓練好之後,神經網路在沒有車道線的時候也能大概判斷未來車可以怎麼開。這一部分原理也是比較清楚的,找一個人開車,把整個開車的過程攝像頭的錄影儲存下來,把人開車的策略車輛的行駛路徑也儲存下來。用每一幀圖片作為輸入,車輛未來一段時間(很短的時間)的路徑作為輸出訓練神經網路。之前很火的Comma公司,黑蘋果手機那個創立的,做的無人駕駛就是這種思路,因為其可靠性以及原創性還被LeCun鄙視了。