小編時間到：十一小長假來啦，不知道同學們都有什麼假期安排呢？別問，問就是學習！接下來就是技術宅們的福利充電時間啦。劃重點！“馭勢假期充電站”鎖定每晚19:00，會在小長假裡給大家帶來有關無人駕駛的前瞻討論，不想錯過的同學一定要猛點關注哦，我們的口號是：做不一樣的技術宅！

整理 | 夕顏

出品 | AI科技大本營

2019 年9 月 5 日至 7 日，由新一代人工智慧產業技術創新戰略聯盟（AITISA）指導，鵬城實驗室、北京智源人工智慧研究院支援，專業中文 IT 技術社群 CSDN 主辦的 2019 中國 AI 開發者大會（AI ProCon 2019）在北京順利舉行。短短 3 天之內，60+ 人工智慧領域專家和領導者相聚北京，加入了這場屬於 AI 開發者的盛大狂歡，探討機器學習、自然語言處理、計算機視覺、AI+DevOps 和 AI+ 小程式等多個不同技術專題裡開發者最關心的問題。

以下為演講實錄：

非常感謝CSDN的邀請，讓我與大家相遇在 AI 開發者大會。

無人駕駛是 AI 密集型產業，也是未來 AI 落地的一個重要的大市場，今天我將更多地與大家分享無人駕駛真正實現產業化會遇到的 AI 挑戰和機遇。

2005 年，我當時還在英特爾，公司參與了 DARPA 無人駕駛挑戰賽，贊助了兩輛車，一輛是來自 CMU 的奪冠熱門車 ，一輛是來自斯坦佛的黑馬，但斯坦福的車身上 LOGO 位置全被佔滿了，沒有給我們放 LOGO 的空間。這時，一個天才提出可以在這輛車兩側後視鏡邊上的空窗上放 LOGO，反正沒有駕駛員了。這件事給了我一個啟示：無人駕駛是新物種，每個功能都被重新定義了，包括這面窗子，我們應該用重新定義的思路去思考，此後，這成為我們世界觀的一部分。

到後面的比賽中，CMU 這輛車領先大半程，但在最後一刻卻失速，被斯坦佛這輛車反超。13 年以後，我們才知道原來是 CMU 這輛車因為引擎控制模組和燃油噴嘴間的過濾器壞掉了。這件事讓我有了關於世界觀的第二部分的思考，即無人駕駛要尊重汽車產業長期存在的規律 ，要有敬畏之心。

我先說一下世界觀的第一部分，一切重新定義。

我們如何重新定義？未來有了 AI、車聯網以後，車在路上會編隊出行，單個車道的使用效率會提升 3-4 倍，我們不再需要十字路口的紅綠燈，因為在全域性排程演算法下，所有的車都能夠高效通過十字路口。停車也不再是問題，到目的地之後可以直接下車，計程車將會川流不息，晚上它可以默默地停到五環外，不用擔心停車的問題。

高速公路上的大貨車不再有車頭。末端配送會由一些小機器人完成，快遞母艦開到社群以後，我們可以放出密密麻麻的小機器人出來挨家挨戶送貨。

我們很少在網上買鞋，因為腳是非標的。未來鞋店可以開到你門口，你上車試鞋，下車買單，這使得未來物的流動更加自由。

更廣義地說，很多今天的東西都可以動起來，比如你缺錢時一個無人駕駛 ATM 機可以突然現身。在外面玩內急時一個無人駕駛廁所可以飛速駛來。未來，車變成了空間，可以安營紮寨，車的底盤可以離開，在你需要時它自己開過來。這些商業場景可以改變現在的很多產業，比如鐘點房、汽車旅館、支線航空等。

在新銷售、新零售、新商業上也有很多創意，比如無人貨架可以出現在車裡，車還可以是 mini KTV，還可以是模擬按摩椅，它可以是一個個人健身房，車在路上跑，你在車上的跑步機上跑，甚至是個人影院，為你定製內容 。經過測算以後我們發現，待無人駕駛產業發達之後還是要買茅臺股票，因為酒類銷售量可以增加 30%，不用擔心酒價。

所以，一切可以重新定義。

再看世界觀的第二部分，我們為何要對汽車產業有敬畏之心？我們把 AI 分成 4 個象限：實體、虛擬 、關鍵任務和非關鍵任務。比如小冰是虛擬的非關鍵任務，炒股機器人是虛擬的關鍵任務，如果處理不好會導致指數驟然下跌 。掃地機器人是實體的非關鍵任務，而無人駕駛是實體的關鍵任務，也是最難的AI。

我們簡單看一下訓練一個無人駕駛“老司機”要做哪些事情。

首先是感知和理解，就像一個新司機一樣，無人車要懂得規矩和規則，車不能撞到別人；第二是要認路，這裡面涉及地圖和定位；第三是更高的要求，司機要機靈，有一定的決策能力，才能保證開得不“肉”，同時在見到沒見過的東西時不會慌。這是 AI 中重要的三塊，但是要達到老司機水平還需要開得平穩，這又涉及很多非AI的傳統控制演算法。

在感知領域，使用最多的是鐳射雷達和視覺。前者基於 3D 點雲對多個目標進行檢測和跟蹤。典型的視覺演算法採用一個多工網路，多工網路能夠檢測無限延伸的車道線，同時檢測可行駛區域，以及路面上的各種物體和標識，特別是將所有車用立體的框標識出來，對其跟蹤、測速、測距。此外，無人車還需要一點預測和想象能力，比如道路蜿蜒延伸的方式。

除了感知，無人車還需要一點認知能力和理解能力。理解有很多層面，比如在理解了這是一個車道線之後，下一步還要對車道線的語義有更多理解。特斯拉曾發生一起車禍，這次車禍的原因在於兩條車道線組成的並不是一個車道，而是主路與匝道之間的分隔區域，但是視覺演算法不能理解這個語義，把這個區域認成車道，一路向前開，結果撞到水泥墩上了。

往往理解還需要配合高精度地圖，告訴無人車這不是車道而是分隔區。高精度地圖涉及到如何用今天的感測器，比如鐳射雷達和攝像頭採圖並進行語義標註。

有了高精地圖以後，下一步要處理在複雜空間中的定位。這時不能只靠 GPS定位，在沒有 GPS 時也需要高清地圖和其他的定位手段，比如SLAM，配合使用。

無人車最大的難點在於決策，那麼決策難在哪裡呢？維基百科上的事故資料顯示，中國每 10 萬輛車每年造成 105 人死亡，但是在美國這個資料只有 13 個人。我們在看Waymo的人工接管資料，感知錯誤導致事故發生的比例是 25%， 基本決策錯誤佔 46%，預測錯誤佔 4%，碰到不講理的司機和行人佔 19%，跟決策相關的錯誤達到了69%，也就是說感知不再是重要的問題，決策才是最關鍵的難點。

再看另一個數據，在對 10500 起Waymo試乘的乘客調研發現，乘客不滿的問題包括不舒服、陷入在車流動不了、碰到單車和行人緊急剎車等，其實這些情況都涉及到決策 。與中國相比，美國 Waymo 的工作環境相對簡單，人少車少，而中國的無人駕駛汽車環境更復雜，存在各種“中國特色”問題。另外，數量級的不同也要求中國的無人車進行不同的演算法處理。

這對我們是很大的挑戰，傳統上 無人駕駛是基於規則做決策，以後更多地是需要基於學習，甚至基於搏弈，比如學習 Model-based、model-free。現在，我們要加入兩個新的東西，一個是競爭性，因為在中國，競爭性不夠是無法獲得路權的；另一個是社會性，不要讓人在車流中一眼就看出是很笨很傻的無人車。

最後，無人車的診斷能力非常重要，這涉及很多後臺資料分析，前臺資料回傳以後實時分析車的零部件工作是否正常，是否可以做預測性、實時性的維護等。

過去10年，上述這些技術都有了長足的發展，但為什麼自動駕駛這麼難呢？

首先是木桶效應或者短板效應，只要一個零部件還不成熟，整個無人駕駛就無法發揮效用。其次，關鍵任務開發有一個規律，叫做“90/10”原則，指的是完成了 90% 的任務，但是剩下的 10% 還需要 90% 的時間和精力，無人駕駛不能簡單地依靠資本堆砌。第三，還有一個類似於“雞和蛋”的問題，量上不去，供應鏈就不會隨之優化，便宜不下來，所以量還是上不去。

無人駕駛如何進行產業化？無人駕駛領域的前兩個難點意味著它的商業化週期非常長，這需要我們採用“擼串”的策略。一臺很大的自動烤串烤臺不可能只烤一根串，Robo-taxi是一根要烤 5-7 年的串，烤臺空著是沒有意義的，所以你可以烤多根串，也就是尋找多種場景進行商業化，讓研發平臺適應多場景。但是另一方面，我們也需要專注，因為烤串時所有精力會聚焦在快熟的那根串上，要注意別烤焦了，因為產品化資源會放在最先熟的那根串上。

什麼串最先熟？要先找場景，我認為這些規律對於所有 AI 普遍適用：第一，它是否是高頻剛需，是否能解決客戶的痛點，而不是弄兩臺車秀科技感；第二，法律上和技術上是否實現無人化運營；第三，是否能算得過來賬，是替換掉 1 個駕駛員還是 3 個駕駛員？一個地方有 5 臺車還是有 500 臺車？這些都會影響算賬。

無人駕駛的商業化場景包括高速公路巡航，停車場的自動代客泊車等。自動泊車這套系統不用鐳射雷達，只要 6 個攝像頭和 12 個超聲波，用小几千元的成本基本就能夠實現停車場無人泊車。去年，我們已經把這套系統交付了 50 個種子使用者。它們一旦進入真實世界，可能會遭遇很多人的“挑逗“，這是非常危險的，因此這項技術需要足夠可靠。目前，我們已經運營這套系統 10 個月，支援 10 多個停車場，成功率非常高。

另外，無人駕駛的高頻場景還包括機場的物流拖車，現在一個典型的國際機場有近千輛拖車，而為了運營這近千輛拖車需要 3000 多個司機。在這個場景中應用無人車有很多挑戰，比如如何真正實現無人化。今年開始，我們實現了機場物流拖車的無人化運營，無人車可以端到端地從停機坪或碼頭開到行李中心，再調個頭往行李中心室內開下去。

另外一個場景是無人小巴，今年博鰲論壇上，我們與宇通和合作做了兩款無人小巴，與宇通合作的這款今年 5 月17 號開始在鄭州的一條公交線上運營，這是無人化公交系統最早應用到現實世界的案例之一。

這幾個場景要求一套原始碼和一套工具鏈，未來將會面臨巨大的挑戰。我們做這個系統經常要與兩個“R”搏鬥，一個是 Reliability，在指定邊界裡它是非常可靠、不出錯的，一個是Robustness，就是在未知情況、開放不收斂的環境裡做到可靠。這是最大的挑戰。

解決Robustness，目前仍然需要更多的資料。我們可以通過哪些更好的辦法獲得資料？其中一個方法是通過眾包獲得豐富多元的資料，有了資料下一步是大規模的標註能力 ，而且需要進行細粒度標註，而不是簡單的bounding box。現在有很多支援半自動標註的方法，比如谷歌推出的流體標註等。既有鐳射雷達資料，又有視覺資料時還可以用自標註法。再下一步是大規模的快速訓練，資料經過實時訓練後回到車裡，形成一個永不停止的資料閉環 。值得注意的是，對資料的關注點在不斷變化。

l 最早是 Bounding Boxes，後來慢慢演變成分割，從粗粒度進化到細粒度，最開始只需要認出是車即可，現在細粒度標註需要知道車型（是否大型車、警車、救護車）和車輛的狀態（是否開啟轉向燈、門是否開著）等；

l 從靜態圖片到動態視訊，原來只關注靜態圖片裡的物件，現在要關注動態視訊裡的時空關係、比例動態情況；

l 從簡單的物體識別到行為的識別；

l 從行為識別和跟蹤到理解和預測；

Robustness，對測試有很高的要求，我們用實體化的結構性測試來模擬現實世界的各種corner case，但這種測試方法既危險，成本又高。接下來，我們要思考的是如何加速這樣的測試，最好的方法其實就是模擬，通過生成性對抗網路等技術，我們可以構建出逼真的模擬模擬環境，從而降低風險。

有了結構性測試，還需要路測，在真實的狀況下經受考驗。到底經過多少路測，能夠證明無人駕駛比人好20%呢？蘭德公司推匯出來需要110億英里，如果有100輛車，一天到晚不吃不喝不休息不停地跑，要跑500年。

解決這一難題的辦法是Shadow mode，即“影子模式”，在已經大量部署的車上進行“影子”下的AI駕駛，把人類駕駛的情況與 AI 駕駛的結果進行比較，如果不同，就把資料發回來，在雲端進行標註 、訓練、模擬、訓練、驗證，再把模型送回去。有了它，1000 萬輛車裝著“影子模式”，每輛車只需要開1100英里，就能達到110億英里，而這隻需要不到一個月，根本不需要 500 年。

最後，我想與分享未來 AI 發展的一些看法。今天的 AI 訓練出來的是標註的框框和線條，根本不懂其中的含義是什麼。人類在駕校學開車幾十天就可以學會，因為我們有 18 歲前的社會閱歷知識圖譜。第二，我們會不斷模仿，熟能生巧，這就是強化學習和模仿學習的能力。第三，我們永遠會見到未知的事物，但是可以通過推理、解釋理解新事物，知其然，也知其所以然。第四，我們永遠會遇到未見過的場景，人類處理這些場景依靠舉一反三，這類似於遷移學習。

未來，我們將在這幾個方面的研究上發力，我們在與包括Berkeley DeepDrive在內的一些頂尖研究機構研發下一代演算法。