深蘭科技自2017年開始嘗試整車設計，一路至今，推出多項應用成果，同時取得多個城市的自動駕駛牌測試照。經過三年中無數次的鑽研和打磨，最終形成的熊貓智慧公交整合自動駕駛技術、手脈識別系統、語音互動、精準廣告推送等功能，實現在公交的動力、安全、效益和服務上的全面升級。
中國公共交通行業：公交服務亟待智慧技術強化乘客出行體驗，扭轉赤字運營
公交車是城市交通運輸系統的重要組成部分。儘管我國城市公共交通近年來得到了較快的發展，但仍有乘客不斷抱怨出行困難，交通成本高。為改善公交服務質量，國務院、交通主管部門曾多次在各類檔案中強調公交的智慧化、資訊化。而後，國家於 2020 年初提出“新基建”， 讓科技賦能戰略深入各個層級。在此背景下，公交行業面臨必然的轉變，而其長期存在的痛點也亟待科技賦能，實現智慧轉型。
耗油及汙染 - 油耗是決定公交車運營成本的根本問題。然而，油耗的多少不僅跟公交車況有關，公交車線路安排、駕駛員節油技能等因素都在影響公交車耗油情況。另一方面，由於公交車體偏大，且長時間處於駕駛狀態，其尾氣排放已成為重大汙染源之列。
人力依賴 - 公交司機技術門檻要求高、工作性質單一、勞動強度大，導致從業人員不斷減少，也令行業人力成本升高。
舒適度與安全性侷限 - 由於公交車中乘客構成繁雜，車內設施總體落後，無法對個別抽菸、盜竊等異常行為進行實時干預，導致全車乘客出行體驗乃至人身安全受到影響。
線路長期虧損 – 由於公交系統屬於利民服務，公交車的收費相對低廉，大量公交線路長期處於虧損狀態，運營商收入總體依賴政府補助，難以有餘力主動升級車輛設施，改善服務效果。
智慧公交應用內案例解析：以深蘭科技打造熊貓智慧公交車為例
如何讓先進的AI技術與城市交通工具加速融合並實現商業化落地，在增加民眾出行舒適度的同時也扭轉運營商長期赤字的窘境一直是深蘭思考和探索的課題。
深蘭科技擁有龐大而完善的人工智慧核心技術研發體系及大量科研人才，並常年基於此優勢在自動駕駛技術領域蓄勢，逐步建立技術壁壘。近年來，深蘭科技先後在CVPR、ICCV、ECCV、NeuIPS等世界頂級學術會議的演算法競賽中獲世界冠軍。其中，2019年ICCV COCO & Mapillary挑戰賽Mapillary Vistas目標檢測賽道中，任務內容與自動駕駛車輛的感知能力有著強關聯，強調識別靜態街道影象物件(如路燈、標誌、標杆)和動態街道主體（如汽車、行人、腳踏車）的能力。而深蘭科技在此次競賽中一舉奪冠，奠定了公司在自動駕駛領域的優勢地位。此外，深蘭在生物智慧、邊緣計算等技術領域同樣有著技術優勢及落地產品，為構建自動駕駛汽車打下深厚的基礎。
另一方面，深蘭科技自2017年開始嘗試整車設計，並持續推出多項應用成果。2018年6月，深蘭推出新零售和自動駕駛的結合產品——芭提雅自動駕駛移動零售車；同年9月，首批12米熊貓智慧公共交在常州和長沙試跑。2019年，深蘭引入氫能源專家團隊，進入氫能源車的自動駕駛領域。
在此後的兩年裡，深蘭陸續取得多個城市的自動駕駛牌測試照，熊貓智慧公交也在全國各地實現商業執行。經過三年中無數次的鑽研和打磨，最終形成的熊貓智慧公交成功實現在公交的動力、安全、效益和服務上的全面升級。
一、 核心技術 – 智慧駕駛系統
深蘭熊貓智慧公交車是一款大型人工智慧、自動駕駛客車，總長約12米，以磷酸鐵鋰電池為驅動。其智慧駕駛系統由感知域子系統、決策控制子系統、線控底盤系統三大部分組成。感知域子系統透過車輛周身佈置的感測器探測環境資訊，感知資料匯入域控制器，進行感知資料融合處理，同時結合車路協同路面交通訊息及地圖資料輸出車輛行駛環境模型。為最大化實現公交車的感知能力，車身安裝了毫米波雷達、鐳射雷達、車身超聲波雷達陣列以及大量攝像頭，從而全方位採集車身周邊的環境資訊。
由感知感測器採集的資訊將傳輸至FPGA車載高效能整合計算總成，透過各感測器的時間和空間同步、資料融合處理，完成對車輛周圍交通環境的感知。而自動駕駛計算單元X86實時控制器根據環境模型資訊進行規劃、決策與控制，輸出驅動、制動和轉向控制命令，經由整車控制器轉發車輛線控底盤相應執行機構執行控制命令，實現車輛的自動駕駛功能。此外，X86實時控制器同樣負責車身失效故障診斷與安全策略保護，將必要資訊透過HMI（人機互動-中控屏）或車載語音播報裝置提供給司機或車內成員，在必要時切換手動操作，保證駕駛安全。
為保證熊貓智慧公交車的整體效能，其車載高效能混合計算平臺採用了ARM和FPGA混合計算架構，峰值功耗低於35瓦。同時，平臺具備完整的標準車用I/O和整車通訊埠，控制計算總成採用全車規設計，自然風冷，實現IP67防護等級，滿足整車控制和感知融合的計算要求。而嵌入式軟體架構則保證作業系統響應在1毫秒之內，滿足高實時性要求。在硬體架構方面，熊貓智慧公交車採用x86+ARM+FPGA模式。X86CPU配有專用實時核心，在作業系統發生宕機或重啟，實時核心仍能夠正常執行，相較於業界常用的普通工控機+GPU板卡模式具備更高的可靠性。
綜合一系列技術優勢，熊貓智慧公交車可實現：
二、 效益提升 – 精準廣告推送系統
公交車屬於便民服務，也是社會必須的交通設施，其票價在全球範圍內遠低於國際水平，因此我國大多公交線路長期處於虧損狀態已是公認的普遍現象，國家為保證公交服務的存在每年需要為運營商提供大量補貼。為控制成本，公交車從有人收費變為無人收費，運營商也嘗試在車內安裝廣告屏試圖創收。然而，單向的廣告投放難以統計成效，廣告商對於使用者關注重點、喜好反饋乃至最重要的轉化率難以形成客觀的資料參考。因而公交車的廣告位長期處於一個尷尬的位置。
為實現公交運營商的效益提升，熊貓智慧公交整車搭載有7塊廣告屏，並基於眼控計時廣告系統，結合螢幕所配備的高畫質攝像頭進行高精度的使用者行為記錄。深蘭科技眼控計時廣告系統引入近距離眼球朝向識別技術，在廣告播放的時間段內，系統將攝像頭實時獲取的客艙內乘客觀看廣告情況的影象進行演算法處理和敏感資料脫敏處理，在保證乘客隱私的前提下，推算每位乘客的觀看時長、性別、年齡段等乘客畫像資料。系統可基於這些資料精準統計每段廣告的投放效果，並以此推送喜愛一時間段的廣告內容，並且可根據觀看人數及其觀看時長進行增值計費，使廣告投放效果做到更加精準有效。
三、 智慧出行 – 智慧公交設施
為最佳化乘客的出行體驗，深蘭科技為熊貓智慧公交部署了多項智慧應用，包含手脈識別扣費系統、語音互動系統以及無人零售系統。
針對乘客對路線資訊、實時路況、站點周邊設施等出行資訊的需求，熊貓智慧公交所搭載的語音互動系統可根據車輛執行中所收集到的實時資訊，以語音互動的模式為乘客提供資訊服務，免除駕駛員分散注意力的風險。
在此之上，熊貓智慧公交設智慧有無人零售櫃，其無人零售系統基於深度學習演算法、計算機視覺等人工智慧技術搭建。系統採用AI攝像頭360度精確識別商品，自行完成販售工作。結合手脈識別技術，乘客可使用掃手支付，體驗“拿了就走”的便捷購物體驗。另外，依託大資料分析，無人零售系統同樣能夠記錄並分析乘客消費情況，幫助供應商按需配置商品庫存，實現精細化運營。
四、 出行安全保障 - 乘客異常行為監控系統
公交車屬於公共區域，其乘客身份複雜，個體的異常行為會影響到全車乘客的舒適度與出行安全性。針對公交車內場景，深蘭科技為熊貓智慧無人車部署了異常行為分析系統，基於上文介紹的眼控廣告攝像頭對拍攝範圍內每位乘客諸如吸菸、受傷、物品遺失，乃至偷竊等異常行為做出反饋，並在車內顯示屏聯動提醒。其具體功能包含：
吸菸檢測：採用one-stage的檢測模式，由煙霧檢測器將不同特徵圖譜（feature map）獲得的bbox指標，經過NMS（Non-maximum suppression非極大值抑制演算法）方法生成指標集合，從而讓吸菸分類器對檢測結果進行分類。同時，系統配有多種定製的增廣演算法，提升分類器的的精準度，完成吸菸行為識別。
乘客區域智慧偵測及預警：基於眼控廣告攝像頭，系統可對車廂內乘客區域、特定物品放置區域、幣箱、後門下客緩步臺、車內配電倉門等重點區域進行智慧檢測監控，對乘客進入危險區域、快速移動（車廂內有緊急事件乘客快速移動、聚集等）等行為進行偵測預警。同時，系統可結合目標檢測器識別乘車環境內的包和人的狀態，判斷攝像頭區域內是否存在包裹遺失現象，自動發出丟包提示。
偷盜檢測：透過攝像頭獲取影象資訊，先對車上乘客做檢測和跟蹤，並得到乘客的時間序列；隨後透過使用two stream的方式對相關的兩個行人之間的行為做判別，實現可疑/非可疑動作分析和判斷，以實現偷盜識別。
摔倒檢測：結合攝像頭所採集的資料，透過乘客關鍵點檢測器，跟蹤模組，關鍵點分類四個模組，結合影象背景檢測判斷當前目標是站立或摔倒的狀態，並將摔倒的識別結果進行告警。
五、應用成果 – 深蘭造車之路
截止目前，深蘭科技憑藉熊貓智慧公交車已先後參與“廣州5G營運車輛自動駕駛與車路協同示範區”、“天津中心生態城5G-V2X智慧公交運營示範線”以及“武漢中央商務區自動駕駛公交商業運營示範線”的建設工作。深蘭熊貓智慧公交車已然成為公司拳頭產品。而成就的背後，則是深蘭在過去三年的反覆磨鍊與堅持的“造車之路”：
2018年，深蘭科技於6月推出芭堤雅自動駕駛移動零售車，結合新零售與自動駕駛技術，以“買東西，叫一個店”的模式在上海首批上路服務；同年9月，首批12米熊貓智慧公交車下線，於常州和長沙試跑。
2019年，“AI閃耀一帶一路——熊貓智慧巴士釋出會”於1月在上海召開，同時在四個城市同時上路測試。隨後於四月，天津政府批次採購熊貓智慧公交併上路載客執行。同年6月，深蘭圍繞清潔衛生場景推出“熊貓掃地王”自動駕駛環衛車，在多個城市的公園、廣場、地鐵站等場景提供服務。而在2019年8月，深蘭正式引入氫能源專家團隊，並針對城市配送場景推出熊貓物流車，正式踏入新能源自動駕駛領域，為動力升級打下基礎。
2020年，熊貓智慧公交車厚積而薄發，先於6月透過深圳自動駕駛測試，商業執行坪山高鐵站線；又在7月上路武漢，服務武漢市中心CBD線路，成為中國首個商業執行線路。
至此，深蘭科技是國內唯一獲得長沙、上海、武漢、廣州、深圳大型車自動駕駛測試牌照和武漢商業營運牌照的（5+1）企業。 同時熊貓公交也是透過工信部公告進入整車目錄的可批次生產的智慧巴士。
在此之上，基於公司在人工智慧、自動駕駛等綜合領先科技與落地經驗所構建的優勢，深蘭科技將進一步推出45噸自動駕駛熊貓重卡，並於2021年2月8日在上海總部大廈舉行專案簽約儀式。根據協議，深蘭將在兩年內實現1000臺以上自動駕駛+氫能重卡的交付，與大型港口集團、能源集團及運輸集團等大型央企資源客戶合作，共同在全國範圍內重點港口、物流、礦山等應用場景落地無人駕駛重卡和氫燃料重卡產品。