低成本鐳射雷達(如Livox鐳射雷達)的出現與應用，使我們能夠以更低的預算和更高的效能去嘗試和開發這種SLAM系統。
文｜松靈機器人
2020年11月23日，一篇名為《CamVox: 一種低成本、高精度的鐳射雷達輔助視覺SLAM系統》論文發表在康奈爾大學的arXri平臺，該論文由南方科技大學ISEE團隊基於SCOUT MINI移動機器人平臺進行快速二次開發，並在平臺上搭載了GPS、Camera、LivoxHorizon、IMU等裝置。
圖一示出了從CamVox構建的示例軌跡和地圖
CamVox是什麼？
近年來，自主移動機器人得到飛速發展，在基於相機的同步定位和建圖(SLAM)基礎上結合鐳射雷達是提高整體定位精度的有效方法之一，尤其是在大規模室外場景下。低成本鐳射雷達(如Livox鐳射雷達)的出現與應用，使我們能夠以更低的預算和更高的效能去嘗試和開發這種SLAM系統。
南方科技大學ISEE團隊透過探索Livox鐳射雷達的獨特特徵,將Livox鐳射雷達應用到視覺SLAM(ORBSLAM2)中,提出了CamVox。同時，基於Livox鐳射雷達的非重複特性, 提出了一種適用於非受控場景的鐳射雷達-相機自動標定方法，更長的深度探測範圍也有利於更有效的建圖。
為什麼要實現CamVox？
由於豐富的角度解析度和資訊豐富的顏色資訊，相機可以透過簡單的投影模型和光束調整提供良好定位和建圖效能。從最初的單目相機到雙目相機，再到RGB-D相機，它們都有著不同型別的問題，這些問題對精度、尺寸會產生較大影響。即便後來採用融合像機和IMU的組合方式，卻因為消費級IMU只能在相對較低的精度下工作,並且IMU本身容易受到偏置、噪聲和漂移等的影響，但是高階IMU的成本非常高，這些都不利於IMU進行普及。
另一方面，鐳射雷達提供了直接的空間測量。鐳射雷達SLAM框架已經開發出來且相對成熟，但是多線鐳射雷達通常成本太高，無法用於實際應用。幸運的是,Livox推出了一種基於稜鏡掃描的新型鐳射雷達，由於採用了新的掃描方法，成本可以大大降低,被大規模採用。此外這種新的掃描方法允許不重複的掃描模式，非常適合於在累積時獲取相對高畫質晰度的點雲。此功能在校準鐳射雷達和相機時非常有用，因為傳統的多線鐳射雷達缺乏線間空間的精度，稜鏡設計還具有用於訊號接收的最大光學孔徑,並允許遠端檢測。
圖二表示與傳統鐳射雷達相比，三種Livox鐳射雷達模型的點雲密度隨積分時間的變化
由於鐳射雷達的遠距離探測和高精度特徵,相機和鐳射雷達之間的外部引數標定成為更重要的考慮因素。鐳射雷達相機的建議解決方案可以分為兩種方式。第一個是標定過程是否需要一個比標定目標，第二個是標定是否可以在沒有人為干預的情況下工作。這些年來,許多標定技術都是基於固定的校準目標或人工努力，但到目前為止,標定仍然是一項具有挑戰性的任務，在不受控制的場景中，沒有用於標定鐳射雷達和攝像機的開源演算法。Livox鐳射雷達的非重複掃描模式可以提供一個更容易的解決方案。
如何實現CamVox？
由於從Livox lidars獲得的稠密、長距離和精確的點與相機影象相融合，因此可以分配比傳統RGB-D相機(由於檢測距離)或雙目視覺相機更多的近點。因此相機和鐳射雷達的優勢可以透過緊耦合的方式加以利用。
A.硬體和軟體
CamVox硬體包括一個MV-CE060-10UC滾動快門相機，一個Livox鐳射雷達和一個慣性測量單元(慣性感測INS)。附加的GPS-RTK(慣性導航系統)用於地面真實度估計。
系統在幾個並行執行緒上執行，如上圖所示。除了ORB-SLAM2的主要執行緒之外，還添加了一個額外的RGB-D輸入預處理執行緒，以捕獲來自同步相機和鐳射雷達(IMU校正)的資料，並將其處理成統一的RGB-D幀。可以觸發自動校準執行緒來校準相機和鐳射雷達，當檢測到機器人不移動或透過人類互動時，自動進行校準。然後對校準結果進行評估並輸出，用於潛在的引數更新。
B.預處理
預處理執行緒從鐳射雷達獲取原始點，由IMU進行校正，並根據相機的外部校準投影到深度影象中，然後將RGB影象與深度影象組合作為RGB-D幀的輸出。由於鐳射雷達持續掃描環境，每個資料點都是在略有不同的時間戳獲得的，需要IMU進行校正。
圖三為機器人平臺、CamVox硬體組成、圖片案例
為了糾正當機器人處於連續運動時點雲變形的這種失真，機器人的運動是在每個鐳射雷達點輸出時間從慣性測量單元姿態插值，並轉換當觸發訊號開始時，鐳射雷達指向鐳射雷達座標，這也是捕捉相機影象的時間。
圖5示出了當機器人處於連續運動點雲變形的例子
C.校準
由於鐳射雷達的遠端能力，校準精度在CamVox中至關重要。由於Livox鐳射雷達不重複的特性，只要我們能夠積累幾秒鐘的掃描點，深度影象就可以變得像相機影象一樣高解析度，並且與相機影象的對應關係變得容易找到。
圖七為整個校正演算法的結構
因此我們能夠基於場景資訊在幾乎所有的現場場景中自動進行這種校準。當檢測到機器人靜止時，設定自動校準的觸發，以消除運動模糊。我們在靜止狀態下積累鐳射雷達點幾秒鐘，相機影象也被捕獲.
結 果
具體來說,我們將首先顯示自動校準的結果，還評估了為關鍵點選擇深度閾值的效果。最後，我們評估了CamVox與主流SLAM框架的比較軌跡，並給出了時間分析。
A.自動校準結果
圖八為自動校準結果
B.關鍵點深度閾值的評估
C.軌跡比較
D.計時結果
CamVox框架的時序分析如表二所示。自動校準大約需要58s完成。因為校準執行緒僅在機器人處於靜止狀態時偶爾執行，並且引數的更新可能發生在稍後的時間，所以這樣的計算時間對於實時效能來說不是問題，
結論和展望
綜上所述，提出CamVox作為一種新的低成本鐳射雷達輔助的視覺SLAM框架，旨在結合兩者的優點，即來自攝像機的最佳角度解析度和來自鐳射雷達的最佳深度和距離。由於Livox鐳射雷達的獨特工作原理，開發了一種可以在不受控制的場景中執行的自動校準演算法。在自動校準精度、關鍵點分類深度閾值和軌跡比較方面對新框架進行了評估。它也可以在機載計算機上實時執行。南方科技大學ISEE團隊希望這個新的框架可以用於機器人和感測器研究,併為社群提供現成的低成本解決方案。
選對一個機器人平臺，專案已成功了一半
機器人底盤承載著機器人定位、導航、移動、避障等多種功能，是機器人必不可少的重要硬體。同時，機器人作為一個多種技術與功能的集合體，除了部分軟體功能之外，其他重要部分都在機器人底盤這一硬體模組之上，機器人底盤不僅是各種感測器、機器視覺、鐳射雷達、電機輪子等裝置的整合點，更承載了機器人本身的定位、導航、移動、避障等基礎功能。
據瞭解，市面上機器人底盤的價格通常在2-10萬之間，對於功能要求越高的機器人，底盤的價格也相對越高，在成本和功能之間始終無法找到一個平衡點，高昂的成本讓不少企業和消費者難以負擔。同時，現在的服務機器人底盤普遍採用的是通用底盤，但其實不少下游企業對底盤的製作要求各不相同，根據場景的差異，對形狀大小的要求也不盡相同。
針對這一現狀，松靈機器人自主研發了包括SCOUT 2.0, SCOUT MINI, HUNTER 2.0, BUNKER, TRACE等通用底盤。上文所採用的機器人底盤-SCOUT MINI是松靈機器人專為前沿科學實驗設計的全能型移動研究平臺。
SCOUT MINI小巧緊湊的設計使其能夠輕鬆進入室內，獨立的懸掛可以適應各種崎嶇路面。其路徑結構設計核心是緊湊，在保證功能的前提下，SCOUT MINI 使用輪轂電機驅動+搖擺臂獨立懸架，可輕鬆翻越 70mm 障礙物、斜坡，進入單開門、電梯間，在室內外場景自由切換。SCOUT MINI使用多種動力輪胎（公路輪/麥克納姆輪），車輛四周也可安裝安全護欄或外設支架，方便在野外和特殊環境中使用。並且能夠放入汽車後備箱中，快速投放到現場。
此外，SCOUT MINI的標準化協議和介面，方便快速進行二次開發；多方位的安裝支架提供豐富的外部裝置支援。自帶獨立主控可以完成自身的運動控制，並可以定製複雜的操作模式，主控提供串列埠/標準 CAN 匯流排作為通訊介面，可以接入差分 GPS、慣導系統、雙目攝像頭、鐳射雷達、紅外/超聲波避障感測器等一系列外部裝置。同時支援更高階的自動駕駛系統的接入，例如 ROS、百度 Apollo 等都可以以此作為移動平臺，做應用開發。
透過加裝不同的上部元件和導航系統,松靈機器人底盤目前已落地多個場景，包括自動駕駛教學、室內外巡檢、環境探測、物流運輸配送以及各種新的需要移動底盤的應用探索中等。
巡檢
巡檢領域是當前應用最廣的一個領域，客戶在底盤上面新增鐳射雷達、IMU、超聲波雷達、人臉識別、警報等感測器後，使機器人能夠應用在化工廠巡檢、街道巡檢、倉庫巡檢等地。
巡檢機器人
例如廣智微芯就通過鬆靈SCOUT開發了完全自主智慧路徑規劃和導航的智慧巡檢車，透過本地智慧影片分析技術，實現異常侵入、打架鬥毆等危險情況告警功能。
廣智微芯——智慧巡檢車
基於松靈智行導航套件，開發了能夠在工地上自主導航、實現路徑規劃的工地巡檢車，透過鐳射雷達、超聲波雷達、攝像頭等感測器，可實現影片拍攝錄製、人臉識別、自動避障、自動軌跡巡檢等功能，能夠在工地上日夜巡視，全天候作業，降低人力成本。
工地巡檢車
沙漠綠化
種樹機器人
5G應用
隨著5G應用的部署，松靈機器人聯手華為榮耀推出5G手機遠端操控消毒機器人。使用榮耀V30作為控制端，透過5G訊號的加持，輕鬆實現千里遙控，無須人員到場，有效改善一線作業人員的作業環境，實現零距離接觸。
遠端操控消毒機器人
松靈FreeWalker是一套基於4-5G行動網路的遠端超視距駕駛方案，基於4-5G網路大頻寬、低時延的特性，使用者可超視距控制移動機器人完成複雜現場任務，不受距離、環境等因素干擾。該套裝擁有兩個版本：駕駛艙版本適用於專用固定位置遠端駕駛，便攜版本適用於移動或現場遠端駕駛。目前FreeWalker套件已在運營商5G展廳部署，使消費者能夠更直觀的看到5G帶來的革命性應用場景。
Weston Robot——消毒機器人
教育
截至目前，松靈機器人已經與清華大學、北理工、哈工大、南洋理工大學等國內外100多所高校達成合作，並與南科大、東莞理工等院校建立校企合作，在移動機器人底盤領域，開展運動控制、機器感知、ROS開源等方向的課題研究。松靈機器人現已開啟全球性ROS開源生態圈建設，致力於為學校和科研使用者打造一流的ROS學習和交流平臺。
某高校使用案例