點雲的不同結果。從左到右依次為原始、陰影、有色、體素化、半形化的點雲

接觸3D點雲以後，我們通常根據Reality Capture的發展進行相應的調整，以獲得更加清晰的資料集。相信很多小夥伴都還記得第一次使用鐳射掃描器時，對於它的執行速度和獲取3D點雲結果圖都有著非常深刻的記憶。

3D掃描廢棄羊毛洗滌裝置

但我們是如何開展工作的呢？當時，該處理過程由幾個手動步驟組成，例如過濾、配準、清理、分割、分類、劃分網格、數字化…… 某些部分（主要是配準，過濾和劃分網格）已經得到了很好的發展。但是依舊要為每個應用程式更改資料的性質（例如，從點雲到向量）？

手動數字化過程，可在Flyvast線上點雲軟體中建立dwg檔案

有沒有更有效的工作流程？

觀察方式

“當我們在熟悉的場景上睜開眼睛時，我們會對可識別的物體產生直接的印象，這些物體在空間框架中連貫地組織著”。

1980年，特賴斯曼用簡單的術語定義了人類視覺感知背後的複雜機制。對於正常人來說，這是我們的認知決策系統的主要資訊來源。可以透過我們的大腦來擴充套件，可以迅速適應新的環境，並且透過我們的眼睛捕獲的最重要的材料。實際上，大腦每秒僅接收三個“影象”，這些影象經過排序並與先驗知識結合在一起，以建立我們所體驗的現實。

這個影象有意義嗎？

利用當今的計算能力實現這樣的過程是可行的。雖然確實很難模仿這種操作，但是研究我們如何與環境互動資訊可以更好地把握髮展方向。

比較

首先，它轉化為感測器的使用，該感測器可以捕獲計算機可用的關鍵輸入。

該影象中的每個向量都由感測器（人工或自然）引導

然後，我們針對基於收集的資料和可訪問的資訊儲存庫的過程，以產生“語義表示”：將概念及其含義整合在一起的場景描述。在這種情況下，空間感測器扮演著我們的眼睛的角色，以獲取數字空間資產，並利用現有知識進一步完善為語義表示。

感測器扮演我們眼睛的角色，空間框架成為語義表示，並且標記場景

這種可用性通常是第一個問題。我們的線上認知感知會使用我們的記憶，並且可以在很短的時間內獲取所需的證據。使用計算機來映象此階段非常複雜，並且尋求一種儘可能多才多藝的解決方案是一項重要的挑戰。

嘗試虛擬化認知決策系統時的第二個瓶頸是建立語義表示，如下圖所示。領域知識的收集和附加到底層空間資料與巨大的整合和挖掘有關資料型別，源或表示形式的複雜性有關。

3D點雲表示與3D語義表示

資料

3D點雲

主要挑戰圍繞著感測器收集的資料的特異性。當不需要深度提示時，單個光柵影象或影片流非常有用，但是要模擬我們的3D視覺認知，則需要更豐富的資料基礎。現實捕獲裝置允許獲取這樣的詳盡的3D空間資訊，主要是作為點雲：{X，Y，Z}（+屬性）空間集合，該集合以數字方式代表感測器的強度和侷限性所記錄的環境。這些工具和獲取方法的前景已經足夠成熟，可以允許從物件範圍到國家範圍的真實世界的數字副本，如下所示。

捕獲和組合不同資料集的實時多尺度點雲

點雲大資料

這些所謂的點雲的獲取變得更加容易，快捷，甚至可以透過非常低成本的解決方案進行訪問。不幸的是，所有這些硬體演進都沒有跟隨其相應的軟體演進，這受到5 V大資料問題的嚴重影響，如下所示。

點雲環境下的大資料的五個V

連線大量感測器/方法可建立異構點雲資料集（變數），並參與海量資料儲存庫（卷）的構造。反過來，它降低了處理效率（速度），並提出了將大量點資料轉換為可信賴的（準確性）和可操作的資訊（價值）的新需求。

可交付成果

在從資料收集到可交付的建立的經典過程中，點雲獲取和處理工作流通常取決於應用程式。儘管收集步驟可能特定於手頭的感測器，但點雲即交付的熱潮卻成為許多行業的實際選擇。這種面向任務的場景主要將這些視為空間參考（專家用來建立其他可交付成果），因此是專案與現實的最緊密聯絡。它帶來了準確的現實世界資訊，可以基於數字現實進行決策，而不是解釋性資訊或最新資訊。

如今，“大腦”已經成為桌子後面的專家，它將處理點雲以提取可交付成果

此外，在特定於應用的交付物中轉換點雲的過程在時間/人工干預上非常昂貴。對於人類的專業知識來說，要充分地處理大量複雜的資訊變得越來越複雜，這些資訊通常在一個專案的不同參與者/支持者之間相互矛盾。因此，對於可持續系統而言，關鍵點是將大的點雲資料轉換為更有效的流程，從而開啟有助於決策和資訊提取的新一代服務。

我們需要找到大規模自動化和結構化的方法，以避免特定於任務的手動處理和不可持續的協作。

協同合作

作為人類，我們在大規模合作中collaboration壯成長。我們最大的成就通常是建立在資訊，服務等的有效交換上。點雲通常非常大，具體取決於收集了多少資料（通常在千兆位元組（如果不是TB）的範圍內），並且通常註定要存檔，以作為建立新型資料和產品的可重用支援。這可能導致指數儲存需求陷入僵局，輸出之間不相容，資訊丟失以及複雜的協作。

這些實踐還表明，沒有試圖概括框架的嘗試，而框架反過來又可以作為進一步互操作性和概括的共同基礎。這種缺乏會適得其反，並可能導致參與者之間資料混亂的重新分配，並使對每個獨立針對某個應用程式的幾個外包服務的依賴性惡化。這強調了研究互操作方案的強烈需求，在該方案中，來自不同域的許多使用者可以使用一個點雲，每個使用者都有不同的需求。

反過來，這將在獲取級別引入新的約束，以定義與推理引擎一起使用所需的3D表示的窮舉性。當然，這為互連流程以及確保與不同源，卷和其他資料驅動引數的相容性帶來了其他挑戰。

自動化

在此連續過程中，反思將從以人為中心的過程轉向以自主工作流為導向的研究，以開發自動化和AI來加速推理過程。這對於在需要識別物件的3D捕獲工作流中開發點雲至關重要。

機器人研究在提供自主3D記錄系統方面取得了飛躍，我們無需人工干預即可在其中獲得環境的3D點雲。當然，遵循這種想法發展自主勘測意味著需要將資料用於決策。沒有上下文的收集的點雲不允許做出有效的決策，並且需要專家的知識來提取必要的資訊併為決策提供可行的資料支援。為完全自主的認知決策系統自動化此過程非常誘人，但提出了許多挑戰，這些挑戰主要與點雲的知識提取，知識整合和知識表示有關。因此，必須專門設計點雲結構，以允許計算機將其用作資訊提取的基礎，

AI驅動的自動物件以無人監督的方式識別的結果。每種顏色代表自動識別的不同類別

結果

所以是的，點雲很大。是的，我們需要特定的“技巧”來儲存和處理它們，但幾十年前的影片也是如此！這對您的特定行業意味著什麼？您將很快可以使用3D捕獲環境的“大腦表示”，以便您根據自己的意願進行查詢。但是，當然，3D感測器的廣闊前景使識別過程成為廣闊的研究探索領域！

發展方向

這些想法基於屢獲殊榮的論文“智慧點雲” [1]，其中包含有關解決這些問題的有效解決方案的更多技術細節。但是，當然，正如長期研究工作經常出現的情況一樣，一開始就會遇到很多問題。

參考文獻

Poux, F., 2019. The Smart Point Cloud: Structuring 3D intelligent point data. Liège, Committee: R. Billen, F. Remondino, P. Van Oosteroom, Y. Cornet, P. Hallot, P. Grussenmeyer. https://orbi.uliege.be/handle/2268/235520