首頁>科技>

三維感測技術從感知方式上分類可以分為接觸式測量和非接觸式測量。

接觸式測量主要依靠標定 的被動機械臂直接接觸物體表面,逐點對物體輪廓資料進行釆集,對其形態資訊進行三維測量。這種方法的優點是測量精度高,可達到微米級別。但是其缺點也包括了測量效率低,不適合形態複雜物體測量,對測量環境要求較高等。

非接觸式測量主要指依靠光、 聲、電磁學等方式接觸物體表面以獲取物體三維資訊的方法。而其中基於光學的三維測量技術是目前最典型也是應用最廣泛的三維感測技術。如圖 1所示, 典型的光學三維感測技術主要包括光度立體視覺、 雙 (多) 目立體視覺、飛行時間法、鐳射線掃法、散焦恢復形狀法、結構光投影法等,而結構光投影又包括條紋投影與散斑投影法等。

1、光度立體視覺法

光度立體視覺技術最早由 Woodham提出,其假設了一個已知的重構函式,即理想的朗伯體反射模型。採用一個相機和幾個發光強度相同的光源,保持相機和拍攝物體靜止,透過改變光源方向,同時拍攝 物體在不同光源照射條件下的一組影象,然後根據這 些影象計算出物體的表面法向,再由法向求解出物體 表面三維形狀,圖 2 給出了光度立體法對斯坦福兔的 三維測量結果。隨後一系列方法被提出以解決光度立體法模型、對高光物體測量及標定等問題。光度立體法的裝置較簡單,但對環境要求嚴格,並需要待 測物表面為嚴格平滑的漫反射朗伯體,對於具有陡變或者反射特性較為複雜的物體難以適用。

圖 2 光度立體法對斯坦福兔子的測量結果。(a) 斯坦福兔子模型; (b) 法線圖; (c) 重建圖

2、(被動) 立體視覺法

立體視覺是一種模擬人類視覺原理的被動深度感知方法。測量系統基於三角測距原理,用兩個或多個相機從不同角度獲取同一場景的多幅影象,透過對同一物點在各幅影象上檢測和匹配,根據立體視差進行測距,得到物體該點的深度資訊。其原理如圖 3 所示。立體視覺測量系統硬體結構簡單,易實現。其主要難點在於立體匹配,實際應用中由於遮擋或陰影的影響,可能會產生視覺資訊不足的問題,導致誤匹配。另外,對於無明顯表面特徵的物體,也難以從多個視角中找到對應點,因而無法進行準確的三維重建。但值得提及的是,立體視覺法的基本三維重建原理和後面所介紹的結構光投影法是一致的。

圖 3 立體視覺法示意圖

3、飛行時間法 (ToF)ToF 技術透過記錄光束傳播時間來計算被測物體表面的深度距離。其原理如圖 4所示,系統發射裝置發射脈衝訊號,經被測物體反射後被探測器接收,透過光訊號從發出到接收的時間與光速便可以計算出深度值。該方法可避免陰影和遮擋帶來的問題,但由於裝置裝置的限制,測量精度一般在毫米級。若想達到更高的精度,就需要更加複雜、昂貴的裝置。雖然許多學者嘗試將飛行時間法與多視幾何相結合來提高測量空間解析度與測量精度,但與高精度測量方法相比,飛行時間法還存在一定的差距。

圖 4 飛行時間法原理圖

4、鐳射線掃法

鐳射線掃法的原理如圖 5 所示,它是一種最簡單的結構光三維測量技術。該技術利用線鐳射器投射一維線鐳射到物體表面,影象採集裝置採集到物體表面變形的線鐳射,然後根據三角測量原理得到物體表面相應位置的三維資訊。線鐳射掃描方法的優點是 其資料採集不依賴外部光照環境,對目標場景要求低,操作簡單直觀,自動化程度高。但由於鐳射掃描器本身技術的限制,它也存在以下不足:掃描速度較慢,鐳射掃描器造價高;其最高精度和最大掃描距離是固定的,無法像攝影測量那樣透過方案設計 來得到提高;無法獲取高質量紋理資料等。寬泛意義上來說,鐳射線掃法其實是結構光投影法的一種極端特例。但由於投影圖案就是一條直線,所以測量效率要比全場結構光技術低得多。

圖 5 鐳射線掃法原理圖

5、散焦恢復形狀法

散焦恢復形狀法 (Shape-from-defocus, SfD) 的原理如圖 6 所示,散焦恢復形狀是透過處於不同深度方向物體在影象中離焦的程度來恢復物體的深度值,測量過程中需要移動被測物或是相機,拍攝至少兩張不同聚焦程度的影象。1995年,哥倫比亞大學的Nayer首次實現基於離焦投影恢復的三維面型測量法,其向被測物體投射設計好的圖案,經被測物體反射後,透過分束稜鏡將光線分離,由兩個相機在同一個方向分別採集,由於兩幅影象具有不同的離焦資訊,因此可以計算出相機影象中每個畫素的深度值, 如圖 7 所示。測量過程中,投影與採集方向幾乎一 致,因此測量時很少會受到遮擋與陰影的影響,並且計算過程較為簡單,在不依賴於高效能硬體條件下便可以實現實時動態三維面形測量。1998 年,Nayer 等 人在不使用主動光源的情況下,實現了具有紋理表面物體的三維測量。然而,該方法的深度測量精度還有待進一步提升。

圖 6 散焦恢復形狀法測量原理圖

圖 7 散焦恢復形狀法測量結果

6、結構光投影法

結構光投影法是一種非常流行的非接觸式三維形貌測量技術,其具有硬體配置簡單、測量精度高、 點密度高、速度快、成本低等優點,已在工業和科學研究中得到廣泛應用。從本質上講,結構光投影法可以看作是立體視覺法的一種改進形式,其透過將立體視覺中一個攝像機替換成光源發生器 (如投影儀) 而 實現,原理如圖 8 所示。光源向被測物體投影按一定規則和模式編碼的影象,編碼圖案受到物體表面形狀的調製而產生形變。帶有形變的結構光被另外位置的相機拍攝到,透過相機與投影光源之間的位置關係和結構光形變的程度可以確定出物體的三維形貌。

相比於立體視覺法,其最大優點在於投影儀將結構光影象投射到物體上,由於物體表面被編碼圖案所覆蓋,可以很容易地克服立體視覺中的立體匹配問題。此外求解物體初相位時是點對點的運算,即在原理上某點的相位值不受相鄰點光強值的影響,從而避免了物面反光率不均勻或觀察視角的偏差引起的誤差,測量精度可以達到幾十分之一到幾百分之一個等效波 長。有關結構光投影法的基本原理可見 Geng 等的結構光教學論文。

圖 8 結構光投影法示意圖

在過去的幾十年中,基於結構光投影法的三維形狀測量技術在計算機視覺和光學測量領域得到了迅速發展。在計算機視覺領域中,結構光投影技術通常被稱為 3D 掃描,且所使用的結構光投影圖案主要集中於基於離散強度方案。它們可進一步分為空間編 碼 (單次拍攝) 和時間編碼 (多次拍攝) 的方案。空間 編碼方法有 De Bruijn編碼,非正規碼和M-array 碼。這些方法的關鍵思想是保證區域性編碼在全域性影象中的唯一性。時間編碼方法是將有一定編碼的圖案連續投影到物體表面上,方法包括時間二進位制碼、時間 n 元碼和格雷碼。此外,還有學者提出使用紅、綠、藍三通道的彩色圖案或彩色多路複用結構光投影法來提高編碼效率並減少三維重建 所需的結構光圖案。關於這些編碼方案的基本原理和實際效能的更多細節,可見 Salvi 等人的綜述文章。由於數字光學投影儀的快速發展,使得所投影的面結構光可以透過計算機程式設計更為靈活地進行選擇, 並最大限度地提高測量精度和速度,這些優點使結構光投影技術成為最具潛力的三維面形測量技術之一。

6.1、條紋投影輪廓術

在光學測量領域,最具代表性的結構光投影技術被稱為條紋投影輪廓術 (Fringe Projection Profilometry,FPP)。FPP 具有結構簡單、精度高、速度快、成本低、 易實現等優點,其在工業和科學研究領域都有較廣泛的應用。當代條紋投影輪廓術主要採用數字光柵投影技術,該技術透過利用數字裝置取代機械裝置生成與投影面結構光光柵,使得編碼過程更加靈活準確。此外由於現代電子裝置的高速發展,數字投影裝置和採集裝置的速度越來越快,結構光條紋投影技術的應用可完全滿足三維面形的高速實時測量 要求。基於條紋投影輪廓術的三維測量系統和結構光投影法的硬體系統相一致,一般由一個投影儀和一個或多個相機組成,如圖 8 所示。在測量過程中,投影儀將光柵條紋投向物體,條紋圖案經物體調製後變形,再由相機採集。從採集到的條紋圖中可獲取物體 相位資訊,相點陣圖中可以找出相機在投影儀中的對應點,然後根據三角關係可求出物體的深度資訊。在此過程中存在三個重要步驟:相位測量,相位展開,相位-深度對映。

FPP 中兩種主要的相位測量技術是 (時域) 相移輪廓術 (Phase Shifting Profilometry, PSP)和(空域) 傅立葉變換輪廓術 (Fourier Transform Profilometry, FTP)。FTP 是一種基於空間濾波的單幀光柵投影法,其最初於1982 年被 Takeda 等首先提出,之後Su,Zhang 等針對此方法開展了系統深入的研究工 作。此外,加窗傅立葉變換 (Windowed Fourier Transform, WFT)和小波變換 (Wavelet Transform, WT)也可用於單幀條紋圖的相位解調。有關傅立葉變換輪廓術的更多詳細的技術細節及其在動態三維測量方面的應用,可見參考文獻。不同於 FTP,PSP 需要至少三幅相移條紋圖案以實現逐畫素的高精度相位測量。PSP 源於鐳射干涉技術,Srinivasan 等首先將相移干涉技術引入三維形貌測量領域。

相比於 FTP,PSP 具有更高的空間解析度和相位測量精度, 並對環境光和物體表面反射率的變化更加魯棒。由於其多幀測量特性,當測量動態場景時,尤其當幀間間隔內的物體運動不可忽略時將導致相位誤差。嚴格來說,運動引起的相位誤差是 PSP 固有且不可避免的問題。但近年來,隨著高幀率影象感測器、高效能處理器和高速數字投影技術的發展,PSP 已逐漸應用於動態場景的高速實時三維測量。筆者所在課題組自 2011 年起針對相移輪廓術及其快速三維測量應用方面也開展了系統性的研究工作,有關更多 PSP 的 技術細節及其相位誤差分析的內容可見參考文獻。

無論是 PSP 和 FTP,與目標高度所對應的相位分佈都由反正切函式得出,其範圍限制在-π 和 π 之間, 這樣的相位稱為截斷相位或包裹相位。為了建立相機和投影儀之間一對一的畫素對應關係,並正確重建三維形貌,需對相位進行展開/相位去包裹。

常見的相位展開法分為空間相位展開和時間相位展開兩大類。

空間相位展開通常只需一幅單獨的相點陣圖,依據畫素鄰域內的相位值實現相位展開。代表性的空間相位展開法主要包括可靠度引導的相位展開法、剪枝法、多網格法、最小LP範數法、掩膜切割法、p最小二乘相位展開法等。但對於孤立物體和不連續表面的相位分佈,利用空間相位展開法理論上是無法無歧義地實現可靠的相位展開的,如圖 9 所示。

圖 9 孤立物體和不連續表面的包裹相位存在條紋級次歧義

時間相位展開方法透過採用多個包裹相位分佈或新增額外的黑白編碼圖案來提供關於條紋級次的額外資訊,以解決相位歧義問題。與空間相位展開相比,時間相位展開中的每個畫素的條紋級次都是獨立計算,無需參考鄰近畫素,因此可以展開任意複雜形狀表面的包裹相位分佈。其中常用的演算法包括格雷編碼法與多頻時間相位展開法。有關於時域相位展開的基本原理和各類演算法的技術對比可見參考文獻。

透過解算出的物體的絕對相位資訊,就可以找出相機所拍攝影象在投影儀影象中的對應點,然後根據三角關係可求出物體的深度資訊。這種三角測量與立體視覺的三維重建原理是立體視覺與所有結構光 三維測量技術的基礎,在第三章進行了詳細討論。

6.2、散斑結構光投影法

與條紋投影輪廓術類似,散斑結構光投影法也屬於結構光投影技術。其三維重建的基本流程為:

首先,對物體投射隨機散斑圖案,利用提前標定好的雙目相機同時拍攝物體獲取左右原始散斑圖;其次,對原始散斑影象進行極線校正和散斑區域提取,在此基礎上利用數字散斑相關方法搜尋整畫素對應點並根 據視差約束剔除誤匹配;然後透過合適的亞畫素搜尋方法得到準確的亞畫素對應點;最後,利用三角測量原理重建出物體的三維形貌。

數字散斑相關測量技術具有系統簡單,單幀重建,測量範圍大等諸多優點。散斑結構光投影法是文中所要討論的主要內容。文章的後續章節將對其基本原理、關鍵技術、典型應用等進行了詳細分析與討論,因此這裡只做簡單介紹。

(1. 南京理工大學 電子工程與光電技術學院 智慧計算成像實驗室 (SCILab),江蘇 南京 210094;

2. 南京理工大學 江蘇省光譜成像與智慧感知重點實驗室,江蘇 南京 210094;3. 南京鋯石光電科技有限公司,江蘇 南京 210094)

10
最新評論
  • 整治雙十一購物亂象,國家再次出手!該跟這些套路說再見了
  • 「多主攝融合計算攝影」是什麼?吐槽榮耀Magic3影像技術釋出會