首頁>Club>
微軟的Project Natal上攝像頭為何沒有在科研中廣泛應用?請問監視攝像頭運用這種技術豈不是可以更準確檢驗出目標了?對於計算機視覺,人類透過雙眼的的合成影像可以判斷事物的遠近,那麼增加深度檢測功能對於攝像頭來說是不是很重要,這樣才能透過計算機視覺模擬人類視覺?
32
回覆列表
  • 1 # 繁星落石

    飛行時間測距的原理是根據光速不變的原理,透過計算光線發出與接收的時間差,可以得到光線飛行的路程。當然這個需要相當精細的時間解析度,畢竟以正常的傳輸距離來說,光線飛行時間可能都是毫秒級以下的差距。

    對於攝像頭來說,深度資訊可以進行語義分割,可以輕鬆判斷出遮擋關係。但是應用起來一個是距離有限,再一個成本也是問題。

  • 2 # 科技一杆槍

    我們發現,現在推出的品牌智慧手機往往都搭載了一顆3D深感攝像頭,也叫TOF鏡頭、景深鏡頭。這種深感攝像頭其實利用的是3D成像技術,不僅用在手機端,同樣在智慧汽車的自動駕駛上、需要人臉識別的場景下、以及製作電影特效捕捉等領域發揮著重要作用。那麼什麼是3D深感攝像頭呢?又起到什麼作用呢?

    3D深感成像感測技術

    當前主流的3D成像感測技術主要有三類:雙目立體視覺技術、結構光技術和TOF飛行時間技術,他們有各自的優缺點及適用範圍。

    1、雙目立體視覺(Binocular Stereo Vision)

    這種技術靈感源自人類的雙眼,是一種利用視差原理來獲取空間深度感知,從而進行3D成像的技術。我們知道人的兩隻眼睛看到的物體是存在一定差別的,假設是兩張影象,雙目立體視覺就利用這種視差,用兩個攝像機來捕捉影象,建立特徵點在兩張影象之間的對應關係,進而繪製出特徵點在三維空間內的位置。見下圖:

    雙目立體視覺原理

    雙目立體視覺技術原理簡單,成本較低,近些年在機器人視覺系統中應用較為廣泛,同時在測繪、醫療成像和工業檢測等領域中也有著不同程度的應用。但是它的缺點也很明顯,雙目成像無法獲知目標點準確的深度距離,精度較差,所以在智慧手機端並沒有應用。

    2、結構光技術(structured light)

    結構光的意思就是將光線結構化,使其具有一定的結構特徵。這裡面需要用到紅外鐳射發射器和採集攝像機,鐳射器發出的光經過預定的光柵或者其他裝置產生出結構特徵的光線,投射向被測向物體表面,再由一組或多組攝像頭採集被測物體的表面獲取影象資訊,由計算機系統對採集的資訊進行深入處理成像。

    結構光技術原理

    相比於雙目視覺技術來講,結構光可以得到準確的距離資訊,優勢在於效率高、低能耗、成像解析度高,適合靜態場景的應用,所以廣泛應用在人臉識別和人臉支付等場景。結構光技術的缺點是覆蓋距離太短,識別深度在1.2米以內,故而可以應用在手機前置自拍上,比如iPhone X的攝像就採用了結構光技術。

    3、飛行時間技術(Time Of Flight)

    飛行時間技術顧名思義就是說測量光在空中飛行的時間的技術,是指由TOF感測器向目標物體發射經調製的脈衝型近紅外光,在被物體反射後,再由TOF感測器接收反射回的光線,透過計算光線發射和反射時間差或相位差,來確定被拍攝物體和鏡頭、環境之間的距離,以產生深度資訊,再結合計算機處理來呈現三維影像。

    飛行時間TOF原理

    TOF可能是大眾瞭解度較高的技術,主要是得益於它在手機攝像頭上的大量應用。TOF技術相對來說,具有測量精度高、重新整理率fps高、抗干擾性強、覆蓋範圍遠等優點,成像識別距離可以達到5米左右,比結構光技術遠得多,並且在捕捉動態成像上表現出色。這也是它在手機攝像矩陣中佔據一席的原因之一,除此以外,TOF技術還應用在掃描成像、VR/AR等領域。

    TOF深感鏡頭測距原理

    以上三種技術最有前景的當屬TOF技術,很多廠商也在從雙目、結構光技術向TOF技術轉變,下面就以TOF技術展開講解。前面說了飛行時間技術的基本過程,那麼它應用在移動端的3D深感鏡頭又是如何工作的呢?

    1、TOF深感鏡頭基本結構

    一套TOF深感鏡頭包括光源、光電探測器、脈衝發射單元和邏輯處理器。光源通常採用紅外線,脈衝裝置多用是讓光源可以連續不斷的發射調製的紅外光,照射到目標物體上,並接收源源不斷的反射光線。

    TOF鏡頭測距示意圖

    2、光的飛行時間如何測量

    我們根據速度公式:c=d/t,c為光速,d為距離,t為時間。那麼我們測量出光線在發出及返回之間使用的時間,再乘以光速就是距離。

    但是我們知道光的速度是3x10^8m/s,對於這麼快的光速,那麼對時間的測量精度就需要達到皮秒級,這就要求電子計時器要有數百GHz的時鐘頻率。這麼高的頻率和精度使得測量器件製造成本和難度都很大,所以我們尋求了一種低頻率測量的方法。

    我們再來看另一個速度公式:c=λ,c仍然是光速,λ是波長,是頻率。現在,我們將光源調製成正弦脈衝波,當光波遇到目標物體後發生反射,再用感測器來接收反射回來的正弦波,這時正弦波形會產生一定的相位偏移,而這個相位偏移就可以用來計算波形傳播的距離。

    光在發射及返回後發生相位移

    以上圖來輔助說明,就是調製頻率,藍線表示發出時的光波函式,紅線表示返回時的光波函式,它們之間產生了相位角差值φ,那麼利用相位角配合公式:d=c·φ/4π就可以算出物體和TOF深感鏡頭的距離了。

    3、手機端TOF鏡頭例項

    手機TOF鏡頭測距例項

    深感攝像頭的應用及前景

    根據諮詢機構的統計預測,得益於手機終端等電子裝置的科技發展,和數碼消費的火爆市場,可全球3D成像與感測的市場規模到2022年將達到90億美元,而這一數字在2016年才13億美元。CAGR即複合年均增長率能達到近38%。

    全球3D成像與感測市場增長趨勢

    前面說的3種深度感知成像技術在軍事、工業、醫療、汽車、家居等方面都有著大量的應用,下面講解幾個跟大家平時使用較為密切的應用,比如:

    1、人臉識別、動作識別

    如蘋果公司的產品iPhone X的前置攝像頭就是搭載了結構光技術,可以在近距離下識別手勢動作和人臉,是一種便捷又安全的識別模式,支援用來進行人臉支付或解鎖等操作。

    除了識別人臉,還能識別手勢、動態,比如捕捉動作的體感遊戲,還有用手勢控制智慧家電的開關、亮度。

    2、配合手機相機功能

    如今華為、OPPO等手機廠商的相機功能已經越來越“浮誇”,都是高畫質主攝+超感光+超廣角+長焦+景深鏡頭,這裡的景深鏡頭就是TOF深感攝像頭,得益於積體電路和電子感測器的突破技術,現在TOF技術也可以做的很小,整合到手機裡,並實現較遠距離的拍攝。

    景深鏡頭攝入的景象肯定是比其他鏡頭更準確,但它並不能單獨進行攝像,因為解析度不夠高,所以要搭配一顆或幾顆高畫質的主攝像頭。

    3、AR、體感、全息影像等

    TOF技術的景深功能能較好地獲取物體不同部位的具體深度資訊,可以用來實現3D方位上的很多不同場景應用,比如配合第三方提供的資料可以實現AR場景展現、虛擬換裝等效果。

    TOF在手機上的應用場景

    總結:TOF技術的優勢使得TOF比結構光和雙目視覺應用場景更寬廣,尤其是在手機移動端的整合。我們期待未來能有更多更好玩的功能出現在手機上,畢竟科技改變生活嘛。

  • 中秋節和大豐收的關聯?
  • 高通驍龍865外掛5G基帶,訊號會差或者網路不穩定嗎?