雖然一直以來AR眼鏡被視為AR未來的終極形態,蘋果的Apple Glass呼聲也很高,但蘋果的AR生態起步則是基於已有的移動端硬體生態,從軟體與軟體開發工具ARkit開始。
從移動端入手,蘋果的AR生態並非一味等待AR眼鏡的到來
2017年6月,蘋果在WWDC上推出移動端AR開發工具集合ARkit,同年8月谷歌推出ARCore對標ARkit。
這兩者釋出的意義在於幫助AR應用開發者大大降低了AR應用的開發難度,讓AR應用的建立變得更為簡單,從而讓開發者可以專注應用本身的功能與玩法,而且對開發者免費、沒有硬體要求,因此當時掀起一陣AR開發熱潮。
ARCore是隨ARkit的腳步推出的,因此被認為是ARkit的模仿者。實際上,谷歌早在2014便推出AR軟體系統Tango,比蘋果整整早了3年,據稱ARcore便是基於Tango做出的整合升級,所以有網友戲稱谷歌起了個大早趕了個晚集。
然而作為先行者的谷歌與蘋果的思路並不相同,它想要的是AR軟、硬體並行。
因此早期谷歌還嘗試將Tango系統整合至手機硬體上不斷下功夫,率先推出了首款搭載Tango技術的AR智慧手機PHAB2 Pro。
其結果是,谷歌的AR智慧手機最終沒能奪得市場青睞,最終銷聲匿跡,軟硬體並行的策略夭折不說,反倒讓ARkit成為最大的AR平臺。
蘋果生態恰好與安卓生態截然相反,全封閉式生態使得蘋果對硬體、軟體擁有完全的自主權,這讓很多無解的底層問題變得沒有那麼複雜。在發展初期培養C端AR市場對任何廠商來說都是難以跨越的障礙,蘋果也不例外。所以,蘋果在硬體實力強橫的情況下依舊選擇了演算法先行,在兼顧現有蘋果硬體生態的前提下透過收購疊加自身優勢推出ARkit。
而在ARkit推出之後,谷歌同樣選擇了釋出ARCore,從某種程度上來講,可以理解為是對蘋果策略的認同。
從兩者AR的實現方式上看,相比於Tango,ARCore無疑更接近ARkit,兩者都是透過軟體的方式實現,而Tango主要透過特殊硬體模組實現,需要專門的視覺計算晶片、攝像頭、深度攝像頭和感測器。
相較於需要諸多硬體加持的Tango,很明顯,無硬體要求的ARkit的門檻要低很多。
就目前來看,ARkit是最大的AR平臺,據稱,蘋果商店AR應用軟體已超10000款。數量如此龐大,但為何除去當年風靡一時的《Pokeman Go》外,很多人對AR應用依然相對陌生?
蘋果在移動端AR生態的佈局仍處在初期階段。從內容層面來看僅使用ARkit製作的AR應用所能實現的AR效果主要基於演算法,而不是硬體層面做出的真實探測,因此所能實現的效果始終受限。
蘋果移動端想要提供更好的AR體驗,就需要更好的感測器來作為“眼觀六路,耳聽八方”的硬性支撐。
ARkit+LiDAR,蘋果移動端的AR生態開始進入下個階段
早在2017年蘋果釋出ARkit時,AWE聯合創始人同時也是Flyby(Flyby被蘋果收購用作ARkit的基礎研發)聯合創始人Ori就曾表示希望iPhone X能自帶可以廣泛普及AR的關鍵性硬體:後置深度攝像頭,而不是ARkit。
他期望中的深度攝像頭能讓數千萬臺相機感知周圍環境形狀,能讓使用者建立豐富、精確的3D地圖並能夠與其他使用者在AR Cloud上進行分享。
此次iPhone 12 Pro搭載的雷達掃描器LiDAR正好契合了Ori所期待的後置深度攝像頭,即一個能進行主動互動、主動探測感知環境的硬體。
但蘋果為何會在今年推出LiDAR?
蘋果在移動端的努力實際上已經過了幾年的沉澱,除了A系列晶片升級至A14外,蘋果iPhone X也開始啟用Face ID,並首次使用OLED全面屏,其螢幕設計儘可能朝“無邊無界”靠近。
2018年,iPhone11開始使用超寬頻(UWB)技術。UWB技術被稱為MR未來的關鍵,能以大頻寬快速傳輸資料,能實現短距離精確定位。此前新一代寶馬將採用UWB3.0技術的新聞讓UWB被很多人知曉。
再到今年10月,蘋果搭載LiDAR並同時宣佈支援5G,而5G對AR意義非凡。
AR裝置需整合高效能計算裝置,因此即使蘋果手機在已擁有高效能、低功耗,適用於AR/VR裝置的A13 Bionic 晶片的情況下,算力問題依然是困擾iPhone呈現最佳AR效果的一塊絆腳石。而手機搭載A14晶片並支援5G後,可透過高頻寬、低延遲的網路將運算放到雲端,實現輕量化。
一面是5G加速商用化落地的大背景,另一面是已經做足了演算法準備的ARKit,這兩項技術的鋪墊似乎自然而然引出了LiDAR到來的合適時間。
有了LiDAR的加持,蘋果手機除了拍攝效果的提升外,結合Pro級攝像頭、運動感測器、iOS內的架構,其AR應用的表達效果無論是在視覺呈現上,還是與現實世界的互動上都會有大幅度提升。蘋果移動端的AR體驗也將進入下一個階段。
然而將LiDAR整合到手機並非易事。
廠商中為何只有蘋果選擇了LiDAR感測器?蘋果如何將LiDAR整合至成像系統?
對於普通消費者來說,似乎LiDAR更像是增強相機功能的一個輔助黑科技,但其實它是為AR而生。LiDAR作為探測器已存在多年,它與現在手機攝像頭多采用的ToF以及傳統雷達相似,都是基於雷達反射原理進行三維空間內的感知和測量。
這三者的區別在於所發射的光束不同,LiDAR發射是紅外鐳射,ToF發射的是紅外線,而傳統雷達發射的是電磁波,三種光束中LiDAR波長最短,在短距離範圍(蘋果對LiDAR的短距離範圍定義為5米)內所能實現的測量精度最高。
因此,LiDAR在雨雪天氣或是夜間攝像頭無法發揮作用時實用性很強,這項技術受到了自動駕駛、夜間城市拍攝系統的廣泛應用,這也是LiDAR為蘋果攝像效果帶來的好處之一。
但如果只是單純想要提高拍攝效果,LiDAR對蘋果而言不一定就是最好選擇。
iPhone 12 Pro出來後,很多網友拿華為P40 Pro與之進行對比。配備廣角、超寬、3倍遠攝、10倍遠攝以及ToF 五個後部感測器的華為P40 Pro拍攝效果毫不遜色。
從這裡也可以看出,蘋果選擇為iPhone搭載LiDAR並不只是攝像要求這麼簡單。
而且LiDAR裝置價格相對昂貴,體型也並非像今天蘋果所搭載的那樣如此小型,可被直接整合到成像系統。蘋果想要在iPhone上實現搭載,需要將價格降到很低並且將尺寸縮得很小。
因此在ToF能基本滿足目前智慧手機所需的探測精度、距離等各方面需求時,即便LiDAR會帶來更優質的體驗,除蘋果外的手機廠商依然不約而同採用了ToF感測器。
蘋果其實在對LiDAR的應用與掌握上比一般廠商有優勢,因為其一直在研發的自動駕駛汽車所使用的主要感測器便是LiDAR。
即便如此,蘋果同樣要解決LiDAR高成本與難以小型化的問題。
早期的LiDAR體型很大而且並非民用,其應用領域多為航天、遙感等大型裝置與裝置。隨著固體光源的發展,其體型才有了逐步減小並被運用到直升機等裝置的機會。藉助鐳射雷達高解析度的探測,飛行員可在顯示屏上直接看到場景、物體的形狀。
蘋果為了實現在iPhone上搭載LiDAR,據瞭解,採用了VCSEL鐳射+SPAD探測器的技術組合,在使用半導體制造技術製造鐳射器時選擇了由Lumentum製造的一系列垂直腔表面發射器(VCSEL)而非邊緣發射鐳射器來發射光束,並採用一組單光子雪崩二極體(SPAD)感測器來檢測返回的光束。
VCSEL與SPAD都可利用常規半導體技術製造,並且均可被大量封裝在一個晶片上,兩者的組合大大簡化了傳統鐳射雷達的設計。
而且半導體隨著行業經濟體量的擴大價格越來越便宜,基於VCSEL的感測器也越來越普遍,價格逐步走低。這也是蘋果能實現在iPhone上搭載LiDAR的重要原因。
此外,蘋果搭載的LiDAR相較於專業鐳射雷達公司製造,探測範圍可達200多米的高階感測器,其效能還差得很遠,因此在技術上的難度已大大降低。
正是這一系列條件的滿足,讓蘋果成功實現了在移動端搭載LiDAR。
Lidar效果實測
AR眼鏡被視為AR的終級載體,任何有關蘋果AR眼鏡Apple Glass的訊息都極易激發大家的興趣。
一款未被驗明真身的產品能有如此大的吸引力,也只有蘋果能做到了。
如果蘋果的AR眼鏡是蘋果AR生態的最終走向,那麼蘋果現有移動端的AR生態對AR眼鏡肯定有很強的基礎意義。陀螺君大膽猜測,如果蘋果的AR生態推行順利,其未來的AR眼鏡內容很多將來自蘋果移動端的適配。
而蘋果在一項遭曝光的專利“具有低光操作的頭戴式顯示器”中表示,搭載LiDAR的頭顯裝置能在黑暗環境中充當佩戴者的第三隻眼睛,因此大家普遍推測蘋果的AR眼鏡有可能會搭載LiDAR。
我們不妨借蘋果現有幾款相對典型的AR應用一窺蘋果AR眼鏡未來可能的功能。
1、3D掃描建模應用-《3d Scanner App™》
《3d Scanner App™》被稱為蘋果未來佈局AR的重要軟體,其適用於iPad Pro 2020、iPhone12 Pro、iPhone12 Pro Max。該應用藉助LiDAR,可針對無論是小型物件還是大型場景快速建立3D模型。
3D建模原本屬專業級操作,但隨著AR應用逐步精簡化,開始向建模愛好者甚至是普通使用者過渡,比如正在介紹的《3d Scanner App™》。
模型呈現效果解析度雖然不夠高,呈油畫質感。但與價格昂貴的3D掃描機器相比,僅使用移動裝置能夠快速建模並還原場景雛形,效果已非常不錯。
陀螺君使用《3d Scanner App™》分別對人和物做了實測,操作起來確實方便,而且掃描過程流暢,中間無卡頓。但是,掃描完成後,如果掃描物件複雜度稍微偏高,尤其是選擇高精度測量時,其等待時間容易讓人懷疑人生。
仔細掃描與粗糙掃描之後得出的效果差別較大,掃描物件的複雜程度對掃描結果也會產生直接影響,粗糙掃描得出來的模型畫質感人。
掃描外觀整齊度高、複雜程度低、不透光的物件,比如牆壁、地板......或者垃圾桶,雖然依然是油畫畫質,但測量精度與還原度都不錯。可以看到下圖中的垃圾桶尺寸精度與色彩還原度都非常高。
與之形成鮮明對比的是陀螺君對盆景、座機進行的掃描,座機的細節基本掃描不出來,模型完全是火災過後的畫風。
而盆景由於實物細節更加豐富,交疊的樹葉基本處於處處透光的狀態,在陀螺君未進行非常精細掃描的前提下,掃描出來的效果與抱枕、垃圾桶相比差別較大。
《3d Scanner App™》掃描人的效果比想象中好,雖然掃描不夠精細,人物模型也儼然一副沒有靈魂的奇怪樣子,但頭髮的髮色過渡、衣服的紋理、材質等細節還原度非常高。從大小比例上來看,也能與真實人物保持一致。
透過影片,我們還可以看到將真實人物與3D模型放在同一個空間時,兩者之間有明顯的遮擋關係,當人物走到模型前面時,雖然會有穿模現象,但模型明顯被遮擋。這樣的互動便是歸功於LiDAR帶來的深度資訊理解。
陀螺君還試過掃描光澤度較好的小型金屬物品,金屬質地反光較為嚴重,掃描出的模型能看出是金屬但細節嚴重缺失。
整體來看,《3d Scanner App™》在LiDAR的加持下確實實現了速度更快、精度更高的掃描與建模,雖然建模效果在解析度與細節上與專業建模有一定差距。
但未來精度提高後,如果能達到理想狀態,使用者配戴AR眼鏡有可能實現將任何現實場景建模,並製作出屬於自己的小型孿生世界,如果再結合成熟的3D列印,未來有可能實現一定程度上的“萬物克隆”。
《3d Scanner App™》比照片與影片的還原度更高,完全是一種新的記錄方式。而且《3d Scanner App™》與3D建模網站SketchFab建立直接聯絡,且針對檔案格式、分享、檢視方式等細節做了處理。
因此對使用者而言,從掃描建模到編輯渲染再到分享,線路完整,未來完全有可能成為建模愛好者或者普通使用者的社群集中地。
2、AR遊戲《Angry Birds AR: Isle of Pigs》
AR遊戲是AR應用的重要方向之一,《Angry Birds AR: Isle of Pigs》是2019年基於原Angry Birds IP開發的AR版,該版本使用ARKit開發,增加了增強現實元素。
AR版在遊戲開始前啟用攝像頭對現實環境進行掃描,以實現環境與遊戲的融合。
玩家在現實環境選定的範圍內搭建3D遊戲建築,在進行彈射時,可透過在現實世界中移動身體位置來尋找最佳射擊角度。人體在進行移動時,選單也會隨著玩家移動以保證方向正對著玩家。
陀螺君試玩後發現,與未搭載LiDAR的版本相比,新版本的《Angry Birds AR: Isle of Pigs》遊戲場景對於具備深度資訊的真實場景做出的反應並不相同。
從光影效果角度,影片中我們可以看到,與之前版本無形狀的模糊陰影相比,搭載LiDAR後的版本,遊戲畫面中無論是建築、彈弓還是植物,其陰影輪廓與邊界都很清晰。浮在空中的氣球從手機端看,幾乎完全與真實背景融為一體,看不出是虛擬物體,非常真實。
將畫面放大,畫質依然非常清晰,無論是建築還是動植物,其細節呈現效果上佳。搭建的虛擬建築與地面的穩合度非常高,很真實,幾乎完全沒有浮在表面的現象,而且穩定性好,即使陀螺君搖晃手機也沒有出現肉眼可見的漂移或是其他不穩定的情況。
從這些變化中,我們可以看到ARkit在與LiDAR結合後,AR遊戲的互動擬真度進一步提升,其原因就在於LiDAR所具備的深度空間掃描和感知能力。
隨著蘋果手機效能的繼續迭代,將擁有比A14晶片更加強大的AI算力,未來的AR遊戲可能會識別出真實的物體,比如桌面上放的是杯子還是手機,從而觸發一些虛擬與真實物體的互動。
強互動往往意味著裝置中要整合大量的感測器,以現階段的VR頭顯為例,想要實現6DOF的互動,就一定要整合深度攝像頭,想要輕薄,就只能用超短焦的方案,裝置也就只能主打觀影。
所有廠商都在效能、易用性和可落地性方面尋求著一種平衡。而對於蘋果來說,打頭陣的A系列晶片可以在AI演算法層面為手機提供很多的AR功能呈現,這就體現在ARKit上,它不佔用硬體體積、對消費者而言甚至沒有成本。
而後來LiDAR的使用,是為進一步增強ARKit的效能而出現的——蘋果的思路是用輕量級的軟體、演算法裝備硬體,從而讓蘋果裝置實現了在嚴格把控成本、裝置迭代跨度的情況下一步步賦予蘋果裝置越來越強的AR效能。
無疑,未來蘋果的AR生態會一直走演算法服務硬體的路子,這也助力蘋果打造出比同行業輕薄許多的AR硬體產品來。因此蘋果製造出極度接近眼鏡形態,與目前行業內臃腫的AR眼鏡形態相區別的產品是有可能實現的。
結語
目前來看,不僅僅是ARkit,蘋果還推出了RealityKit、Reality Composer、Xcode、AR Quick Look等工具,讓其移動端的AR生態佈局在軟體、演算法層面的完善度不斷增加。
對蘋果而言,現在最缺乏的是好的軟體內容用以吸引使用者適應AR的存在,而蘋果搭載LiDAR的意義正在於此。
陀螺君認為,蘋果AR生態未來能實現的理想狀態是將手機移動端使用者遷移至AR眼鏡。當AR眼鏡推出時,其將擁有替代並且超越手機的基礎功能,而手機移動端也已培養出成熟的AR軟體開發者、融入使用者生活的殺手級應用,以及對AR高接受度的使用者。
以蘋果移動端龐大的使用者基數、所積累的軟體基礎,以及與安卓截然不同、高度統一的封閉式生態,如果蘋果能夠成功,那麼蘋果AR眼鏡的推出必將會帶來新的浪潮。