2020年,是世界情勢跌宕起伏的一年,線上下娛樂、社交、餐飲等行業被生存壓力沖刷的時刻,也是VR/AR行業充滿機會的一年。根據陀螺研究院《2020年VR/AR產業發展報告》資料顯示,2020年全球VR頭顯出貨量達670萬臺,較2019年增長72%,AR眼鏡出貨量40萬臺,增長33%。
從整體行業環境來看VR/AR行業也呈現更加活躍的動態。如在投融資方面,2020年VR/AR產業的投融資金額和數量回到了2017年的高點水平,AR眼鏡、工具軟體、VR/AR遊戲、教育培訓等成為投融資的熱點領域。
蘋果VR/AR相關軟硬體大事件13起;投融資併購事件22起;值得關注的專利申請共計28項,詳情如下:
軟/硬體
2017年6月5日,在蘋果WWDC 2017大會上,蘋果釋出了AR開發工具ARKit,具備SLAM、平面檢測、光照估計、環境理解、影象識別等功能;
2017年9月12日,蘋果正式釋出的iPhone X系列手機中使用了A11 Bionic晶片,首次集成了神經網路引擎;以及3D結構光技術FaceID,透過iPhone X的Face ID可以3D表情Animojis;
2017年9月20日,在正式釋出的iOS11上,新增ARKit蘋果首款應用程式《AR Measure》(AR尺子);
2018年1月25日,蘋果公佈ARKit 1.5版本,優化了ARKit識別物件的基線準確度和影象識別功能,提高了場景捕捉解析度,增加了對垂直平面識別功能;
2018年6月5日,在蘋果WWDC 2018大會上,蘋果釋出了ARkit 2.0,新增了增強人臉追蹤、真實感影象繪製、3D目標檢測、穩定性體驗和多使用者AR互動功能。同時與PIXAR工作室推出全新的AR檔案格式:USDZ,這款檔案支援3D/AR物品展示,可以跨應用使用:使用者可以在Adobe、網頁、iMessage等應用中進行拖拽展示;以及AR檔案預覽工具AR Quick Look;
2019年6月4日,在蘋果WWDC 2019大會上,蘋果發了布ARKit 3.0,ARKit 3.0新增了5項功能:人體遮擋、單目動作捕捉、前後攝像頭同時開啟、多面部跟蹤、協作會議。同時釋出了AR渲染平臺RealityKit,以及3D建模工具Reality Composer;
2019年9月11日,蘋果釋出的iPhone 11首次使用了UBW超寬頻晶片U1,超寬頻技術讓iphone 11系列更具空間感知能力,可精確定位其他配備U1的蘋果裝置;
2019年10月29日,蘋果釋出的Airpods Pro無線降噪耳機首次使用了“空間音訊”功能,2020年9月蘋果釋出的iOS 14為AirPods Pro新增了“空間音訊”功能;
2020年1月14日,蘋果釋出了蘋果推出USDZ 3D格式轉換工具Reality Converter;
2020年3月18日,蘋果官網釋出了iPad Pro 2020,首次使用了dTOF鐳射雷達(LiDAR);
2020年3月25日,蘋果釋出了ARKit 3.5,ARKit 3.5最佳化和改進了運動捕捉和人物遮擋功能,新增了對鐳射雷達(LiDAR)掃描器和深度感應系統的支援,同時新增了幾何場景、即時 AR兩大功能;
2020年6月25日,在蘋果WWDC 2020大會上,蘋果釋出了ARKit 4.0,ARKit 4.0新增了三項功能,深度API(Depth API)、定位錨(Location Anchoring)和前鏡頭面部追蹤功能;
2020年10月14日,蘋果釋出的iPhone 12 Pro和iPhone 12 Pro MAX上使用了dTOF鐳射雷達(LiDAR)。
投融資併購事件
2010年9月,蘋果收購瑞典面部識別技術公司Polar Rose,Polar Rose已開發大量面部識別技術,其中包括FaceCloud,可為任何服務新增面部識別;FaceLib,面向iPhone和Android平臺的移動解決方案;FaceCore,命令列工具;Recognizr,一款整合人臉識別和增強現實技術的工具,蘋果收購後將其整合進Aperture、iPhoto和Face ID中;
2013年3月,蘋果收購定位技術公司WifiSLAM,這是一家提供室內移動位置服務的公司,它能夠透過Wi-Fi訊號定位出使用者在建築內部的位置;
2013年11月,蘋果以3.45 億美元收購以色列著名3D感測器製造商PrimeSense,微軟第一代體感遊戲機Kinect使用了PrimeSense 的3D 感測器;
2014年5月,蘋果收購MicroLED公司LuxVue Technology,MicroLED被認為是消費級AR微顯示螢幕的必然選擇;
2015年,蘋果秘密收購芬蘭室內定位公司indoor.io;
2015年3月,蘋果收購德國AR公司Metaio,此前主要是為多種平臺提供增強現實SDK,包括為Unity平臺做的相容性外掛,被認為是蘋果ARKit 的前身技術;
2015年9月,蘋果收購瑞典面部捕捉技術公司Faceshift,Faceshift是一家專注於實時動作捕捉技術的公司,專利是無標記(markerless)面部動畫捕捉技術,經常和遊戲、動畫工作室合作,透過3D感測器實現快速、準確的面部表情捕捉,其技術被整合到蘋果Animoji功能中;
2016年1月,蘋果收購人工智慧創業公司Emotient ,Emotient 利用工智慧技術對人類面部表情進行分析,解讀其情緒;
2016年1月,蘋果收購空間感知和計算公司FLYby Media,其開發的 V-Fusion 技術可被應用於如室內導航、無人汽車、頭戴裝置等多個領域,此前 Flyby Media 還曾與 Google 的 3D 專案 Project Tango 展開合作;
2017年6月,蘋果收購德國眼球追蹤公司SensoMotoric Instruments,SensoMotoric Instruments 公司創立於 1991 年,並開發了一系列眼球追蹤硬體和軟體,包括虛擬和增強顯示、車載系統,臨床研究、認知訓練、語言學,神經科學、身體訓練和生物力學以及心理學,這家公司的眼球追蹤眼鏡,能夠以120Hz的取樣率實時和實時地記錄使用者的自然注視行為。SensoMotoric 還為 Oculus Rift 等虛擬現實頭戴裝置開發了眼動跟蹤技術;
2017年2月,蘋果約200萬美元收購了以色列創業公司RealFace,RealFace專注於面部識別技術;
2017年10月,蘋果收購法國影象識別公司Regaind,Regaind是一家研發計算機視覺識別技術的廠商,被收購後其技術後被應用到蘋果手機的面部識別或是動態表情符功能中;
2017年11月,蘋果收購影象感測器創企InVisage Technologies,InVisage公司開發的QuantumFilm影象感測器可以更容易地捕捉光線,這項技術可以讓相機做得更薄,並且提高相機在低光照下的成像水平,這項技術的應用不侷限於手機相機,在ARKit的硬體上也可以做出貢獻;
2017年11月,蘋果3000萬美元收購加拿大AR初創企業Vrvana,該公司曾開發了一款命名為“Totem”的AR頭顯,獲得不錯的評價,但是沒有上市銷售;
2017年12月,蘋果被曝以3.9億美元投資鐳射感測器公司Finisar,Finisar公司生產供貨蘋果Face ID系統中使用的垂直腔面發射紅外鐳射器以及蘋果無線耳機AirPods中使用的接近感測器,這些感測器能夠實現深度感知和接近感應,支援蘋果公司的Face ID,Animoji和ARKit等新功能;
2018年8月,蘋果收購AR光波導公司Akonia,該公司主要方向是體全息光波導鏡片,擁有200多項與全息系統和材料相關的專利;
2018年8月,蘋果被曝已收購以色列計算機視覺公司Camerai,Camerai 此前開發的平臺允許應用程式和開發人員在沒有太多技術知識的情況下輕鬆建立 AR 和影象處理圖形,Camerai的員工後來加入蘋果的計算機視覺團隊,其技術已經整合到蘋果產品中;
2018年9月,蘋果收購音樂內容識別公司Shazam,該公司的軟體可以透過部分片段來識別音樂名稱,或者電影、電視的名稱,Shazam此前還推出了AR增強現實功能,該技術可透過掃描在職、書籍、海報等產片,然後啟動AR或者360°沉浸式的影片;
2018年10月,蘋果約以3100萬美元收購丹麥計算機視覺公司Spektral,Spektral的技術能以智慧的方式在照片和影片中將人和物體從原始背景中分離出來,生成AR影片;
2019年10月,蘋果收購英國動作捕捉公司IKinema,IKinema是一家主要提供為遊戲和虛擬現實等行業提供動畫技術的動捕公司,專業從事於支援虛擬角色實現實時動畫的技術,IKinema的動作捕捉技術已經被微軟、迪斯尼、福克斯和騰訊等客戶使用;
2020年5月,蘋果1億美元收購VR內容直播公司NextVR,NextVR擁有從拍攝、壓縮、傳輸和內容顯示等40多項VR專利技術,專注於為VR提供實時內容,比如體育和演唱會。該公司還與NBA達成協議,對2019年的NBA總決賽的精彩瞬間進行了VR轉播;
2020年8月,蘋果收購VR初創公司Spaces,Spaces在2016年由夢工廠動畫公司(DreamWorks Animation)中兩位負責VR技術的元老Shiraz Akmal和Brad Herman聯合創辦,公司在VR、AR、MR等領域均有所研究,與微軟、NBC環球等公司均有相關業務往來,Spaces曾經為影片會議平臺Zoom提供了VR套件和相關技術支援,使得Zoom使用者可以透過虛擬人物形象和可互動的虛擬白板來進行專案彙報、講座或其他工作。
專利
2016年8月,美國專利商標局公佈了專利號為“20160238834”的蘋果專利,該專利描述了“一個掃描深度引擎,包含一個發射光脈衝的發射器,一個用於在特定範圍內掃描環境光線的掃描器”的3D混合掃描技術;
2017年4月,美國專利商標局公佈了一項來自於蘋果收購Metaio公司的專利,該專利主要內容為:將虛擬物件與真實環境相融合;
2017年6月,美國專利商標局公佈了專利號為“9,681,096”的蘋果專利,該專利描述了一種與沉浸式增強現實、實時顯示牆、頭戴式顯示器和影片會議應用程式相關並可用於影象捕捉和處理的光場相機技術;
2017年10月,美國專利商標局公佈了專利號為”20170295361“的蘋果專利,其涉及圓頂、移動或頭戴式顯示器虛擬現實應用程式的單視場(1個檢視)或立體視場(2個檢視)180度或360度攝影和後期製作;
2017年11月,美國專利商標局公佈了專利號為“9,824495”的蘋果專利,該專利描述了一種用於捕捉現實世界影象,檢測影象中的物件,“幾何重建”物件的虛擬呈現,然後再把虛擬物件作為AR物件疊加在真實世界檢視,主要內容為識別影象中的物件作為AR虛擬物體;
2018年3月,美國專利局公佈了若干蘋果專利,其中名為“Predictive, Foveated Virtual Reality System”的專利可根據注視點實現多重分辨渲染;名為“Head-Mounted Display Apparatus for Retaining a Portable Electronic Device with Display”的專利描述了一款支援使用者從一側插入智慧手機的頭顯裝置;名為“Display System Having World and User Sensors”的專利描述了一款採用頭戴式顯示器的混合現實系統,能夠提供包含虛擬內容的環境3D虛擬檢視;
2018年4月26日,美國專利商標局公佈了專利號“20180113508”的蘋果專利,該專利描述了一種透過眼睛旁邊的攝像頭跟蹤眼睛運動的方法和僅反射不可見紅外光的“熱”鏡的眼動追蹤技術;
2018年8月,美國專利及商標局公佈了一份名為”Processing of Equirectangular Object Data to Compensate for Distortion by Spherical Projections“的蘋果專利,此專利能夠為VR提供更好的360度影片拼接;
2018年9月,蘋果在歐洲申請的顯示器專利透過,專利內容是一款用於支援AR,VR和全息內容的頭顯。且透鏡可調,頭顯將能夠透過Siri進行控制;
2018年11月,美國專利商標局公佈了名為“Display with Holographic Angle-of-View Adjustment Structures(包含全息視角調節層結構的顯示器)的蘋果專利,此專利主要涉及到全息光波導技術;
2019年3月,美國專利商標局公佈了名為“Depth Map Calculation In A Stereo Camera System立體攝像頭系統中的深度圖計算“的蘋果專利,專利描述了生成深度圖的方法;名為“Systems With Keyboards And Head-Mounted Displays”的蘋果專利描述了透過物理鍵盤、觸控螢幕、資料手套、接近感測器、攝像頭、以及其他輸入-輸出裝置為VR裝置實現虛擬鍵盤的方法;名為”Waveform Design For A Lidar System With Closely-Spaced Pulses”的專利描述了透過鐳射脈衝實現3D手勢控制的方法;
2019年10月,美國專利商標局公佈了名為“Method And Device For Illustrating A Virtual Object In A Real Environment(在真實環境中描畫虛擬物件的方法和裝置)”的蘋果專利申請,此專利可以實現“虛實遮擋”;名為“Displays with Collimated Light Sources and Quantum Dots(準直光源與量子點顯示器)”的專利技術可將全息層和全息元件整合至量子點顯示器之中;
2020年3月,美國專利商標局公佈了一份名為“Display System With Interchangeable Lens”的蘋果專利。此專利描述了包含可換透鏡的頭戴式裝置;
2019年6月,美國專利商標局公佈了一份名為“Stereoscopic Rendering Of Virtual 3d Objects(虛擬3D物件的立體渲染)”蘋果專利,專利描述了透過為每一個左眼視點和右眼視點建立等量矩形投影,實現虛擬3D物件立體渲染的技術;
2019年7月,美國專利商標局公佈了一份名為“Head Mounted Eye Tracking Device And Method For Providing Drift Free Eye Tracking Through A Lens System(頭戴式眼動追蹤裝置及透過透鏡系統提供無漂移眼動追蹤的方法)”的蘋果專利,該專利能夠實現無漂移眼動追蹤;
2019年8月,美國專利商標局公佈了一份名為“Coordinated Tracking For Binaural Audio Rendering(用於雙耳音訊渲染的協調追蹤)”專利,該專利可為頭戴顯示器實現空間聲場;
2019年10月,美國專利商標局公佈了名為“Reconstructing Views Of Real World 3d Scenes”的蘋果專利,該專利主要內容為透過RGB-D感測器(例如RGB-D攝像頭)實現即時定位和地圖構建(slam);
2020年2月,美國專利商標局公佈了名為“Waveguided Display System With Adjustable Lenses”的蘋果專利,該專利主要描述了一種包含可調透鏡的波導顯示系統,並透過可調透鏡來實現所需的光學特性;名為“Electronic Device With Optical Sensor Interference Mitigation Structures”專利則可以實現系統無縫透明化,實現AR、VR切換;
2020年3月,美國專利商標局公佈了名為“Display System With Interchangeable Lens”的蘋果專利。該專利描述了包含可換透鏡的頭戴式裝置;
2020年4月,美國專利商標局公佈了名為“Sensor Fusion Eye Tracking”的蘋果專利,其主要描述了用於智慧手機或平板電腦等裝置的遠端眼動追蹤系統和方法;
2020年6月,美國專利商標局公佈了名為“Gaze-Driven Recording Of Video”的蘋專利,專利內容為錄製AR內容影片的解決方案;名為“Pupil Expansion”的蘋果專利,內容為光瞳擴充套件的解決方案;
2020年7月,美國專利商標局公佈了名為”Privacy Screen“的蘋果專利,專利內容為一種AR“隱私模式”的解決方案;名為“Display System With Virtual Image Distance Adjustment And Corrective Lenses(具有虛擬影象距離調整功能和校正透鏡的顯示系統)”的蘋果專利主要為近視使用者提出”磁吸夾卡式醫學鏡片”解決方案;名為“Predictive Head-Tracked Binaural Audio Rendering”的蘋果專利主要內容為AR/VR頭顯頭部追蹤空間音訊解決方案;
2020年8月,美國專利商標局公佈了兩項蘋果的專利:搭配AR眼鏡使用的骨傳導音訊系統專利、可直接實現摳像合成的MR頭戴裝置專利;
2020年10月,美國專利商標局公佈了名為“Keyboard Operation With Head-Mounted Device”技術,該專利可實現AR/VR裝置支援投射於任意表面的虛擬鍵盤;
2020年11月,美國專利商標局公佈了名為“Multiple User Simultaneous Localization And Mapping”蘋果專利,該專利為可實現AR的多人SLAM技術;
2020年12月,美國專利商標局公佈了名為“Structural Thermal Solutions For Display Devices”的蘋果專利,該專利解決散熱問題;名為“Display System With Localized Optical Adjustments(具備區域性光學調整功能的顯示系統)”的蘋果專利內容為透過可調光學元件調整真實世界物件的亮度,從而增加虛擬物件的可見性;名為“Display And Vision Correction System With Removable Lens”的蘋果專利,描述了AR/VR頭戴裝置的近視眼鏡設計方案;
2021年1月,美國商標專利局公佈了名為“Object tracking for head-mounted devices”的蘋果專利,提出outside-in的追蹤器解決方案;名為“ Scene camera retargeting”的蘋果專利,描述了利用“場景攝像頭重定向”提高VR頭顯的透視MR效果的解決方案;
2020年2月,美國商標專利局公佈了名為“Head-Mounted Display Unit With Adaptable Facial Interface”的蘋果專利,描述了“如何防止頭戴式顯示器因面部運動而移動”的多項設計元素,增加使用者佩戴時的靈活性、提升舒適度的解決方案。