目前5G VR攝影還是初級階段，用於沉浸式新旅遊模式展示比較多。

攝影機拍攝畫面將會透過5G網路快速傳輸到雲端伺服器進行處理，隨後在使用者的裝置進行更新。為遊客實現舒適安全的智慧旅遊體驗。

依靠5G網路高速傳輸優勢，可實現4K甚至8K的高畫質影片，也帶動了很多8K全景相機發售。

總結:

日後全景攝影和全景相機的普及率必會持續增加，只不過就目前看來，應用領悟還沒有像普通攝影那麼廣泛。

隨著5G時代的開啟，VR的緩衝、傳播和下載速度會達到可以欺騙人類大腦的程度，隨著硬體技術和工藝的成熟，VR硬體會越來越輕便，沉浸感會越來越強，VR將會實現線上+線下全方位、多渠道、立體式傳播，覆蓋和滲透到人們生活、工作、社交、娛樂、購物、生產、管理等方方面面。

隨著5G的發展，在影片領域，各平臺也在加快對於VR技術、裝置和內容的深耕。而VR也不再只侷限於遊戲和普通影片展現，更高的影片沉浸式體驗才是VR發展的最終方向。

從工信部在2019年1月公佈《關於加快推進虛擬現實產業發展的指導意見》中提出，2025年中國虛擬現實產業整體實力要進入全球前列；

今年6月，工信部正式發放5G商用牌照，這一系列動作足以證明，5G可以根據業務需求匹配網路和計算資源，將更好地滿足VR業務需求，推動VR創新應用發展，虛擬現實技術的發展，前景非常可觀，有想法的可以開始行動了，對於普通攝影愛好者而言大多是觀望態度

一、當前5G落地應用及VR直播需求

圖1:(5G超高頻寬+VR超高位元速率需求=5G落地。)

5G來了!就像任正非在回答國外記者關於美國封堵華為問題時所說:“西方不亮,還有東方亮啊!”是的5G在東方一定要先亮起來!先亮起來就是要有落地的應用,5G有Gbps級的傳輸速度和很低的延時,VR影片是對傳輸頻寬要求最高的媒體,影片直播對通訊鏈路的穩定性、實時性要求都非常高(尤其是大位元速率下的延時和穩定性),那麼5G+VR+影片直播,也就是5GVR影片直播確實就成為了5G一個最好的落地方案。

二、5GVR直播方案架構

VR直播與傳統直播相比主要有三點不同:一是直播裝置需要使用帶有直播功能的VR攝像機;二是觀看端要使用可以播放VR直播流的播放器或VR眼鏡;三是需要更高的影片位元速率。傳統直播的解析度最大為1080P,位元速率在4Mbps以下,而VR直播一般都是4K以上解析度,位元速率通常為20Mbps以上,如果想達到沒有馬賽克的效果,更需要有45Mbps以上的傳輸位元速率,根據直播頻寬和位元速率的計算公式:位元速率x1.2=直播頻寬需求可知,展示良好的4K直播效果頻寬要求至少要在54Mbps以上。

說了這麼多不同,那5GVR直播方案到底如何搭建呢?

5GVR直播方案一般分為自建直播伺服器和租用直播雲兩種方式,二者的區別在於,自建直播伺服器一次性投入成本高,後期成本低,可以搭建到內網做內網直播,資料安全性好;而租用直播雲的搭建方式一次性投入成本低,後期按照流量收費,只能搭建在公網,但伸縮性和擴充套件性好,資料透過公共直播雲中轉有洩密風險。下面是兩種方案的架構:

圖2:自建直播伺服器方案架構

圖3:租用直播雲方案架構

可以看到,兩直播方案的開頭和結尾都一樣,只是自建方案需要購買一臺實體的直播伺服器硬體,而租用直播雲方案是向騰訊雲這樣的雲服務商租用虛擬伺服器。它們的流程都是,首先由帶有直播功能的VR攝像機輸出高畫質全景影片流,然後直播推流伺服器做高質量拼接、編碼和推流,直播伺服器做中轉和廣播,最後到各種終端進行VR影片的觀看。推流到直播伺服器一般使用RTMP協議,廣播到終端一般使用flv、hls、rtmp等協議,一般比較常用的是flv協議。

三、5GVR直播裝置選型攻略

1.VR直播攝像機選型攻略

圖4:直播攝像機選型

1）選穩定性好的產品

圖5:穩定性第一重要

VR直播攝像機的選型第一重點就是穩定, 對不能穩定執行,經常故障罷工的VR直播相機來說,再強大的功能引數都將沒有任何意義。可能大家會有疑問,用單反從未擔心過它的穩定性問題;誠然,對於成熟的數碼產品比如單反微單經過幾十年的演化穩定性已經不是問題,然而VR直播相機是一個全新的數碼產品,不能以傳統攝影器材的成熟度來參考,畢竟國內做產品化全景相機最老的品牌TECHE才6年的歷史,其他的創業公司長則4年短至1年,大多停留在PPT產品階段,想做出成熟穩定的產品任重而道遠。

直播有著非常強的實時性和事件不可重複性因素,比如直播婚禮,直播演唱會和各種比賽,如果中間裝置故障了,後果將不堪設想:難道讓新人重新結一次?明星重新演一次?比賽重賽一次?裝置沒多少錢,這事兒耽誤了損失可就大了啊!

那麼怎麼挑選一臺穩定的選舉相機呢?下面我提幾點給大家參考。

A.看外觀

圖6:密封穩定無風扇

要看外觀是否是全封閉的,如果機身有很多散熱孔說明它必須靠很多散熱孔才能穩定工作,相機長時間工作造成的溫度升高以及戶外高溫太陽暴曬都可能讓其崩潰,如果加裝了風扇,甚至多個風扇就更讓人擔憂,風扇不但噪音大還會很快積累灰塵,造成系統不穩定,大家可以看看手頭的單反、微單、卡片機,甚至索尼大型肩扛攝像機,到底有沒有散熱孔和風扇。

B.看儲存

圖7:統一SSD儲存才穩定

高畫質攝影器材都採用一個固態硬碟進行統一儲存,比如紅龍攝像機等,固態硬碟不但速度快其內部還有主控晶片進行控制,保證儲存介質每一個NAND塊被均勻使用,最後共同到達使用壽命,還能遮蔽壞塊,固態硬碟內建告訴快取、排程晶片和DMA併發能力強,所以SSD固態硬碟是專業攝像機的首選儲存介質。

很多人可能都遇到過隨身碟無法讀取,或SD卡插入電腦後提示需要格式化的情況,但固態硬碟卻在電腦中一直穩定工作,統計資料表明SD卡的故障率是固態硬碟故障率的10倍以上,SD卡還有一個問題,它不像固態硬碟那樣有快取記憶體和主控晶片排程,併發能力非常弱,相信大家都有過這種經歷,如果正在向SD卡里複製檔案,然後又複製一次或多次,也就是說有多個複製任務同時進行時SD卡幾乎就死掉了,很容易崩潰,那麼VR攝像機需要6個以上的鏡頭同時寫入6條60-100Mbps的原始資料到SD卡怎麼處理呢?於是一些聰明的創業公司想出了一招,用海量SD卡解決,有用6個SD卡的,有用7個SD卡的,廠家方便了,客戶麻煩死了,拍攝現場情況往往是非常複雜的,按照順序換卡,後期按照順序整理7卡資料虐心啊!最重要的7張卡不就把故障率提高了7倍嗎? 7張卡不就把故障率提高了7倍嗎? 7張卡不就把故障率提高了7倍嗎?重要的事情說三遍!也就是說用7張SD卡做儲存介質的VR攝像機不但使用麻煩,而且其故障率是使用一個固態硬碟統一儲存的VR攝像機的7倍!

C.看歷史

圖8:TECHE六年專注做一件事

這個沒有太多的技術,是一個邏輯和經驗問題,相機這種產品,跟空氣清淨機不一樣,口罩套在風扇上就是空氣清淨機,相機既是一個電子產品,也是一個光學產品,是一個硬體,但其內部集成了大量的演算法,儘管深圳的山寨大廠有很多,但有幾家能山寨佳能、尼康、索尼、徠卡和紅龍的?所以成立3年以下或出過3代以下產品的公司,就無需考慮了,買就買第三代或三代以後的產品,要不然您一定成為小白鼠。還有最好在產品釋出8個月以後買,新產品可能使用新技術,很多問題在投放市場後大量使用次能發現,廠家修復軟硬體問題至少需要8個月的時間。

2)選畫質好的產品

專業相機或攝像機不以畫質為核心競爭力是耍流氓行為,畫質好的話可以用來宣傳、可以用來彙報,可以用來炫耀拉仇恨,畫質渣就只能用來打臉了,那麼如何挑選畫質好的全景相機呢?下面我就給大家介紹幾點乾貨,相信大家看完後就明白了。

A.你可能要換顯示器

又沒想到吧?沒錯,要挑畫質,第一步就要看自己的顯示器色域是否足夠,普通的顯示器色域60%-70%,辦公筆記本更慘可能只有50%-70%,您必須買一款Dell的U系列顯示器才能看到畫面本來的顏色,如果您影象的本來顏色都看不到何談挑選畫質呢?

B.解析度不等於畫質

解析度就是圖片畫素的個數,但有效畫素、噪聲、顏色、寬容度、鏡頭解像力都影響著畫質,同樣的CMOS面積畫素太多反而會相互干擾,還記得蘋果6的時代,800萬的畫素,秒殺各種1200萬畫素的手機,產生噪聲使得畫質下降,建議直接對比相機樣片。

C.寬容度

圖9:寬容度高與寬容度相對低對比

寬容度就是相機在同一個畫面上能夠表現出多大的光比範圍,通俗的解釋一下把,用手機在室內對著視窗拍,就發現視窗特別亮,窗戶周圍室內的牆壁特別暗,但寬容度約高的相機越能同時看清高光和低光的部分。

寬容度問題對全景相機來說至關重要,為什麼呢?因為全景相機的鏡頭角度非常的大,一般都是200度,小的也有175度,幾乎所有的場景下都會同時拍到高光和低光的部分,這就是大部分全景相機在室內有窗戶、有燈,室外有太陽或演唱會現場燈光秀的時候,全景影象中出現大片曝光溢位的原因。

大家在挑選時一定要對比大光比場場景下全景影象過曝光和欠曝光的範圍,以及高光和低光部分的噪聲和細節保留程度。

之前聽臺灣一個客戶跟我介紹泰克易全景相機的時候說了一句話讓我記憶深刻,他是這樣說的:“其他全景相機拍燈的時候都過曝嚴重,燈就是一團光,泰科易得全景相機能拍出燈光得星芒,太厲害了!”

嗯,寬容度好不好,就看燈和太陽拍得漂亮不漂亮!

D.準確的色彩

圖10:PHIIMAX3D VR直播攝像機影片截圖(無後期)

各位知道相機和監控攝像頭在畫質調教上得區別嗎?相機是以顏色還原準確為準,監控是以看得清晰為準。

我們要想拍照漂亮得VR影片,首先手中得VR攝像機需要有準確的顏色還原能力,大家可以跟廠家索要沒有後期過的相機原片,看看紅的能不能拍成紅色,黃的能不能拍成黃色,黑的能不能拍成黑色,如果顏色不鮮豔,或像白內障一樣模模糊糊,千萬別買。

什麼?你問我廠家發其他相機拍的假樣片騙你咋辦?嗯,知名廠家應該不會,但如果發生了這樣的問題我們也應該拿起法律的武器進行維權,淘寶京東直接投訴+差評。

E.相機機內拼接和相機外拼接之爭

圖11:機內拼接核心對比機外拼接核心

第一點,咱不談FPGA,我就是做FPGA的,FPGA的處理能力和它不擅長做浮點運算這個事兒,就註定了GPU比FPGA更適合做影象處理這個事兒,目前市面上做直播的量產型專業全景相機,無論是機內拼,還是機外拼用的都是顯示卡。

第二點,我要說明得是,同樣的拼接演算法,無論是機內GPU拼接,還是機外GPU拼接,其演算法複雜度是不會改變的,該需要多少算力,還需要多少算力。

第三點,直播4K解析度的VR影片,機內拼接現在最好的方案是英偉達的TX1有256個CUDA,而機外直播一般會用英偉達的1080ti有3500多個CUDA。

圖12:機內拼接流水線,對比機外拼接流水線。

那問題就來了,既然計算量是一定的,為什麼機內拼接只用機外拼接1/10的顯示卡資源就能做到呢?嗯,這就是貓膩所在!上圖給大家展示兩條影象處理流水線對比,省略了與全景生成關係不大的編解碼過程,可以看出:

第一步:機內拼接的6路原始影片的解析度和位元速率都遠低於機外拼接。

第二步:投影變換過程因為是浮點運算,經常出出現x=5.56,y=4.38這樣的小數畫素座標,所以應該用4x4抗鋸齒方式來變換畫素座標共參考16個畫素,這樣才不會造成因為丟失小數位座標所產生的鋸齒問題,而機內拼接之簡單粗暴的省略小數部分,這樣只需要參考1個畫素,工作了縮小了16倍,但會造成嚴重鋸齒。

第三步:機內拼接不做顏色融合。

第四步:機外拼接出的是真正的4K影片,而機內拼接出的是3K或1080P的影片放大到4K。

說白了機內拼接的效果要遠比機外拼接的效果差很多,說是4K直播,最多隻有3K的效果,有的只有1080P直播的效果。

相機內裝上顯示卡直播的後果不光是,續航時間很短、開孔、裝風扇,經常過熱宕機,更重要的是它低劣的畫質,會讓拍攝者打臉,會讓第一批嚐鮮觀看的使用者對VR、對5G直播失去信任。

2.VR直播伺服器選型攻略

1)什麼時候選自建伺服器

當你要佈置部隊、電力搶修、法院審批等內網直播業務時建議使用自建伺服器方案。主要考慮的是資料的安全性問題,眾所周知,雲伺服器只是提供介面,所有的客戶的資料都會暴露在雲伺服器公司的面前,相當於沒有隱私可言。而有些資料對客戶而言非常重要,一點都不能洩露出去,而這些資料是否能保密,要看雲伺服器公司的職業道德和保護能力。如果選擇自建伺服器將不會有這些顧慮。

2)什麼時候選商用直播雲服務

當你做公網直播時,建議選擇商用直播雲服務的直播方案。從技術方面來說,商用直播雲服務含有云計算機技術,而云計算技術綜合了各種軟體和硬體技術。使用者在其基礎上進行公網直播所需要應對的技術性問題較少,此外,直播雲伺服器的安全效能更好,被攻擊的可能性更低。而由於雲伺服器是伺服器叢集而產生的,因此它的故障率很低。

3.VR眼鏡的選型攻略

1)解析度

解析度可以從顯示解析度與影象解析度兩個方向來分類。顯示解析度(螢幕解析度)是螢幕影象的精密度,是指顯示器所能顯示的畫素有多少。由於螢幕上的點、線和麵都是由畫素組成的,顯示器可顯示的畫素越多,畫面就越精細,同樣的螢幕區域內能顯示的資訊也越多,所以解析度是個非常重要的效能指標之一。可以把整個影象想象成是一個大型的棋盤,而解析度的表示方式就是所有經線和緯線交叉點的數目。顯示解析度一定的情況下,顯示屏越小影象越清晰,反之,顯示屏大小固定時,顯示解析度越高影象越清晰。如果一款VR頭顯的畫面顆粒感嚴重,那麼即使沉浸感強、互動感好,對使用者“觀影”這個核心需求來說,也是意義不大的。

2)陀螺儀準確度

陀螺儀是一種感應器,是感應眼鏡位置動態的變化的,如果陀螺儀比較差,也就是說反應會慢一些,那麼延遲就會比較嚴重,畫面卡頓,人會眩暈。現在手機裡面的陀螺儀都是非常普通的陀螺儀,效果達不到vr級別的要求, 所以直插手機的VR頭顯是不行的,作業系統要做排程優先順序最佳化,讓IMU的資料高優先順序處理,並與畫面聯動。

四、作者的思考

1.VR直播技術的下一步

自16年起,VR直播的熱度從未衰落,但我們也從未體驗過一場真正意義上的VR直播。究其原因,網路傳輸、硬體支援都有甩不開的鍋。虛擬現實技術最大的魅力在於身臨其境,3D是VR直播一個非常重要的因素。另外影像沉浸感的因素還有解析度;影象解析度越高,所能呈現的細節也就越多,由於VR直播的畫面是將整個場景平鋪至球形表面,再結合人的觀看視角,4K也僅僅相當於540P的水準,想要獲得高畫質VR直播,需要6K、8K甚至更高分辨才行,同時相應的位元速率也要達到200Mbps以上。隨著5G的到來,未來的VR直播將不再受限於網路頻寬,而隨著全景相機的推陳出新,VR直播離我們已然不遠。

2.VR直播應用的下一步

新技術的推廣擴散往往是先從行業應用開始,然後在不同的應用場景中精簡修煉,反覆論證,逐步民用化泛用化,VR直播同樣如此。所以找到VR直播與行業相結合的價值點是當前推動行業發展最關鍵的因素,事實上,國內外的一些VR直播方案提供商一直在這麼做。如移動聯通等國內網路運營商正積極嘗試VR直播+5G的應用,全景相機廠商泰科易也正在推出最高支援8K的VR直播方案。