在2019南昌未來影像藝術週上,來自上海樂蝸資訊科技有限公司的CEO 宿斌在大會專場演講上,以“VR實拍電影的製作與思考”為主題進行了分享。分享內容包含VR實拍技術的應用、VR觀賞習慣與傳統影視的差異化,以及全景聲技術的應用等等。
以下為演講的整理內容:
大家好,我是上海樂蝸資訊科技有限公司CEO宿斌,今天我想跟大家分享的是VR電影的製作流程。
VR電影我覺得需要解決的還有六個問題,包括影像畫質、如何拍攝運動的畫面、鏡頭的設計和敘述,如何製作全景深,有可能對於電影工業的5.1和環繞立體聲已經很成熟了,大家對於全景深這個標準的話,還是沒有太多的準確標準制定。
包括還有後期合成和製作,最後是播放和歡迎的體驗方式。我們認為8K是VR影像最基本的要求,因為在以往我們看到4K展開之後,我們實際觀察到的影像其實只有不到720P,清晰度是非常糟糕的。現在我們認為8K的立體和全景深是VR影像的起步。
一般我們都知道,常規的畫面VR會採用1比1上下立體和1比2壓縮的立體,也有用1比2的非立體的格式來呈現畫面,它跟電影的製作流程各方面都是不同的。
我們所說的VR4K或者8K是指的整個全域性,但是觀眾第一視角能看到的區域性只有像方塊當中的這一部分,其他部分都會被你需要轉向來觀察,所以對於8K的話我們是以全域性的方式來說8K和4K。
大家從這個圖來看的話,遠遠知道4K的影像中間的部分肯定是沒有4K的清晰度的。這個是我們預測兵馬俑的時候一張截圖,我們只有8K的畫面通過放大、放大,最後得到接近於電影清晰度的影像。8K和16K我們認為是用分鏡頭的分佈相機,提高畫面的清晰度,才能達到12、16K,這就對單反的清晰度的要求非常高,所以分散式我們行業當中都達成了共識。
我們覺得有兩種佈局的相機,如果要拍攝VR的立體相機我們現在目前採用的水平佈局,因為他在水平佈局方面立體會更加均勻。前一段時間Facebook和Red做的球狀的,是一個蜂窩的佈局,它其實是深度資訊最後製作成六自由度的雲相機,當然這個相機從實際來看的話,它會很大,將近有一米多。
我們拍攝的採用的攝影清單有JustWang、instaita,它們主要是完成靜止、軌道和小車運動。我們如果用空中航拍的話,我們還是用的InstPro,因為它體積小,重量輕,續航時間長,當然我們也有自己的20M的模組,自己搭建了攝影機。
那麼省下的攝影機我們也用20M的模組,為什麼要用這麼多?因為在水下拍攝的話受水下光線的折射,所拍攝到的畫面跟在空氣當中拍攝的畫面比例是不一樣的,所以我們要很多臺相機來涵蓋。
我們在拍攝延時的攝影的話,就採用最傳統的方式,用6M索尼的單反,因為索尼可以得到一個非常高的感光度,可以用於拍攝日落日出或者星空。
我跟大家分享一下我們是如何拍攝運動的畫面,我們採用可以做精準數字軌道,因為很多時候我們在拍攝的時候發現需要用數字軌道來精準地計算和重複地拍攝。航拍我們是自己搭建的多組穩定的,高負載的,它續航到15分鐘。
像大型的場地和演繹場所我們其實可以用大型的飛貓,現在飛貓的技術也是非常普及,它可以精準地定位。全梯形小車我們自己改裝了一輛叫坦克,它的優點是各種地形能夠適應,同時我們載入了一個穩定系統,在跟蹤拍攝或者是複雜、危險的場地用它來拍攝一些影像是很方便的。
我們在拍攝這麼多的內容,我們發現在拍攝運動畫面的時候,有三個點大家需要注意:
第一,消除振動。所謂振動主要是高頻振動,因為低頻振動可以通過軟體都可以去做掉。
第二,消除搖擺。因為搖擺是對於後期軟體來講是無法去做到,它只會判定你是在轉向。
我們在拍攝的時候一定要設計好A點到B點或者是多點的運動軌跡,運動軌跡可以最後被我們的六自由度的座椅獲取它的資料,可以提供一些後期的影院應用。還有一些我們在設計線路的時候導演要考慮到為什麼要這樣飛行、這樣的飛行可以讓觀眾體驗到什麼。
第三,擦除裝置的痕跡。它不像電影,電影的話永遠是一個框畫,在此以外所有的資訊,在VR拍攝過程當中是完全被識取的。
這一個就是我們航拍器拍攝的鏡頭,我們可以看到頂部的航拍器會清晰線路在畫面當中,這個就後期通過運動跟蹤擦除掉,最後形成一個完整的畫面。
昨天很多的分享者,也講到他們公司的特點,包括掃描等等,通過掃描重建場景我們也在嘗試,可以接觸掃描建立一個非常好的模型,我們也做三星堆的一個片子但是一直也沒有釋出,製造一個博物館的一個內容,就是高精度模型要比實際拍攝的來得更精緻。
通過多視角三維重現我們也可以獲取一個模型,這一個模型都是非常普遍了,通過計算得出點雲,用深度資訊,三維再重建模型。
我們是跟清華有一個合作的敦煌的模型,關於構圖了取景我們是有我們的想法,我們在拍電影的時候沒有一條法則是規定攝影機一定是水平的,是相對的水平,但是在拍攝VR的時候,它非常不同的,它必須要保持水平。如果是不保持水平的話會在後期給觀眾帶來很大的麻煩這一個在後面我會講到。
在後期當中我們做了一個測試,如果我們在後期把水平線往上提到會呈現的圖片,整個地球形成一個拱形的,如果水平正常的話,地平線是水平線是一個標準的,如果水平線偏下的話它會形成凹拱的一個形狀,這樣的扭曲在拍攝後期是非常注意。拍攝當中的水平是把最立體的區域要給到拍攝的物件,這一個後面我也是會講到的。
為什麼要做到水平,這一張圖就是一個非常好的例子,我們看到這是一幅用水平分佈相機的擷取,水平分佈的相機有一個特點就是在四周360度呈現的一個多幕,立體的,但是在頂部和底部是成為一個非立體區,我們用多幕立體有一個很大的漏洞,它不像深度相機。
我們抬頭的時候我們所看到的影像是無法構建立體的,我們觀眾有可能旋轉,就會導致整個立體的區域會變得反向。
VR現在一個標準就是上下是非立體,不論是多近或者是多遠都成一個非立體,在立體區域和非立體區域構成了一個過度,這也是我們為什麼要放置在水平,如果相機位於仰拍的話,可能在你的目標,或者是拍攝的物件、演員就會把他置於一個非立體區域。
這也是我跟大家分享過很多次的一個視覺的主要視區,我們覺得VR拍攝,不管把它叫做電影或者是影像也好,它一定是有規律的,它不是一個360度完全自由的創作,我們要規範導演或者是表演者有一個規則,所以我們認為為什麼要建立一個主要的視區這也是根據人的身體來判定的。
作為正常的人類,我們不會經常移動身體,扭頭的360度。我們主要的視區還是在正前方的,作為兩側的一個60度作為一個過度區,因為過度區在一些次要資訊的安排和設計。這一些設計也會為我們未來自由度的座椅提供一個依據,這一些座標同時也給導演和演員走位、導演的設計和後期的設計提供一個大家共同溝通的語言標準。
第一條參考線是我們自定的,是用於前期和後期做標準的,他有一個度數也有一個區域,中間是正前方,兩側是左右,最邊緣是的後部,在我們跟導演和後期來探討的時候,我們不可能時時刻刻用頭盔來探討,戴著頭盔有的時候很難交流。所以平面的方式還是在延續的使用。
我們知道VR是一個完整的空間,我們觀看者可以自由轉向,看上、看下、看左、看右,你看到的所謂的一個空間乃至於這一個地球是不會時時刻刻轉動的,是相對靜止的,所以我們在拍攝VR的時候儘可能慎用攝影機轉向。
它跟我們的傳統攝影不一樣,傳統攝影可能用一個搖鏡頭會拍得非常酷炫,但是VR要慎用,這一種轉向的是會很快把觀眾代入眩暈感,除非拍攝的導演和攝影師就希望讓觀眾呈現一個眩暈的效果或者是有意識的跟蹤也是可以的。
我們在拍攝過程當中我們也總結了一些我們自己的經驗,我們也充分利用帶來的沉浸感,不同的相機有不同的安全距離,我們發現在不同的距離會產生觀眾不同的情緒,在50公分是非常愛好的閨密、情侶之間的溝通,在70公分是一個比較親密的夥伴的溝通的距離。
在100釐米就是一個相對熟悉的同事溝通的距離,150公分是陌生的人或者是主角和配角激烈爭吵,他們之間發生清晰很大的一個距離。在2米左右的話就是以一個配角或者是舞蹈安全區,我們知道手臂展開時的距離和人的身高差不多,為了不碰到攝影機,在拍攝一個大動作的舞蹈或者是一個武打的戲,我們基本上要在兩米的一個距離,兩米五十是路過一個陌生人。因為太遠的時候也會有四五米,但是距離越遠,它的清晰度各個方面互相的一個感覺是不一樣的。
我們在測試不同距離的時候我們也測試了30公分,超近距離,這一個距離已經達到了攝影機的極限了,我們通過自己配組的一個模組我們拍攝了這樣一個影像,後面我們也會跟一些藝術家來製作拍攝一些超近距離的人像攝影,各種不同的職業,當在30公分的時候是可以清晰看到拍攝者的臉上粉刺,同時你也會收到一種特別近的距離的一種壓迫。因為在特別近的距離雙方都會產生尷尬,但是拍攝者可能會因為攝像機過近。
決定距離不只是鏡頭之間的拍角,我們知道兩個鏡頭之間拍角,昨天有一位分享者講過了,一般拍角接近於人的眼睛,如果拍角越大,你拍攝遠景的立體影象很好,但是近具體的兩臺攝影機儘可能要縮短距離。
安全距離不只是鏡頭的開角、立體的成像、最佳的區域和機位的角度,剛剛我也分享到了在安全線以下,我們一般指的是非立體值。
其實多幕的攝影機是不完善的,因為多幕是需要進行一個深度計算的合成,這一個合成當中計算機處理的話影像還不是最完美的,它可能會產生一些干擾和波動,這一種干擾和波動主要是造成近景和複雜的背景,當你的拍攝物件過於靠近攝影機,同時它背後有很多的複雜結構的背景,同時也一個被拍攝者還是處於運動狀態,在大概率的情況下一定會出現一個干擾,這一個干擾就是會呈現一個波狀的紋路。
這一張就是特別近距離產生的,破壞影像的合成,所以產生了扭曲,同時我們在拍攝運動畫面或者是靜止畫面的時候一定要注意Sunny在哪裡、投影在哪裡,如果拍攝者穿越投影區的話會給後期帶來一個非常大的工作量。
我們看到背後這兩個形成了視覺的交叉,這也是形成立體的原因,為什麼會形成光流的干擾,背後資料計算機無法判斷速和人之間的關係。
我們再分享一下鏡頭畫面的設計,現在也在用PS當中有一個3D繪畫功能製作一些很有趣的插畫,現在我們可以做VR的插畫或者是故事版通過PS,我們通過PS做了一張插畫,它可以在全體球形進行擦除和修改,這給我們未來的專案提供了方便。
在這一個基礎上我們為什麼要設計運動軌跡,因為運動軌跡我們也考慮到未來的VR影院是有一大部分是有自由度的座椅,4D座椅會帶給你穿越的感覺,這一種運動線是需要前期設計好,最後把運動軌跡以3D為座標的方式捕捉下來給到座椅。
在VR的趨勢當中,我覺得平面的故事有一個最大的區別在於,它是空間性的,我們在傳統電影更多表現的是平面畫幅的,畫幅以外的是靠想象,在拍攝VR過程當中,我們在設計線索或者設計故事的時候,一定要考慮整個空間,多資訊的運動。
我覺得在未來的VR故事當中,一個場景當中出現多個資訊的設計是非常的有必要的,是VR故事的魅力。所以也印證了我們前面必須要設立一個主要的資訊,其餘部分我們暗藏了一些次要資訊,當然在做設計的過程當中,它也需要我們拓展一些思維,我們平常看到一個畫框藝術的畫,就像我們看到太陽系平面一樣,我們展現給我們的是一個二維,當我們知道太陽系在運動過程中是螺旋形的時候,我們的故事很像螺旋形太陽系的運作。
我們也會用全景聲來設計聲音的引導,我們目前使用的RooM的H3,交叉式的全景聲錄音機,我們的流程大概就是用全景聲的錄音機獲得一個三維空間的聲效,通過後期的混音,加上音軌包括人聲的對白等等。因為這個只是一個一階(簡單的全景聲),對於電影的標準可能需要二階,或者更多的資訊。
在通過一些後期的迴音設施,我們可以得到一個二階,比較複雜的全景聲。這是一個大概的一階、二階、三階,最高可以達到三階。
我們後期合成也是使用PR、AE等一些軟體工具,這個是我們作為一個運動,這是一個剪輯範圍的參考線,這上面是我們作為運動軌跡的參考線。
為什麼我們使用Mixcut,因為現有的軟體不足以做到非常精細。
我們的觀點:我覺得傳統電影語言是一種習慣,沒有什麼所謂的標準,第二我們技術永遠在前進,在想法上勇於嘗試是非常重要的,我們也有理由相信VR電影改變我們的觀影方式,畫幅被全景式的方式終結。