摘要：看華為的黑科技，如何用“自由視角”讓觀眾感受舞臺“風暴”的魅力所在。
“風暴”降臨2021年1月9日晚上，我坐在電視機前，等待湖南衛視綜藝《舞蹈風暴》第二季的收官之戰。
我不僅僅是一名《舞蹈風暴》的觀眾，還是一名華為工程師，來自2012實驗室中央媒體技術院AR&VR工程部的空間影片團隊。《舞蹈風暴》這個節目給觀眾帶來了如臻化境，大美無形的絕美舞臺，而最為亮眼的就是每個舞者的“風暴時刻”，每場“風暴”利用時空凝結技術給觀眾奉上舞蹈的全新欣賞體驗，我們，正是實現“風暴時刻”的技術團隊。
從乒乓球檯到芒果舞臺故事要從大半年前說起。2020年5月，一個好訊息傳來：湖南衛視舞蹈綜藝節目《舞蹈風暴》開始籌備第二季，要知道2019年這個綜藝節目一經推出，別出心裁的時空“凝結”風暴時刻環節立刻俘虜了無數觀眾的心，豆瓣評分也高達9.2分。如今第二季即將上演，華為抓住了機會，為定格風暴時刻提供技術支援。
機會是給有準備的人，我們就是那群做好準備的人。作為AR&VR工程部的空間影片團隊，一直以來我們在如何利用AR&VR技術來顛覆影片等方面進行了很多構想和探索，渴望能有一顯身手的天地。我們認為，一直以來觀眾是在“被動”地觀看影片，未來使用者應該更具“主動”性，比如可以透過在手機上自主控制，即可切換觀看的視角，最終配合VR和AR眼鏡，實現真正的各種位移的體驗。另外，影片的體驗也應該從傳統的二維平面，拓展到三維空間，這也是AR&VR技術發揮其優勢的最佳業務場景。
按照這樣的思路，2019年年初我們就啟動了空間影片自由視角技術預研專案，並與相關企事業以及高校合作方合作，共同探索多相機陣列採集、視角合成等空間影片所需要的基礎技術。2019年11月，在成都舉行的國際乒聯男子世界盃中，我們研發的自由視角直播系統首次成功應用在體育賽事直播中，在運營商的APP中，觀眾不僅可以觀看高畫質晰度的球賽現場，而且只要在手機螢幕上透過點選、旋轉等操作，還可以看到國際頂尖高手們轉瞬即逝精彩的發球、接球瞬間。這一次，自由視點技術的“小試牛刀”獲得了不錯的反響，讓我們在業內也獲得了不錯的評價，也因此有了後續與湖南衛視《舞蹈風暴》合作的機會。
成都乒乓球世界盃 自由視角直播系統
爭分奪秒闖關到演播室大顯身手的機會來了，我們馬上與融合影片產品線的兄弟們組成聯合專案組，開始攻關解決方案。我們AR&VR工程部團隊主要負責前段的多相機陣列採集方案設計、系統標定演算法、焦點處理、精彩瞬間生成等關鍵演算法的研發，融合影片產品線將我們的技術與傳輸、儲存產品聚合起來，形成真正可交付落地的商業產品。
大家分工明確、有條不紊地進行開發時，突然收到一線傳回的訊息：由於客戶那邊的採購週期長、相機需要備貨等問題，原定1個月的聯調週期被大大壓縮到了10天，聯調是非常重要的一環，我們要與節目組一起在現場調測，這樣才能保證最後的錄製效果，但如今從1個月驟減到10天，這完全打亂了我們原來的開發計劃。這個訊息稱之為“晴天霹靂”也不為過，我還記得自己盯著電腦螢幕久久都回不過神來，滿腦子都是“怎麼辦”。客戶那邊也明白時間太短，為此深感抱歉，表示願意去彙報申請拍攝延期。
雖然“後路”有了，但我們明白延期錄製對於一個節目來說，意味著商業價值的流逝，也會影響後面一系列節目的檔期。對於我們來說，這個節目也是華為的技術和產品亮相的大好機會，大家格外珍惜，決定還是試試看拼一把。於是我們調整了開發策略，先自己“在家”模擬除錯，利用前期積累的資料，我們模擬出了多相機推流保證融合影片產品開發驗證，此外還利用在AR&VR領域的技術積累，構建了一個虛擬舞臺環境，模擬出了相機的部署效果和影象，完整模擬了標定和焦點處理演算法的處理流程，這一系列下來，我們最後的效果基本符合預期。
但這一切都是在模擬環境中，與真正的舞臺還是有區別的，許多問題只會在實地現場顯現。拍攝的前十天，由於節目的錄製地還在除錯，我們來到了湖南衛視的臨時攝影棚進行實機除錯，客戶提供給我們的聯調現場是一個15mx20m的臨時攝影棚，所有的相機、導軌、電動雲臺、伺服器、交換機、邊緣雲裝置都先匯聚到這個狹小的空間內進行搭建和除錯，驗證好後再解體搬移到真正的拍攝現場。
這個小小的攝影棚成為我們臨陣磨槍的最後陣地，在這裡我們度過了最緊張刺激也最辛苦的5天，和預想的一樣，前期模擬沒有出現過的問題，在這5天裡都一一暴露：攝像機雲臺自由度不夠需要調整結構、液壓機的精度有問題抬起過程晃動劇烈、鏡頭和相機配合有問題無法自動復位……原本能夠從容解決的問題因為時間緊張也變得非常棘手。
臨時系統聯調現場
但我們的團隊格外團結。還記得有一天早上6點多我們來到現場，我看到了凌晨2點剛剛下班的左同學，他負責系統壓測並及時反饋定位大量相機穩定性問題，幾乎一天一夜沒有閤眼，我問他為什麼不好好睡一覺再來，他嘿嘿一笑，原來他之前遇到一個相機掛死的問題，當時沒有找到問題原因，這“折磨”得他睡不踏實，剛才迷迷糊糊想到一個點子，所以就過來試試，這樣回去也能睡得香點。還有我們團隊唯一的女生周同學，與湖南衛視負責專案的另一位女生王老師在這期間建立了深厚的友誼，她們倆強強聯合，充分發揮細心協調能力強的優勢，各自帶領團隊攻克一個個問題，讓我們這群人佩服不已，我們背地裡都稱呼她們“女王大人”。不僅前方交付團隊在調測上奮力拼搏，後方的支援團隊也在馬不停蹄地進行驗證方案以及版本測試，為我們提供“炮火”。終於，原計劃20天的驗證任務，5天內我們就全部通過了驗證。
就如闖關模式一樣，9月12日，我們終於進入真正演播場地進行部署和彩排了。留給我們的時間不多了，但基於之前紮實的準備和驗證，我們對整個系統和已知的各種問題都有了清楚的瞭解和認識，一切都在計劃中有序進行。128臺攝像機同時對舞蹈演員進行360度實時拍攝，將動作高潮定格，接下來透過伺服器對採集的上百路影片訊號進行處理，實現在任一時間點上對被拍攝物件的多角度觀察，甚至可以做到慢動作和鏡頭的推拉效果，觀眾可以看到舞者起跳、騰空、定格、下降、落地等一系列畫面，達到“自由視點”的觀看享受。這是我們所有幕後工作人員期待達到的效果。
第一期節目錄制下來，還比較順利，舞者們紛紛在我們的鏡頭前展現自己最強的實力、最美的舞姿。我們心裡稍稍鬆了口氣，節目組也找到我們，愉快地交流了一小會兒，他們提出了新的期待：第一期錄製下來只能生成一種精彩瞬間模式的單一功能，希望我們的方案可以提供更多的編輯變化。
這意味著什麼呢？其實節目組是希望不同舞蹈的“風暴時刻”可以有不同的角度，對於我們來說，就是相機系統要根據不同的舞蹈，升降不同的高度。這樣的需求不是沒有道理的，參加節目的選手舞種不同，展現方式也不一樣，比如中國舞中的“雲裡前橋”，舞者彷彿雲中仙子，一個前空翻後輕盈落地，而在空中翻轉的過程如果能用俯視的角度，會更加具有視覺衝擊力；而有些舞蹈有一些地面動作，或者撒花瓣，則由下往上的視角角度更好，為了能給觀眾更加極致的觀賞體驗，不同的舞蹈如果能用不同的風暴時刻角度，則能擁有最優的觀看效果。
舞臺上的“彩虹”
所以我們需要實現一個可以快速升降，並且能在限定時間內標定完成的“彩虹”，這樣才能讓“風暴時刻”錦上添花，同時不耽誤節目的錄製。那給我們現場標定的時間能有多久？我們問節目組。
得到的答案是：20分鐘以內。
20分鐘？！聽到這個答案，整個團隊都倒吸一口涼氣，要知道之前我們標定一次需要3個小時，這也正是我們每天早上6點就來到現場佈置的原因之一，從3個小時突然縮短到20分鐘，我們覺得“不可能”，大家開會討論，撓破腦袋也只能從多派人手這類治標不治本的方法出發，大家一度都在考慮要不要放棄這種“升級”玩法這樣的想法了。
好在我們在迷茫中沒有行走太久，大家決定從具體方案入手將整個標定流程分解開看，到底哪裡花費的時間最多。我們發現在過去的標定流程裡，標誌物特徵的選取還需要大量的人工手動操作，無法完全做到自動化，而隨著攝像機數量的增加，這個過程所花費的時長佔據了整個標定方案的90%以上。如何去除人工干預，將這個過程全自動化？還要保證相機在各個角度下都能取得足夠多的特徵資訊？這就需要在標定物的設計上多下功夫，既要能體現標定點的全域性唯一性，又要能將一些空間尺度資訊帶入進來；既要足夠大，還要方便部署。
引入二維碼也就是在這個時候被我們提出來。作為日常生活的“老朋友”，二維碼幾乎天天與我們打交道，如果能在標定物上設定好二維碼，將大大提高效率，經過組內骨幹和合作方專家幾天密集的討論和推演，初步確認了採用分體式標定塔的方案構想：我們在舞臺上樹立幾根有二維碼的標定塔，用來校準機位方向，透過二維碼的“指引”確保128臺攝像機對準舞臺中心。這個方案理論驗證是可行的，我們和節目組一介紹，大家都很興奮，覺得希望很大：“難度很大，但是我們相信華為的技術和實力！”受到客戶的信任自然心裡是高興的，但是大家心裡還是打鼓。
清晨的時空凝結系統
“風暴”降臨“風暴”能不能成功降臨？
我們的理論開始接受實踐的檢驗了，在節目錄制現場，我們按前期的演練按部就班進行：
鋼架抬起！1分鐘OK；
啟動雲臺粗標定！3分鐘OK；
標定塔擺放、拍照、撤離！已經過去10分鐘啦！
這時標定程式開始進行計算，現場排程也在等待我們完成的訊息，時間一分一秒地過去，我在後臺盯著螢幕，看著一個個檢查項完成，進度100%！
15分鐘！只用了15分鐘！128個攝像機成功標定完成，齊齊對準了舞臺中心，接下來生成的標定檔案上傳到處理伺服器，比預計還提前了5分鐘！大家終於長舒了一口氣，可以自由移動的“彩虹”終於不是想象了！客戶也在旁邊忍不住鼓起掌來，與我們一起歡呼起來。
說來這裡還有個小趣事，節目錄制期間，我們抱著標定塔放在舞臺上除錯相機高度的時候，現場觀眾一個個屏氣凝神地看著，以為我們要表演什麼新奇的舞蹈呢！當然我們的“表演”也沒有讓他們失望，通過幾根標定塔，我們成功地讓橫跨舞臺的相機系統快速地移動、標定。從此，128臺攝像機組成的半圈狀相機系統如同一道彩虹蒼穹，可以靈活轉動30度、45度、60度……隨著這道“彩虹”升起落下，這種蝶式的拍攝方法可以讓螢幕前觀眾的視野猶如坐上過山車，擁有仰視、平視、俯視各種各樣視角，正是如此，觀眾才能更好的欣賞舞者胡沈員開啟傘的一剎那，紅色花瓣傾瀉而下的瞬間奪目；hello dance的多人舞蹈精心設計的空中別緻造型；風暴時刻裡一襲紅裙的李豔超與空中飄零玫瑰花瓣的完美交融……
有了自由移動的相機系統的助力，接下來就是我們的show time了。在現場的每一位舞者表演完畢後，相機系統採集的畫面經過我們演算法的處理，5分鐘以內就可以生成“風暴時刻”在現場大螢幕播放，讓觀眾欣賞，供現場評委點評，決定是否推杆。每一次當我們生成的精彩瞬間在現場大螢幕進行回放的時候，都是現場氣氛最熱烈的時候，大螢幕上每位舞蹈演員“風暴時刻”以360度立體的時空凝結方式展現，也能讓觀眾更加直觀領略到舞蹈的魅力，就如劉迦的單手支撐，他的腳尖繃得筆直；李響在空中的一字馬，完全和地面平行狀態等等細緻的畫面。
正式錄製現場
10月10日，第一期《舞蹈風暴》播出，我印象很深，節目剛開始不久，主持人何炅就告訴所有舞者“這套系統是我們國家的華為專門為舞蹈風暴研發的！”在場所有舞蹈演員都鼓起掌來，都在說“中華有為”！過往曾經的辛苦在這時候得到最好的回饋，我的內心被自豪與驕傲塞得滿滿的。
再度來臨的“風暴”一個月前，《舞蹈風暴》已經圓滿落幕，不少選手都為這個全新的舞臺點贊，比如冠軍謝欣就在採訪時認為在這個舞臺上是完全不一樣的體驗，“每一面都像是鏡子，能看到自己動作每一個角度的細節。”舞者陳鎮威也覺得風暴時刻“可以讓觀眾更好地主抓舞者和編導想要傳達給觀眾的細節，從表情到腳趾尖”。與橫空出世驚豔亮相的第一季一樣，第二季節目延續了輝煌，在豆瓣評分也高達9.2分，獲得了觀眾的認可和喜愛。作為節目技術團隊的一員，與有榮焉。
雖然節目結束，但我們空間影片團隊依舊在路上，迎接更大的挑戰——這一次我們的“風暴”降臨在了春晚舞臺上，為了這次一年一度的國家級文藝演出，我們在湖南衛視積累的經驗充分發揮的同時，還在畫質、部署標定時長等方面為了匹配國家級的畫面表現力要求進行了大幅度的升級。由於採用了精彩瞬間插入直播訊號的方式，我們並不清楚會有多少精彩瞬間會被春晚導演採用，所以心裡還是隱隱懷著一絲忐忑。
當武術節目《天地英雄》開始後，一個個熟悉的精彩瞬間畫面出現在電視螢幕上面，無論是金剛騰空、飛鷹展翅、吊發騰空等高難度動作，都透過自由視角環視的方式在電視上完美呈現，隨著吳京打拳的動作播放完成，我們8段精彩瞬間在節目中被採用了6個。在那一刻團隊的群組裡大家沸騰了，看著家人們自豪的表情，以及微信上刷屏祝賀的資訊，我深深體會到了憑著技術上春晚的成就感，這場“風暴”，還可以颳得更久、更猛一些！
春晚留念
這些精彩的“風暴”時刻讓我們看到了未來更多的可能，當5G來臨、VR眼鏡越來越普及、AR眼鏡和全息顯示技術快速成熟的今天，只有掌握了空間化影片生成技術，才能將正在快速擴大的網路頻寬填滿。經過了這些“風暴”的成功交付，我們對於AR&VR可以改變影片體驗的信心又增加了一分，我們也清楚看到，目前的工作還只是萬里長征的一小步，影片的體驗勢必越來越需要虛實融合和全空間範圍內的完全自由的互動式觀看，還有很多更加困難的技術壁壘等待我們去攻克。
還記得《舞蹈風暴》節目主持人何炅在節目最後的時候說：“為什麼我們尊重舞者？是因為舞者每一點每一滴的成就，都是靠背後辛辛苦苦的努力來完成的。其實每一個行業都是這樣，這個節目用舞者的榮耀來讚美每一個在不同行業裡面的踏踏實實努力的朋友。”對於我們團隊來說，每一次“風暴”之旅都是刻骨銘心、意義遠大的旅程：我們的技術和產品有了在大眾面前精彩亮相的機會，我們身心得到洗禮，而這僅僅是個開始，我們一起期待下一場“風暴”的完美降臨！
----------