作者/寧飛虹

作為女團安菟的一員，留歌以個人名義參加了《跨次元新星》的選拔，一曲勁舞后，留歌講述自己出道後遇到的挫折與堅持，此時鏡頭切換，留歌的媽媽抹著眼淚說終於看到自己女兒站在舞臺上。

這是選秀節目中常見又不起眼的一幕，小娛在此提及，是因為其還有這樣的特殊性：留歌不是真人，是一個虛擬數字人；留歌的媽媽是一名工程師，它是留歌能與觀眾見面的關鍵人物。

《跨次元新星》用綜藝形式將虛擬偶像及其實時表演帶到福斯面前，有趣的是，在選秀核心之外，它還將大量鏡頭給了節目背後的虛擬技術工程師。

這些工程師在幕後工作時，會直接吐槽類似人物穿模這樣的技術瑕疵，比如Angelababy與自己的戰隊在休息室互動時，其中一位工程師直接說寐魚的“衣服破了”，還讓導演組減少複雜的互動環節。

這是由於實時表演捕捉技術（肢體，手指，面部）、虛擬製片技術（AR/XR）技術以及實時引擎框架下的3D動畫製作技術等是虛擬偶像進行才藝展現的關鍵，這些工程師在節目錄制時發揮著舉足輕重的作用。

達瓦未來科技首席技術官朱子威告訴小娛，節目在開拍前進行了三次技術測試，第一次測試動捕，第二次測試AR。要實現實時虛擬舞臺表演，大致經過下圖呈現的技術流程，其中IP方提供資產，建模和材質是基本；達瓦未來科技提供動捕技術和全流程虛擬製片技術，蜜枝科技提供AR舞臺秀製作技術。

一個完整的技術流程

蜜枝科技在各方的合作中起到的最大作用是構建一個技術pipeline（流程標準）。在劉勇看來，“不同技術進行系統整合需要一定的磨合期，《跨次元新星》作為先行者，一定會暴露出還不夠成熟的地方。但這個節目相當於拋磚引玉，它將虛擬和真人之間的隔閡膜給捅破了，讓人們關注並投入到一個全新的世界，這個過程的意義才比較重大”。

在快速擴張的虛擬市場，在節目內和節目外，小娛好奇這些核心技術是如何將虛擬演出展現給福斯的。

如何保證角色不穿模？

“選手太照騙了！”《跨次元新星》剛播出時，慕容淺、二孃等角色出場後，由於實際建模與海報相差太多，引來了一波吐槽。

一個虛擬角色的建模好壞，直接影響到後續技術環節的實現程度。比如顧城這個角色，被節目組戲稱為“鐵金剛頭”，是因為他的頭髮沒有骨骼動不了。“如果骨骼少，做物理的時候就很難完成得好。”朱子威說。

“骨骼技術難度並不高，目前業內肢體技術標準化了，但所有的配飾沒有標準化。電影行業的解法是後期渲染，無法實時，這就必須要有方案去解決實時的問題，就需要用骨骼來模擬出一個馬尾辮的效果。如果骨骼多，它動起來是可以很流暢的；如果只有三根，那麼效果必然不好”。

他認為節目中物理效果最好的是蘇芷羽的裙襬，整體的服飾及形態很流暢地在滑動。戍心淵是一隻狐狸形象，它的五條尾巴“一根尾巴上有二十根骨頭”，走起路來的擺動就能非常順滑。

IP資產建模還會給物理後的動捕造成困擾。“一個角色匹配動捕是有一個過程的，這個過程如果只是1-2天的時間就可能導致穿模。”這與動捕技術實現的原理有關，只有當角色發生動作的時候，才能發現問題出在哪裡，如果要進行實時修改則需要較為富餘的時間。

技術方面臨的一個基本難點是，綜藝的工作模式與動畫流程完全不同，很難有一個完全確定的分鏡臺本提供給技術製作團隊，在實際拍攝時考驗的是臨場反應和超短時間的問題解決能力。

“很多拍攝決策是現場就決定的，基本定下方案後就馬上執行，從動作捕捉的離線動畫快速製作流程到實時表演出片，二十幾個選手要10天內全部做完，而且還是直接給到模型後適配到系統裡讓它可以實時表演。”朱子威表示。

表演時怎麼不卡頓，角色不飄走？

節目技術方還面臨另一個難點是虛擬⼈物和真實場景融合度，以及舞臺秀舞美氛圍的呈現。這主要依靠AR系統去解決，做好3D虛擬燈光和真實燈光的匹配等。

“節目現場有多臺AR攝像機，都必須同步，如果不同步，就會導致內部資料包括高度、深度和左右、前後全都出差錯，”劉勇說道。Vizrt和Zero Density是節目的AR渲染引擎，蜜枝科技要做的是把UE4引擎跟演出、燈光加上AR攝像機，保證其能與AR渲染引擎系統連線順暢。“這一套流程和解決方案的開發和經驗積累才是最複雜的。”

“我們在現場精確計算了各聯路之間的延時（毫秒級），包括硬體的延時和軟體的延時，並通過技術手段對延時進行補償處理，才能讓畫面同步呈現給觀眾。” 另外一個難點是九個AR機位的跟蹤校準，需要九臺渲染主機對真實世界的理解都是一樣的。定位不準人就飄走了；跟蹤一壞，虛擬人物與特效的疊加合成就會出現偏差，這都會影響觀看體驗。

這其中系統的資料來源非常之多，通常每次要檢查幾十個終端資料來源是否暢通，才能開始進行拍攝。哪怕是一道小小燈光的處理也不簡單，“在AR裡面有一個虛擬的燈光，打下去之後再反到攝像機裡，為了跟現場的燈光做結合，提前錄好現場的燈光編排，再將那套燈光全部還原到AR裡面，之後再實時地配合現場音樂。

“舞臺的控臺對接、AR系統的對接等這些技術及軟體都不是現成的，需要去自主進行適配和研發。”劉勇提到。

在節目外，虛擬演出場景已經有不少案例，比如說唱歌手Travis Scott在遊戲《堡壘之夜》裡開的虛擬演唱會。從技術維度而言，除了伺服器端荷載壓力外，虛擬演唱會最需要解決的是實時渲染技術。

朱子威表示，“全世界虛擬技術產業上，現在需要最大限度突破的還是計算效能，尤其是渲染效能，其實很多問題最後還是卡在效能上面”。比如最近S10 KDA女團表演時的“翻車”事件，即使是大家公認的前列公司拳頭，也會在AR播出時遇到效能上的問題。

“現在的瓶頸是，有更好的硬體使得實時播出效果越來越好，但這肯定需要動用更多的計算能力或採用更加激進、巧妙的優化辦法，這要通過歷史資料的經驗總結，得到一個不需要去計算、通過查表就可以得到的結果。”

在國內，還沒有大聲量的線上虛擬演出示範，但不少技術公司早早就已參與到大型舞臺的技術服務中。要在國內舉辦大型虛擬演唱會，在時間及預算充足的情況下，技術實現不是難點。

不過當下虛擬偶像市場，娛樂公司、技術公司以及娛樂內容製作方，對虛擬角色打造、虛擬數字人的應用場景理解都不盡相同，對於演出這一面向C端的商業化形式，看法也不一。

虛擬數字技術的商業化，C端演出是大方向嗎？

前幾年，虛擬偶像市場剛起步，不少公司在孵化虛擬IP時基於日本的成功經驗，二次元形象是常見的選擇，不過這些IP總是會面臨使用者“抄襲日本”的指責，三四年過去很多IP都銷聲匿跡了。

“去你的二次元，咱們短時間內做不出能打敗日本的東西。”一位業內人士對此市場狀況評價道。

在二次元虛擬市場，存在一個隱形鄙視鏈。第一級是初音未來，第二級是日本《偶像大師》等形象，第三級是國內以洛天依為代表的vsinger系列。“在中國現在要想再做二次元虛擬偶像，是要從審美鄙視鏈的底端走上來，需要的時間更長，起碼要保證3-5年的養成期。”劉勇說道。

劉勇專注於虛擬偶像賽道，他對於虛擬偶像的理解，是要用真人偶像培養的方式去做虛擬偶像，“當下大家都忘了偶像的初心了，偶像的造星邏輯是靠發歌拍MV、線下演出，不停地跑通告慢慢做出來的，我覺得對於做偶像來說這是一條正道。”

不過，劉勇意識到一個二次元虛擬偶像的養成在日本需要五到六年的時間，初音未來用了6年時間才火起來，洛天依在有初音未來的前提下，也花了4年時間才爆火。“所以我們轉變為更福斯化娛樂的邏輯，從做內容的角度拉回到做演出，做演出這件事情是做偶像的一個不二之選。”

蜜枝科技現在主要提供虛擬演出技術服務，“AR、全息，純CG，包括遊戲、動畫中的演出部分，其實都有整套技術方案去解決，在虛擬演出技術服務上我們自己就能做到千萬級別。”劉勇說道。

劉勇認為當下福斯市場遠沒有到一個完全接受的程度，在5年後或許才能迎來一個爆發期，“但這需要一個觸發性的事件，類似於90年代末初音未來演出禁止引發的‘初音未來消失事件’，使得初音未來真正成為福斯二次元代表，讓社會意識到虛擬偶像的需求及價值”。

不同於技術公司，娛樂公司重在內容輸出和IP運營上。次世文化創始人陳燕認為，“我們一直希望行業跳出虛擬偶像這4個字，不管是主觀意識對虛擬偶像的定義侷限還是技術應用場景，我們放大到一個虛擬數字人的整體賽道上去看，你會發現更多待開發領域。”

陳燕認為虛擬數字人是虛擬娛樂產品的一種品類，而現階段，他不會刻意入場相對泛二次元領域的虛擬歌姬、VTuber及傳統福斯傳統認知的“虛擬偶像”賽道，而是在其他細分領域打造了超寫實KOL 翎LING，虛擬DJ purple以及韜斯曼、冷巴等明星虛擬形象。

“當初設計LING，是因為我們發現在國風國潮這個賽道中，即便是真人領域，從16歲到30歲這個年齡，也極少能看到能擔起文化傳承級別的愛豆或KOL，這也就意味著這個賽道存在機會。”

在與魔琺科技合作開發LING的過程中，次世文化把控住角色及世界觀設定、人物屬性，包括首發物料、分發平臺、人物延展方式、商業化路徑等。“LING身上有國潮的文化底子，這是泛福斯文化領域期待看到的虛擬人產品；LING身上的時尚感也很強，這是我想讓包括特斯拉等時尚型別品牌看到的。”

“我們的每個虛擬人產品都會相對精準的變現場景和使用者人群，所以我們在進行LING的宣傳投放時，佈局了娛樂、時尚、美妝類等不同類別的媒體渠道，儘量讓不同領域使用者都去關注到這個事情。”

陳燕認為未來1-2年內，to B還是虛擬人行業的核心變現及應用路徑，“短期內，我們還是想把’人’先做好，但我們也在嘗試搭建的虛擬娛樂場景，希望在未來3-5年內給虛擬人更多to C的機會，完成更多使用者虛擬身份認知的可能”。

由此看來，虛擬數字人的應用場景與商業化變現，在技術成熟的前提下，當下該做B端的生意還是直接走向C端，還需要更長時間的觀察和檢測。