首先要知道虛擬主播幾種形式，一種是基於真人融合虛擬背景的虛擬主播，這種方案中人是真的，還有一種就是主播的主題人是動漫模型（二次元），場景可以是虛擬的也可以是真是的，虛擬捕捉簡單的方法是透過大資料語音識別來驅動虛擬人物的面部表情，如微笑，說話，傷心等，但依託光學動作捕捉技術動作捕捉系統，面部識別技術等，藉助克拉克拉，虎牙可以做虛擬直播的平臺可以實現前端虛擬實時直播，後端真人動作表演的效果，這種技術形式更適合現在直播的互動和生動要求

其實，做3D虛擬主播 無外乎以下幾點：

一個3D模型，一箇中之人，一套支援3D虛擬偶像做直播動畫的技術。

那麼它們是如何結合的呢？

每一個虛擬偶像的背後都有一位表演者負責做動作，一位CV負責配音。當然他們可以是同一個人。

1：動作表演+表情匹配

需要表演者穿上動作捕捉裝置，然後，每做一個動作，動捕後臺都會記錄下表演者的動作資料，表演完成，動作資料將會儲存在一個檔案裡，我們將這些動作資料，同手動K好的表情資料，透過unity合成輸出序列，此時的動作就攜帶有表情了。最後，匯出綠幕版的動作影片檔案。這些動作，就是我們在觀看虛擬偶像節目中，虛擬主播表演的那些動作。

2：配音

配音檔案的獲取，可以單獨在錄音棚看著動作素材配音，也可以在表演過程中，帶上耳麥邊做動作邊將聲音傳輸到錄音裝置中儲存。這個音訊檔案就是虛擬主播的配音。

好啦~現在我們有綠幕的動作影片檔案我，也有配音檔案。透過AE或者Pr，將以上素材剪輯加工，就是我們看到的虛擬偶像日常影片啦~

--------------------------

同理，虛擬偶像做直播，只用上半身，主體為面部表情，按傳統的方法，表情需要手動K幀。

不過以上，提及到技術層面，並非所有人都能一時學會這些專業的美術工具。為了方便小白使用者更好的解決這些技術問題，我們團隊和其他做虛擬主播的小夥伴溝通後，研發一款方便小白使用者輕鬆做3D虛擬主播的工具----Live3D 透過傻瓜式操作，簡單解決上述說的各種複雜技術問題。

1：首先提到模型

（1）Live3D有自己的雲端3D模型庫，裡面的模型均可免費使用

（2）支援自定義捏人，你可以透過捏人功能（捏臉，換裝，捏身體）獲得一個新的模型。

（2）Live3D支援匯入外部3D模型，目前支援FBX，PMX，VRM格式。你可以將你的模型匯入，開啟虛擬主播之路。

2：其次，提到面部表情，以往的方法，上述提到用“手動K幀”的方式，難度大，耗時長，同時和個人能力有很強的掛鉤。同樣面部表情需要和動作結合，也需要透過unity 匯出合成序列

針對面部表情：Live3D的解決方案--“面部捕捉”

面部捕捉實現的方式

（1）透過電腦攝像頭捕捉。

（2）透過iphoneX 及以上版本的手機攝像頭捕捉。

PS：對口型的準確度可以達到你說的每個字都能準確對上口型。

3：動作捕捉資料 需要過unity 需要對unity 有一定的熟悉度 才可以最終將動作資料，表情資料 轉化為視覺化影片。

針對動作資料 Live3D的解決方案是：預製動作庫+動作捕捉介面+匯入外部動作

（1）預製動作庫 有海量雲端動作資料，透過按下動作對於電腦鍵盤上的某個鍵（設定動作對於鍵盤某個鍵，透過在Live3D上拖動動作到Live3D上的小鍵盤），人物就會做出相應的動作。

（2）動捕介面 目前支援諾亦騰一套動捕裝置及諾亦騰Hi5手套，捕捉手部細節動作。使用過程：連結動捕後，在Live3D上開啟Noitom動捕 Noitom Hi5手套 按鈕 。可以在Live3D上看見你用動捕做出的動作，在做動作前 點選錄屏，選擇綠幕背景，即可錄製剛才你做的動作影片，直接出來就是綠幕影片檔案，不再像過去需要過unity處理。

（3）匯入外部動作，除了支援匯入外部模型，我們還支援匯入外部動作，你可以把你喜歡的舞蹈動作，日常生活動作，動捕動作匯入到Live3D裡，運用在直播和動畫功能上。