為數字影片遊戲創作藝術需要高度的藝術創造力和技術知識，同時還要求遊戲美術師經常迭代創意併產生大量資產（通常面對緊迫的期限）。如果藝術家使用的畫筆不像工具，而更像助手，該怎麼辦？像畫筆這樣的機器學習模型可以減少建立高質量藝術所需的時間，而無需犧牲藝術選擇，甚至可以增強創造力。

今天，Google展示了Chimera Painter，這是一種訓練有素的機器學習（ML）模型，該模型可以根據使用者提供的生物輪廓自動建立完全充實的渲染。作為一種演示應用程式，當用戶單擊"變換"按鈕時，Chimera Painter會將特徵和紋理新增到按身體部位標籤（例如"機翼"或"爪"）分割的生物輪廓。以下是使用帶有預設生物輪廓之一的演示的示例。

使用匯入到Chimera Painter或使用提供的工具生成的影象

在這篇文章中，Google描述了在Chimera Painter背後建立ML模型時遇到的一些挑戰，並演示瞭如何使用該工具來建立可用於影片遊戲的資產。

新型模型的原型在開發ML模型以生成可用於影片遊戲的生物影象時，Google圍繞將生物組合成新的可隨後相互戰鬥的混合體的概念，建立了一個數字紙牌遊戲原型。在此遊戲中，玩家將以現實世界中的動物（例如，x或鯨）卡開始，並可以透過組合它們（使它們成為可怕的Axolotl-Whale嵌合體）來使其更加強大。這提供了一個演示影象生成模型的創造性環境，因為可能的嵌合體數量需要一種方法來快速設計可自然組合的大量藝術資產，同時仍保留原始生物的可識別視覺特徵。

由於Google的目標是在藝術家的指導下建立高質量的生物卡片影象，因此Google在藝術家反饋的指導下嘗試了生成對抗網路（GAN），以建立適合Google的幻想卡片遊戲原型的生物影象。GAN將兩個卷積神經網路相互配對：一個用於生成新影象的生成器網路和一個用於確定這些影象是否來自訓練資料集（在這種情況下，是由藝術家建立的影象）的鑑別器網路。Google使用了一種稱為條件GAN的變體，其中生成器採用單獨的輸入來指導影象生成過程。有趣的是，Google的方法嚴格偏離了其他GAN的工作，後者通常專注於照片寫實。

為了訓練GAN，Google建立了全綵色影象的資料集，其中包含根據3D生物模型改編的單一物種生物輪廓。該生物輪廓線描繪了每個生物的形狀和大小，並提供了識別個人身體部位的分割圖。經過模型訓練後，模型的任務是根據藝術家提供的輪廓生成多物種的嵌合體。然後將效能最好的模型合併到Chimera Painter中。下面，Google顯示了使用該模型生成的一些示例資產，包括單物種生物以及更復雜的多物種嵌合體。

學習生成具有結構的生物使用GAN生成生物時遇到的一個問題是，在渲染影象的細微或低對比度部分時，可能會失去解剖和空間連貫性，儘管這些對人類具有很高的感知重要性。這樣的示例可以包括眼睛，手指，甚至在具有相似紋理的重疊身體部位之間進行區分（下面BoggleDog）。

GAN生成的影象顯示身體部位不匹配。

生成嵌合體需要一個新的非攝影幻想風格的資料集，該資料集必須具有獨特的特徵，例如戲劇性的視角，構圖和照明。現有的插圖儲存庫不適合用作訓練ML模型的資料集，因為它們可能會受到許可限制，樣式衝突或僅缺少此任務所需的多樣性。

為了解決這個問題，Google開發了一種新的藝術家主導的半自動化方法，用於從3D生物模型建立ML訓練資料集，這使Google能夠進行大規模工作並根據需要快速迭代。在此過程中，藝術家將建立或獲取一組3D生物模型，每種所需的生物型別（例如鬣狗或獅子）都應建立一個模型。然後，藝術家使用虛幻引擎製作了兩套疊加在3D模型上的紋理—一種具有全綵色紋理（下圖，左圖），另一種具有每個身體部位（例如，頭部，耳朵，脖子等）的單色，稱為"分割圖"（下圖，右圖）。在訓練中將第二部分身體部位細分提供給模型，以確保GAN瞭解到各種生物特定於身體部位的結構，形狀，紋理和比例。

再次使用虛幻引擎將3D生物模型放置在簡單的3D場景中。然後，一組自動化指令碼將採用此3D場景，並在每個3D生物模型的不同姿勢，視點和縮放級別之間進行插值，從而建立全色影象和分割圖，從而形成GAN的訓練資料集。使用這種方法，Google為每個3D生物模型生成了10,000+張影象+分割圖對，與手動建立此類資料（每張影象大約20分鐘）相比，為藝術家節省了數百萬小時的時間。

微調GAN具有許多可以調整的超引數，導致輸出影象的質量不同。為了更好地瞭解該模型的哪個版本比其他版本更好，向藝術家提供了這些模型生成的不同生物型別的樣本，並要求他們將其分類為幾個最佳示例。Google收集了有關這些示例中存在的所需特徵的反饋，例如深度感，有關生物紋理的樣式以及面部和眼睛的真實感。此資訊既用於訓練模型的新版本，又用於模型生成成千上萬的生物影象之後，從每個生物類別（例如瞪羚，山貓，大猩猩等）中選擇最佳影象。

Google透過關注感知損失對GAN進行了最佳化。該損失函式元件（也用於Stadia的Style Transfer ML中）使用來自單獨的卷積神經網路（CNN）的提取特徵來計算兩個影象之間的差異，該特徵先前已在ImageNet資料集中對數百萬張照片進行了訓練。從CNN的不同層提取特徵，並對每個特徵施加權重，這會影響特徵對最終損耗值的貢獻。Google發現這些權重對於確定最終生成的影象的外觀至關重要。以下是來自GAN的一些示例，這些示例使用不同的感知損失權重進行了訓練。

Dino-Bat Chimeras使用不同的感知損失權重生成

上面影象中的某些變化是由於資料集為每個生物包括多個紋理（例如，蝙蝠的帶紅色或帶灰色的版本）而造成的。然而，忽略顏色，許多差異與感知損失值的變化直接相關。尤其是，Google發現某些值帶來了更鮮明的面部特徵（例如，右下與右上）或"平滑"與"有圖案"（右上與左下），使生成的生物感覺更真實。

這是由GAN訓練產生的一些生物，它們具有不同的感知損失權重，展示了模型可以處理的一小部分輸出和姿勢。

Chimera Painter現在可以在Chimera Painter演示中使用受過訓練的GAN ，允許藝術家迭代使用該模型，而無需從頭開始繪製數十種相似的生物。藝術家可以選擇一個起點，然後調整生物零件的形狀，型別或位置，從而可以進行快速探索並建立大量影象。該演示還允許上傳在外部程式（例如Photoshop）中建立的生物輪廓。只需下載預設的生物輪廓之一即可獲取每個生物部分所需的顏色，並將其用作在Chimera Painter外部繪製一個的模板，然後使用演示中的"載入"按鈕使用該輪廓充實您的建立。