回覆列表
-
1 # 隔夜說動漫
-
2 # 知新了了
GAN生成式對抗網路是一種深度學習模型,是近年來複雜分佈上無監督學習最具有前景的方法之一,也是近期最熱門的深度學習模型。
GAN生成式對抗網路的模型至少包括兩個模組:G模型(生成模型)和D模型(判別模型)。使兩者互相博弈、互相對抗學習,可以產生相當優秀和完美的輸出結果。GAN演算法應用範圍較廣,擴充套件性也強,可應用於影象生成、資料增強和影象處理等領域,用在動漫影象生成上更是得心應手。
在影象領域的應用,最重要的是演算法的訓練。一個成功的GAN模型必須依靠良好的訓練方法,否則神經網路模型的自由性會導致效大偏差的輸出結果,使最終輸出的影象難以達到模擬要求。
GAN做為一種優秀的演算法模型,會為影象領域的技術發展帶來極大的助力,但由於它自身的侷限性,說帶來變革可能會言過其實。
必竟,更新更好的模型會不斷湧現出來的。
-
3 # 科學的奧秘
英偉達最新的gan是透過漸進增大的方式來訓練的,從最原始的4x4到1024ⅹ1024,並在訓練進展過程中增添新的處理更高解析度細節的網路層,這大大穩定了訓練,從而讓我們生成了前所未有的高畫質影象。
這些最新的智慧技術,能給動漫畫面帶來更為清晰和逼真的效果。
儘管如此,這種gan還是需要進行人工調整損失函式和提前網路訓練。英偉達最新研究的條件gans將突破這些壁壘,它的生成網路由G1(全域性生成網路)和G2(區域性增強網路)組成,判定網路D為多尺度判定,即用三種同樣結構的網路,針對不同尺寸的圖片執行,同時採用穩定的對抗學習目標函式,從而實現自主生成超高畫質的圖片。
留意下方圖片底行的那一組人像,正在發生緩慢的轉變過程---從銀髮白膚色的人種,變成了黑髮黑膚色的人種。
注意:左邊獨立出來的人像照片,就是透過右方的人像特徵進行合併之後得到的。
再來看看第二組人像變化,從黑膚色中長頭髮的人士,變成了白膚色短式頭髮。
第三組展示了不僅臉部骨骼,即使是肥瘦的外形都能夠進行隨心所欲的變更。
甚至能夠將一位成年的黑膚色美女,重新變回幼年時期的小蘿莉呢。
英偉達的這套GAN系統,是構建於AI深度學習的基礎之上的,透過對海量的人像照片進行識別學習,最終就能夠達到我們所看到的如此遊刃有餘的改造人像的效果。
不過上面的操作依舊只是皮毛而已,下面就來看看更為精細化的操作吧,讓你們知道這款名叫“GAN”的系統在細節操控上究竟達到了何等牛逼的程度。
接下來的演示將會把合成影象進行“特徵區域”排布,使得每一板塊都能夠對應的控制人像的某一特徵。
比如coarse控制“姿勢”“頭髮”“臉型”;middle控制“面部特徵”“眼睛”;fine控制“色彩效果”。
好了,馬上看片---
當我們試圖改變控制“姿勢”“頭髮”“臉型”特徵的照片時,右邊合成大圖就從一位正面朝向我們的幼年小正太,變成了一位側面對著我們的中年婦女了。
當我們將主控制特徵的照片換成一位禿頂老年男人的時候,右邊的合成照片又會從中年婦女變成英俊瀟灑的中年男子。
來看看第二個“面部特徵”控制。
當控制照片從中年女人變換成帶著黑色墨鏡男人的時候,右邊合成照片就轉變成了臉型臃腫的女士,饒有著富貴之相。
而當主控照片換成類似於寡姐的金髮女士頭像的時候,右邊的合成照片又會變成仿若某位好萊塢女明星的圖樣。
至於第三個“控制顏色”的特徵。
當左邊的控制照片從黑頭髮,灰色背景換成淺灰頭髮,木色背景的照片時,右邊的合成照片的色彩度也跟隨變得淺白和暖了一點兒。
當照片換成色調小清新蘿莉的時候,右邊的合成照片色調也同樣得到了相對應的變幻,膚色從黃色面板變成了白面板。
可以想見,只要英偉達願意的話應當是能夠繼續將這些特徵合成點進行細分的,從而就能夠達到最為精準無比的合成操作了。
而且區別於過去所認知到的照片合成系統,英偉達的這一款技術可是能夠被操作者觀察到整個動態合成效果的,想來在未來的CG影視作品,亦或者遊戲作品當中也能夠得到很好的應用吧?
除此之外,對於已經合成完畢的成品照片來說,也同樣能夠透過各項合成特徵來進行修整微調,更進一步的為想要得到心中所想的完美容貌給予了技術上的支援。
從瘦削的微微齙牙容貌,變成臉頰微胖的白暫美女。
亦或者從女性慢慢的拖拽演變成男士的外貌,通通都能夠輕易實現。
來看看一組更為直觀的群像照吧,30張照片人物在不同的引數設定下,形態樣貌通通都發生了極大的轉變。
正如英偉達在演示影片裡頭所說到的那樣,只要透過對不同特徵的強度控制,我們就能夠隨心所欲的獲得最為完美的容貌形態,效用可謂是神乎其神了。
值得注意的是,這款名為“GAN”的AI合成軟體可不僅僅能作用在人物形象呢,對於幾乎一切的物體,比方說汽車,房屋,寵物等等都能夠達到同樣的效果。
從小汽車的形態,顏色,到擺放的位置姿態,通通都能夠透過系統引數來進行調節。
車輛的品牌也同樣如此,從類似於賓士汽車的造型,最後變成了寶馬汽車的外形。
車身的顏色一樣,從紅色,變成金黃色,再從金黃色漸變成藍色的外殼,要記住了,這其中並非只有三種顏色的轉變,加上過度色彩的話這裡面可是存在了至少幾萬種顏色可供操作者進行挑選呢。
怎樣?這樣一項基於人工智慧的合成技術是否已經讓你們覺察到“新世界被開啟”的那一陣激靈呢?
雖然目前的動畫製作水準已經達到了前所未有的高度,迪士尼皮克斯的三維動畫就不說了,就算是一直以來都被網友們詬病的中國產動畫也依舊能夠達到讓人驚豔的建模水準。
比方說暑期大熱的中國產熒幕動畫《風語咒》,在應用自主研發的曼陀羅引擎後,人物的面部表情就得到了極為生動的潤色。
到了10月新番季,一部經由人氣網文改編的中國產動畫《星辰變》,也同樣給我們帶來眼前一亮的視覺享受,看看下面秦羽老爸秦德的五官刻畫和臉部動作的雕琢, 用驚世駭俗來形容應當一點兒也不過分吧?
但真正距離現實成像依舊是有一大段距離的,而隔夜君認為,英偉達的這項技術或許就是讓遊戲動漫的人物設計突破這一最後次元壁壘的關鍵所在吧。
當然,就目前為止大夥看到的也只是靜態圖片的合成,距離需要實時演算的影視作品遊戲動漫等等的應用程度還是有不少的距離。
不過隔夜君一直以來都是相信科技爆炸發展的前景理論的,相信真正的落地應用也應當在可預見的短期未來內能夠實現吧。
所以,讓我們一同期待那一天的到來吧。