DeepFake現在的應用雖然說不上廣泛,但是也還是有不少的地方都使用到了,但是現在的DeepFake在發展上同樣還存在一些問題,這些問題可能是技術上的也可能是其他方面的。
1、清晰度問題
原版的人臉像素是64*64,顯然偏低,但要提高人臉清晰度,並不能僅靠提高圖片的分辨率,還應該在訓練方法和損失函數上下功夫。眾所周知,簡單的L1Loss是有數學上的均值性的,會導致模糊。
2、泛化性
生成網絡是數據驅動的,因此在所生成的結果中反映了訓練數據的特性;良好的效果受限於訓練數據集,特定身份的高質量圖像需要該身份的大量樣本。
3、人臉識別問題
由於第一個環節是對人臉做預處理,算法必須首先能識別出人臉,然後才能處理它,而dlib中的人臉檢測算法,必須是“全臉”,如果臉的角度比較偏就無法識別,也就無法“換臉”。
4、成對式監督訓練
其實還是數據問題,帶標籤成對具有GT的數據實在難以獲取。為了避免這個問題,許多Deepfake網絡通過使用自監督的方式進行訓練,或者使用不成對的網絡(例如CycleGAN),或者利用的ED網絡的編碼在潛在空間進行特徵編輯。
5、遮擋
遮擋可能是手、頭髮、眼鏡或任何其他物品,這可能導致出現偽影、不合理的生成效果等。
對於DeepFake還存在的這些問題,你覺得重要嗎?
最新評論