背景遮罩，GAN模型等

> Photo by Paul Hanaoka on Unsplash

我們處於2021年初，在過去的一年中，機器學習社群發生了很多事情。

不用浪費時間，這裡是最流行，趨勢最明顯的開源研究專案，演示和原型的導覽。從照片編輯到NLP，再到帶有"無程式碼"的訓練模型，我希望它們能激發您開發出令人難以置信的AI驅動產品。

該技術使用捕獲的背景附加幀，並將其用於恢復alpha遮罩和前景層。為了實時處理高解析度影象，使用了兩個神經網路。

> Demo

2. SkyAR

這是另一個出色的專案，它可以實現影片天空替換和協調，可以在樣式可控的影片中自動生成逼真的戲劇性天空背景。

該專案基於Pytorch，部分改編了pytorch-CycleGAN-and-pix2pix專案中的程式碼，並利用了天空遮罩，透過光流進行的運動估計以及影象融合為影片提供了藝術背景。

上面的開源在電影和影片遊戲中具有不可思議的潛力，例如增加假雨/晴天/等。

> Source

3. AnimeGAN v2

對照片進行卡通化始終是一個有趣的機器學習專案。是不是

AnimeGANv2這個專案是AnimeGAN的改進版本。具體來說，它結合了神經風格轉移和生成對抗網路（GAN）來完成任務，同時還確保了防止高頻偽像的產生。

> Source

4. txtai

AI精緻的搜尋引擎和質量檢查聊天機器人始終是小時的需求。這正是該專案的目的。

透過使用句子變形器，變形器和fais，txtai構建了一個AI驅動的引擎，用於上下文搜尋和提取性問題解答。

實質上，txtai支援構建文字索引以執行相似性搜尋並建立基於提取問題的系統。

> Source

5.將舊照片帶回生活

接下來，我們有Microsoft最新的照片恢復專案，該專案可以自動修復損壞的照片。

具體來說，它透過利用PyTorch中的深度學習實施來恢復劃痕檢測，面部增強和其他技術，從而使遭受複雜退化的舊照片得以恢復。

根據他們的研究論文："我們訓練了兩個可變自動編碼器（VAE），分別將舊照片和乾淨的照片轉換為兩個潛在空間。並使用合成配對資料學習這兩個潛在空間之間的轉換。由於域間隙在緊湊的潛伏空間中是閉合的，因此這種轉換可很好地推廣到真實照片。此外，為了解決一張舊照片中混合的多種退化問題，我們設計了一個全域性分支，該分支具有針對結構化缺陷（例如劃痕和灰塵斑點）的區域性非區域性塊，而針對非結構化缺陷（例如噪聲和模糊度）的區域性分支。

該模型肯定優於傳統方法，如以下演示所示：

> Source

6.頭像化

Deepfake專案席捲了機器學習和AI社群。該專案透過讓您在實時影片會議應用程式中建立逼真的頭像來顯示一個經典示例。

基本上，它使用一階模型從影片中提取運動，然後透過光流將其應用於目標頭像影象。這樣，您可以在虛擬相機上生成化身，甚至可以為經典繪畫製作動畫。從Elon Musk到Mona Lisa，您都可以假扮任何人來娛樂！

> Source

7.脈衝

這是一個AI模型，展示瞭如何從低解析度的人臉影象生成真實的人臉影象。

PULSE代表透過生成模型的潛在空間探索進行自我監督的照片上取樣，它基於建立逼真的SR影象（也可以正確縮小比例），提供了超解析度問題的另一種表示方式。

> Source

8. pixel2style2pixel

基於研究論文"樣式編碼：用於影象到影象翻譯的StyleGAN編碼器"，該專案使用Pixel2Pixel框架，旨在使用相同的架構按順序解決各種影象到影象的任務以避免任何可能的區域性偏差。

基於新穎的編碼器網路，可以訓練該網路以將面部影象與額姿對齊，進行條件影象合成並建立超解析度影象。

從漫畫家的照片中產生幾乎真實的人，到將草圖或面部分割轉換為逼真的影象，您可以做很多事情。

> Source

9.伊格爾

這可能是由於預算問題或缺乏清晰的願景，但尋找具有相關機器學習專業知識的人員始終是初創企業的挑戰。更重要的是，由於該領域始終處於發展之中。

因此，近來無程式碼機器學習平臺激增，Google和Apple之類的公司釋出了自己的工具集以快速訓練模型。

這個令人愉悅的開源機器學習專案正是透過允許您在不編寫程式碼的情況下訓練/擬合，測試和使用模型來做到這一點的。雖然GUI拖放版本仍在開發中，但使用此專案的命令列工具可以實現很多功能：

//train or fit a modeligel fit -dp 'path_to_your_csv_dataset.csv' -yml 'path_to_your_yaml_file.yaml'

//evaluateigel evaluate -dp 'path_to_your_evaluation_dataset.csv'

//predictigel predict -dp 'path_to_your_test_dataset.csv'

還有一個命令igel實驗可以將所有階段結合起來：訓練，評估和預測。有關更多詳細資訊，請參閱此處的文件。

> Source

10.姿勢動畫師

最後但並非最不重要的一點是，我們有一個網路動畫工具。基本上，該專案使用PoseNet和FaceMesh具有里程碑意義的結果，透過利用一些TensorFlow.js模型使SVG向量影象栩栩如生。

您可以透過以下方式對自己的設計或骨架影象進行動畫處理：

> Source