通常情況下，想要建立一個栩栩如生的人臉 3D 數字模型，需要動用 3D 掃描器或多個攝像頭。
然而位於匹茲堡的卡內基梅隆大學的一支研究團隊，卻已經打造出了一套僅需一部智慧手機、便可基於影片來建立逼真的 3D 面部模型的新技術。
據悉，這套技術由 Assoc 開發，凝結了 Simon Lucey 教授與碩士生 Shubham Agrawal 和 Anuj Pahuja 的工作成果。
【3D 建模與原影片對比，圖自：Carnegie Mellon University】
首先，研究人員使用智慧手機拍攝圍繞物件頭部的 15~20 秒短影片。為收集儘可能多的資料（影象幀數），Lucey 團隊還使用了 iPhone X 的慢速攝影功能。
然後，其藉助一種被稱作視覺同時定位和製圖（SLAM）的現有技術，來確定面部的基本幾何形狀。其透過對面部表徵上的點位開展三角剖分，來計算對應的形狀和手機相對於面部的距離。
接著，基於深度學習的演算法可用於識別物件的面部輪廓，以及眼耳口鼻等“地標”的相對位置。為填補其它“空白”資料，還需要用到傳統的“網格擬合”計算機視覺技術。
儘管整個過程需要 30~40 分鐘，但其最大的特點是單純可以依靠一部智慧手機來完成。3D 模型不僅看起來逼真、細粒度也達到了亞毫米級，較此前開發的類似裝置提升了不少。
最後，研究團隊希望這項技術能夠應用於諸多領域，比如遊戲中玩家化身的建立，醫學、或生物特徵識別等場景。
有關該團隊的工作詳情，已在上月初於科羅拉多舉辦的 IEEE 冬季計算機視覺應用大會上發表。
通常情況下，想要建立一個栩栩如生的人臉 3D 數字模型，需要動用 3D 掃描器或多個攝像頭。
然而位於匹茲堡的卡內基梅隆大學的一支研究團隊，卻已經打造出了一套僅需一部智慧手機、便可基於影片來建立逼真的 3D 面部模型的新技術。
據悉，這套技術由 Assoc 開發，凝結了 Simon Lucey 教授與碩士生 Shubham Agrawal 和 Anuj Pahuja 的工作成果。
【3D 建模與原影片對比，圖自：Carnegie Mellon University】
首先，研究人員使用智慧手機拍攝圍繞物件頭部的 15~20 秒短影片。為收集儘可能多的資料（影象幀數），Lucey 團隊還使用了 iPhone X 的慢速攝影功能。
然後，其藉助一種被稱作視覺同時定位和製圖（SLAM）的現有技術，來確定面部的基本幾何形狀。其透過對面部表徵上的點位開展三角剖分，來計算對應的形狀和手機相對於面部的距離。
接著，基於深度學習的演算法可用於識別物件的面部輪廓，以及眼耳口鼻等“地標”的相對位置。為填補其它“空白”資料，還需要用到傳統的“網格擬合”計算機視覺技術。
儘管整個過程需要 30~40 分鐘，但其最大的特點是單純可以依靠一部智慧手機來完成。3D 模型不僅看起來逼真、細粒度也達到了亞毫米級，較此前開發的類似裝置提升了不少。
最後，研究團隊希望這項技術能夠應用於諸多領域，比如遊戲中玩家化身的建立，醫學、或生物特徵識別等場景。
有關該團隊的工作詳情，已在上月初於科羅拉多舉辦的 IEEE 冬季計算機視覺應用大會上發表。