智慧如何幫助揭示著名繪畫。最近有兩篇論文提出了將機器學習應用於藝術的創新方法。
X射線是一種成熟的工具,可以幫助分析和還原有價值的畫作,因為X射線的頻率較高,意味著它們可以直接穿過畫作而不會損害它們。X射線成像可以揭示在畫布上繪製的任何東西,或者畫家可能改變了他(或她)的原始視野的地方。但是這項技術有其侷限性,這就是機器學習可以證明有用的地方。今秋有兩篇論文說明了如何使用AI解決藝術分析和保護方面的特定問題:一本用於更詳細地重建底漆,另一篇使雙面塗漆的面板更容易成像。畢加索的《老吉他手》是該藝術家所謂的《藍色時期》中最著名的作品之一。二十年前,X射線和紅外分析顯示他重新使用了一塊較舊的畫布。下面有一幅坐著的女人的畫,與畢加索寫給朋友的信中的素描相匹配。但是X射線和紅外影象無法提供足夠的細節來使人感覺到原始繪畫的真實狀態,尤其是顏色的選擇。
在釋出到物理的arXiv論文9月,英國倫敦大學學院的安東尼Bourached和喬治·卡恩描述了他們如何就業機器學習重構畢加索原來的底色,具體而言,一種叫做神經風格轉移的全綵色影象,最初開發幾年前,德國蒂賓根大學的研究人員。根據技術評論:神經網路由可按不同比例分析影象的層組成。第一層可以識別諸如邊緣的寬闊特徵,第二層可以看到這些邊緣如何形成簡單的形狀(如圓形),第二層可以識別形狀的圖案,例如兩個圓形靠在一起,而另一層則可以將這些成對的圓形標記為眼睛。這種網路可以識別從達芬奇到梵高再到畢加索的各種風格的繪畫中的眼睛。在每種情況下,眼睛都會形成機器可以識別的相似圖案。
還可以訓練該網路來識別獨特的樣式,例如分辨畢加索和梵高的繪畫之間的區別。也可以顛倒該過程:為神經網路提供影象,然後在其上疊加給定樣式。
畢加索的“老吉他手”下的放大/視覺重建藝術的方法。
這就是Bourached和Cann對《老吉他手》之下的繪畫的X射線影象所做的。(他們還將該技術應用於另一幅畢加索畫布上,以重建西班牙畫家聖地亞哥·魯西諾(Santiago Rusinol)完成的底漆。)畢加索選擇繪畫的方式可能有也可能不是,但該過程對於更好地了解主觀人類創造力仍然很有用。 。作者寫道:“我們結合原始但隱藏的藝術品,主觀人工輸入和神經風格轉移的方法有助於拓寬對藝術家創作過程的洞察力。”
照亮中世紀的傑作人工智慧技術也被證明對藝術保護工作很有用。根特的祭壇畫又稱神祕羔羊的崇拜-是15世紀的傑作,作者是休伯特(Hubert)和揚·範·艾克(Jan van Eyck)兄弟,陳列在比利時的聖巴沃大教堂中。該祭壇最初由12個面板組成,具有兩個分別由四個面板組成的“翅膀”,分別在兩側塗漆。這些教堂的翅膀在教堂的盛宴日子裡打開了,因此,聚集者可以看到內部的四個中央面板。內部上部分有基督國王,聖母瑪利亞和施洗約翰,兩側是描繪天使以及亞當夏娃和夏娃的人物。下部的內部記號描繪了施洗約翰和福音傳教士聖約翰,中間有一群聖徒,罪人,神職人員和士兵。
根特美術博物館於2012年10月開始修復祭壇畫,當皇家文化遺產研究所的保護者在各個面板上進行工作時,公眾可以從玻璃幕後觀看此工藝。修復還使用不同的成像技術生成了各種面板的一系列高解析度影象。
這些影象反過來構成了由杜克大學,國家美術館和倫敦大學學院的研究人員將AI分析應用於祭壇影象的調查基礎。該團隊在《科學進展》的論文中報告了他們的工作。杜克大學的合著者Ingrid Daubechies對媒體說:“它們擁有世界上最著名的畫作之一,並且願意與我們合作。
翼板的兩面都塗漆,這對常規X射線分析提出了獨特的挑戰。這組作者寫道,X射線穿透得如此之深,以至於很難確定哪些內容適用於面板的哪一側,因為“所有影象都被明顯地疊加或'融合'在一起”。因此,Daubechies和她的同事開發了一種深度神經網路演算法,以研究混合X射線影象,其中包含來自繪畫雙面面板正面和背面的特徵。他們成功地將其技術應用於Adam和Eve機翼面板的X射線影象,以將資料解構為兩個清晰的影象,顯著改善了先前方法所實現的效能。
儘管藝術保護主義者充分利用了從物理和化學中汲取的技術,包括製作了有價值的作品的X射線和紅外影象,但採用最先進的影象分析方法的速度卻較慢。儘管在電子工程和電腦科學學科中影象處理是至關重要的研究領域,但根據Daubechies的說法,其中許多工作並未集中在與藝術保護相關的獨特挑戰上。與識別Instagram上的貓和狗的圖片相比,可用的圖片更少。共同作者巴拉克·索伯(Barak Sober)告訴媒體:“您的統計推論不可能是相同的,因為您的資料要少得多。”
皇家文化遺產研究所保護專案負責人埃琳·杜波依斯(HélèneDubois)表示,該技術將提供有用的資訊,以幫助進行修復工作。她說:“可以更精確地診斷出木製支撐架以及地面和油漆層的結構缺陷。”“這些影象還將有助於了解範·艾克兄弟的技術以及在連續執行這一獨特傑作的過程中所做的更改。
那麼像畢加索的《老吉他手》一樣,這種新方法是否也可能對檢查底漆有用呢?Daubechies告訴媒體說:“這是相似的但又有所不同,因為在雙面塗漆的雙面X射線的情況下,我們可以在兩側獲得高品質的可見影象。” “當您想在另一幅畫下尋找事物時,問題就不同了,因為您無法訪問隱藏的那幅畫。” 儘管這使解決難題變得更加困難,但由於對隱藏繪畫的成像需要更加複雜的成像技術,因此AI將處理更多資料。
UCL的合著者米格爾·羅德里格斯(Miguel Rodrigues)說:“這種方法表明,由深度學習提供支援的面向人工智慧的技術可以潛在地解決藝術調查中遇到的挑戰。”“我們希望看到類似的面向AI方法的開發將對我們揭示繪畫中其他隱藏特徵(例如較早的隱藏設計)的能力產生影響。”