-
1 # vbhhn
-
2 # 人民郵電出版社
作為資深吃貨,面對各種看得見卻吃不著的美味,簡直無比痛苦!
不過,最近Facebook的AI研究組釋出了一項造福吃貨黨兼烹飪愛好者的黑科技——“反烹飪”系統(Inverse Cooking):根據一張食物的照片,就能生成食譜。下次再看到美食,只要一張照片,就能按照自動生成的食譜自己學著做了!
這是一張Inverse Cooking根據食物影象自動生成的食譜,由標題(Title)、原料(Ingredients)和烹飪說明(Instructions)組成Inverse Cooking透過一個新穎的架構預測食物的原料,並將食物原料作為集合,在不強加任何順序的情況下對其依賴性進行建模,然後透過同時處理影象及其推斷的原料來生成烹飪指令。
雖然影象識別領域已經有非常多很成熟的應用了,但Inverse Cooking是第一個直接從食物影象生成烹飪食譜的系統。從影象生成食譜之所以這麼難,是因為與對自然影象的理解相比,食物識別面對著額外的挑戰:
食物及其成分具有很高的類內變異性,並且在烹飪過程中會出現嚴重的變形。食材一般都裝在盤子裡,而盤子有各種顏色、形狀和質地,影響識別。視覺成分檢測(visual ingredient detection)需要高階推理和先驗知識(例如,蛋糕可能含有糖而不是鹽,而牛角麵包可能含有黃油)。下圖展示了Inverse Cooking系統的工作原理:
Inverse Cooking系統以食物影象作為輸入,輸出一系列烹飪指令。這些指令由一個指令解碼器生成,該解碼器將兩個嵌入項作為輸入。第一個嵌入項是從影象中提取的視覺特徵,而第二個嵌入項則對從影象中提取的成分進行編碼。
用影象編碼器提取影象特徵eI ,用θi引數化。原料成分由θL預測,並用θe編碼到eL(ingredient embeddings)中。烹飪指令解碼器由θR引數化,透過參考影象嵌入eI、成分嵌入eL和之前預測的單詞(r0, ..., rt-1)生成食譜標題和一系列烹飪步驟。
以往,從影象生成食譜的問題被表示為一個檢索任務,根據嵌入空間中的影象相似度評分,從一個固定的資料集中檢索出接近的食譜。這種方法的效果很容易受到資料庫樣本量和多樣性的影響,也會受到嵌入式學習質量的影響。當資料庫中不存在匹配的食譜時,檢索就會失敗。
那這個採用了新架構的Inverse Cooking系統到底表現如何呢?
Ours表示用最新的Inverse Cooking系統生成的食譜,Retrieved表示用以往的檢索方法生成的食譜,Real則表示實際的食譜;Ours和Retrieved預測的成分如果存在於實際樣品中,則成分顯示為藍色,否則顯示為紅色。可以看出,雖然Inverse Cooking系統還不能完全準確地預測出食物的食譜,但準確率已經很高了,並且明顯比檢索方法預測的結果更加準確。
甚至,有時Inverse Cooking系統生成的烹飪說明比實際的操作步驟更加詳細:
Inverse Cooking系統連“蓋好並搖勻”這樣的細節都沒有放過!這個好玩的食譜生成專案已經在Github上開源了:Recipe Generation from Food Images,小夥伴們可以用自己儲備的美食照片試一試,按照Inverse Cooking的指導做一道美食,說不定還能發現自己在美食烹飪上的天分!
更多好玩的科技知識可關注
回覆列表
免費的開源的機器人客服,春松客服,在github上有詳細的專案介紹,可以瞭解一下,很不錯。華夏春松科技有限公司 微軟最具價值專家,前IBM高階架構師王海良的團隊。
春松客服:坐席工作臺、組織機構、賬號、語音渠道、系統配置和資料報表。
語音渠道:和語音閘道器整合,支援呼叫中心業務。
聊天服務:智慧問答引擎,語音識別服務和非結構化的文字資料分析服務