-
1 # 趣事空間
-
2 # 北航秦曾昌
多工學習是指透過同時對模型最佳化多個目標,來獲得更好的泛化能力。其本質上屬於遷移學習的一種,即利用不同任務之間具有類比和相似的關係,。多工學習能夠擺脫單任務學習中容易出現的過擬合問題,透過學習多工之間的共享表示,使得模型能夠在多個任務上都能取得很好的效果,同時大大減少了模型大小和需要的資料量。
值得注意的是,這裡的多工要求任務之間存在相關性,只有這樣任務之間才可能存在共享表示。否則,反而會傷害模型的效能,出現負遷移的現象。這一點可以用人的學習方式來解釋,人們利用聯想學習的方式,即發現不同任務之間的相關性,往往能夠更快更好的學習知識,比如同時學習數學和物理。
多工學習按照學習結構的不同可以分成以下兩種:
A. 多工共享一個特徵表示,然後再針對引出預測不同任務的小模型,這種方式訓練的引數更少,過擬合的風險也更小,因為我們同時學習的任務越多,那麼模型要找到一個包含所有任務的共享表示就越困難,這樣就很難出現對某個任務出現過擬合。但是,這也對任務之間的相關程度,提出了更高的要求,如果任務之間的相關程度低,那麼就無法找到一個共享表示,模型的效果將大打折扣。
B. 多工之間享有各自的特徵表示,但是相互之間聯絡在一起,學習到的表示能夠相互交流和影響,從而構成更大的表示空間。這樣方式要學習的引數量較上一種要增加很多,但是對任務之間的相關度要求就下降了,可以讓模型自己自動的找到任務之間的相關性來得到共享表示。
-
3 # 藍音
陛人才疏學淺……
在學校時的〈各科學習〉難到不叫“多工學習”嗎?
如果在校其間的學習,就叫“多工學習”
那麼大腦已經開發訓練了!
當然人們應該時時不斷的填充融入更新文化知識,和社會生存所需的各種新技術,技能。
但為什麼要用訓練一詞?而不用學習?
-
4 # 鴻哥iouyh福小鋪
非常複雜的工程,這是AI的一項模擬系統,也就是標籤式的打包,換句話說就是套餐之類的任務環境。
譬如一個任何可以成為另一個任務的知識點,當然真實情況不止A\B\C。。。。。。幾個任務點,而是一個可以視為整體的大任務。
這樣的學習方式如果放置對真實人類,我的理解就是思維訓練吧,也就是通俗的一句話:舉一反三。
個人淺見,僅供參考。
回覆列表
如果非要把心理過程分解的話,也是可以從另一個角度認為是“多工”的;就如同在回覆這個帖子的時候,眼睛從螢幕上感受到了光線刺激了,視覺皮層把刺激轉變成大腦能處理的訊號,語言區域讓我理解文字的意義,同時注意力只讓我集中在文字資訊上面,心理學知識的長期記憶調出,與語言整合後,又透過運動(鍵盤)表現出來! 感覺-知覺-注意-語言-整合-運動,看,這就是人腦的多工!
多工學習的需求比較普遍, 比如給定一篇doc(如 部落格, 微博, 短新聞) 的文字資訊和數字資訊(如 長度, 圖片數, 發表日期), 來預測等若干個迴歸值.為什麼可以多工訓練 有些隱藏特徵可以共用, 這是各output可以公用前幾層的理論假設. 除了一石二鳥, 訓練一次實現多種用途以外, 多個 output 之間也會相互平衡, 像正則項一樣, 比單一任務達到更好的泛化效果.