1 預訓練模型由來

預訓練模型是深度學習架構，已經過訓練以執行大量資料上的特定任務（例如，識別圖片中的分類問題）。這種訓練不容易執行，並且通常需要大量資源，超出許多可用於深度學習模型的人可用的資源，我就沒有大批次ＧＰＵ。在談論預訓練模型時，通常指的是在Imagenet上訓練的CNN（用於視覺相關任務的架構）。ImageNet資料集包含超過1400萬個影象，其中120萬個影象分為1000個類別（大約100萬個影象含邊界框和註釋）。

2 預訓練模型定義

那麼什麼是預訓練模型？這是在訓練結束時結果比較好的一組權重值，研究人員分享出來供其他人使用。我們可以在github上找到許多具有權重的庫，但是獲取預訓練模型的最簡單方法可能是直接來自您選擇的深度學習庫。

現在，上面是預訓練模型的規範定義。您還可以找到預訓練的模型來執行其他任務，例如物體檢測或姿勢估計。

此外，最近研究人員已開始突破預訓練模型的界限。在自然語言處理（使用文字的模型）的上下文中，我們已經有一段時間使用嵌入層。Word嵌入是一組數字的表示，其中的想法是類似的單詞將以某種有用的方式表達。例如，我們可能希望"鷹派"，"鷹"，"藍傑伊"的表現形式有一些相似之處，並且在其他方面也有所不同。用矢量表示單詞的開創性論文是word2vec，這篇嵌入層的論文是我最喜歡的論文之一，最早源於80年代，Geoffrey Hinton 的論文。