回覆列表
  • 1 # 使用者5570901997590

    Pointer network 主要用在解決組合最佳化類問題(TSP, Convex Hull等等),實際上是Sequence to Sequence learning中encoder RNN和decoder RNN的擴充套件,主要解決的問題是輸出的字典長度不固定問題(輸出字典的長度等於輸入序列的長度)。

    在傳統的NLP問題中,採用Sequence to Sequence learning的方式去解決翻譯問題,其輸出向量的長度往往是字典的長度,而字典長度是事先已經訂好了的(比如英語單詞字典就定n=8000個單詞)。而在組合最佳化類問題中,比如TSP問題,輸入是城市的座標序列,輸出也是城市的座標序列,而每次求解的TSP問題城市規模n是不固定的。每次decoder的輸出實際上是每個城市這次可能被選擇的機率向量,其維度為n,和encoder輸入的序列向量長度一致。如何解決輸出字典維度可變的問題?Pointer network的關鍵點在如下公式:

    其中 是encoder的在時間序列j次的隱藏層輸出, 是decoder在時間序列i次的隱藏狀態輸出,這裡的 其維度為n維和輸入保持一致,對 直接求softmax就可以得到輸出字典的機率向量,其輸出的向量維度和輸入保持一致。其中 均為固定維度的引數,可被訓練出來。

  • 中秋節和大豐收的關聯?
  • 用簡單的心境,做善良的好人,用知足的態度,過幸福的人生,這種態度對嗎?