過去幾年，自然語言生成（NLG）模型得到了巨大的發展，通讀、總結文字、以及參與對話的能力都已大幅提升。
為便於研究團隊評估不同 NLG 模型的效能，搜尋巨頭谷歌（Google）特地提出了一個名叫 BLEURT 量化指標。
通常情況下，我們可以透過人工和自動化流程來評估 NLG 模型，比如雙語評估學習（BLEU）。前者的缺點是太費人力，後者的優勢是具有更高的準確性。
【來自：MIT Tech Review】
谷歌研究人員稱，BLEURT 是一種針對自然語言模型（NLG）的全新自動化評估指標，可為不同模型打出可靠的評分，結果接近、甚至超越了人類指標。
據悉，BLEURT 的核心為機器學習。對於任何 ML 模型，最重要的就是訓練用的資料有多豐富。然而對於 NLG 模型來說，其訓練資料是相當有限的。
實際上，在 WMT Metrics Task 資料集中（目前人類匯聚的最大集合），也僅收集了涵蓋新聞領域的大約 26 萬資料。
若將之用作唯一的訓練資料集，那 WMT 度量任務資料集將失去訓練模型的通用性和魯棒性。為攻克這一問題，研究人員採取了轉移學習的方法。
首先，研究團隊使用了 BERT 的上下文詞，且其已順利聚合到 Yis 和 BERTscore 等 NLG 量化工具中。
接著，研究人員介紹了一種新穎的預訓練方案，以提升 BLEURT 的魯棒性和準確度，同時有助於應對模型的質量偏移。
在微調人工量化標準前，BLEURT 藉助了數以百萬計的合成句子，對 NLG 模型展開了“預熱”訓練。其透過來自維基百科的句子、加上隨機擾動來生成訓練資料。
研究團隊未手機人工評分，而是使用了相關文獻（含 BLEU）中的指標與模型集合，能夠以極低的代價來擴大訓練示例的數量，然後對 BLEURT 進行了兩次預訓練。
其一階段目標是語言建模，二階段目標則是評估 NLG 模型，此後團隊在 WMT 指標資料集上對模型進行了微調。一旦受過訓練，BLEURT 就會試著與競爭方案對抗，以證明其由於當前的指標。
據悉，BLUERT 在 Python 3 上執行，且依賴於 TensorFlow，詳情可參閱 GitHub 專案介紹頁。有關這項研究的詳情，可翻看 ArXiv 上的預印本。
最後，研究人員還總結了其它結果，比如 BLEURT 試圖“捕獲表面重疊以外的 NLG 質量”，該指標在兩項學術基準評估中獲得了 SOTA 的評價。
過去幾年，自然語言生成（NLG）模型得到了巨大的發展，通讀、總結文字、以及參與對話的能力都已大幅提升。
為便於研究團隊評估不同 NLG 模型的效能，搜尋巨頭谷歌（Google）特地提出了一個名叫 BLEURT 量化指標。
通常情況下，我們可以透過人工和自動化流程來評估 NLG 模型，比如雙語評估學習（BLEU）。前者的缺點是太費人力，後者的優勢是具有更高的準確性。
【來自：MIT Tech Review】
谷歌研究人員稱，BLEURT 是一種針對自然語言模型（NLG）的全新自動化評估指標，可為不同模型打出可靠的評分，結果接近、甚至超越了人類指標。
據悉，BLEURT 的核心為機器學習。對於任何 ML 模型，最重要的就是訓練用的資料有多豐富。然而對於 NLG 模型來說，其訓練資料是相當有限的。
實際上，在 WMT Metrics Task 資料集中（目前人類匯聚的最大集合），也僅收集了涵蓋新聞領域的大約 26 萬資料。
若將之用作唯一的訓練資料集，那 WMT 度量任務資料集將失去訓練模型的通用性和魯棒性。為攻克這一問題，研究人員採取了轉移學習的方法。
首先，研究團隊使用了 BERT 的上下文詞，且其已順利聚合到 Yis 和 BERTscore 等 NLG 量化工具中。
接著，研究人員介紹了一種新穎的預訓練方案，以提升 BLEURT 的魯棒性和準確度，同時有助於應對模型的質量偏移。
在微調人工量化標準前，BLEURT 藉助了數以百萬計的合成句子，對 NLG 模型展開了“預熱”訓練。其透過來自維基百科的句子、加上隨機擾動來生成訓練資料。
研究團隊未手機人工評分，而是使用了相關文獻（含 BLEU）中的指標與模型集合，能夠以極低的代價來擴大訓練示例的數量，然後對 BLEURT 進行了兩次預訓練。
其一階段目標是語言建模，二階段目標則是評估 NLG 模型，此後團隊在 WMT 指標資料集上對模型進行了微調。一旦受過訓練，BLEURT 就會試著與競爭方案對抗，以證明其由於當前的指標。
據悉，BLUERT 在 Python 3 上執行，且依賴於 TensorFlow，詳情可參閱 GitHub 專案介紹頁。有關這項研究的詳情，可翻看 ArXiv 上的預印本。
最後，研究人員還總結了其它結果，比如 BLEURT 試圖“捕獲表面重疊以外的 NLG 質量”，該指標在兩項學術基準評估中獲得了 SOTA 的評價。