在短短几年時間裡，深度學習演算法已經進化到能夠在棋類遊戲中打敗世界上最厲害的棋手，也能像人類一樣準確地識別人臉，甚至可能更好。但掌握獨特而深遠的人類語言是人工智慧面臨的最艱鉅挑戰之一。

人類是目前唯一使用複雜語言交流的物種。十年前，要理解文字是什麼，人工智慧演算法只會計算特定單詞出現的頻率。但這種方法顯然忽略了一個事實:單詞有同義詞，而且只有在特定的上下文中才有意義。

2013年，Tomas Mikolov和他在谷歌的團隊發現瞭如何建立能夠學習單詞含義的架構。他們的word2vec演算法將同義詞彼此對映，它能夠歸納有關尺寸大小、性別、速度等同義詞，甚至可以學習國家和首都等函式關係。然而，缺失的部分是上下文背景。

這一領域的真正突破出現在2018年，當時谷歌引入了BERT模型。Jacob Devlin和他的團隊回收了一種用於機器翻譯的架構，並使其學習與句子上下文相關的單詞的含義。透過教會這個模型去填補維基百科文章中缺失的單詞，團隊能夠將語言結構嵌入到BERT模型中。僅用有限數量的高質量標記資料，他們就能讓BERT適應多種任務，從找到問題的正確答案到真正理解一個句子的內容。他們第一次真正做到把握了語言理解的兩個要素：正確的架構和大量可供學習的高質量資料。

2019年Face Book的研究人員將這一研究進一步推進。他們同時訓練一個BERT式的模型學習100多種語言。該模型能夠學習一種語言的任務，例如英語，並使用它來完成其他任何語言的相同任務，如阿拉伯語、漢語等。這種語言不可知論模型在訓練語言上與BERT有相同的表現，從一種語言到另一種語言的影響有限。

所有這些技術本身都令人印象深刻，但在2020年初，谷歌的研究人員終於能夠在廣泛的語言理解任務中擊敗人類。它透過在更多資料上訓練更大的網路，將BERT架構推向了極限。現在，這種所謂的T5模式在標註句子和找到問題的正確答案方面比人類表現得更好。10月份釋出的mT5模型在從一種語言切換到另一種語言方面幾乎和雙語人類一樣出色，但它可以同時處理100多種語言。谷歌本週公佈的萬億引數模型，讓該模型實現了更強大的效能。

發展可能性

想象一下，聊天機器人可以理解你用任何可以想象的語言寫的東西。他們會真正理解語境並記住過去的對話。你會得到的答案不再是泛泛的，而是正中要害的。搜尋引擎將能夠理解你的任何問題，它會給出正確答案，甚至不需要使用正確的關鍵字，你將得到一個瞭解公司所有程式的AI同事。

資料庫的新時代即將到來，告別構建資料的繁瑣工作，任何備忘錄、電子郵件、報告等，都可以自動解釋、儲存和索引。人們不再需要IT部門執行查詢來建立報告，你只需要告訴資料庫你想知道的。

高昂價格

目前還有個問題，為什麼這些演算法不是隨處可見？培訓T5演算法的雲計算成本約為130萬美元。幸運的是大家分享了這些模型。但是如果不在手頭任務中對它們進行微調，就不能將這些模型用於任何特定的事情。即使是這樣，這也是一件高昂的事。而且一旦針對特定的問題最佳化這些模型，它們仍然需要大量的計算能力和很長時間來執行。隨著時間的推移，隨著公司在這些微調上的投入，我們將看到有限的應用出現。如果我們相信摩爾定律，我們可以在大約五年內看到更復雜的應用。