回覆列表
-
1 # 使用者551921813817
-
2 # 穩穩科技社
自然語言處理(natural language processing, NLP)是一門融語言學、計算機科學、數學於一體的科學,是計算機科學領域與人工智慧領域中的一個重要方向。它研究能實現人與計算機之間用自然語言進行有效通訊的各種理論和方法。
自然語言處理的終極任務是:像人一樣理解人類的語言。這話雖然說著很容易,但是做起來比視覺要難多了。這就需要先說一下語言的特殊性。
語言的特殊性百科上說,語言是一類複合交流系統,主要包括其形成,習得,維護和應用,特別是相應的人類能力。語言是歷史的記錄,是對現實世界的描述,甚至可以說,語言是很多時候我們人類本身,因為它是所有唯心主義的載體。
語言的理解也很複雜,它包含了許許多多我們認為的“常識”,這個“常識”可能需要很多語言來描述清楚,甚至需要根本就描述不來。就比如,你永遠不能用語言向別人描述一隻貓,除非那個人真的見過一隻貓,但是在我們生活中,我們可以很方便地用“貓”這個概念。
自然語言處理的目的自然語言處理的目的就是讓計算機程式習得我們的語言以及使用語言的能力。和人一樣,相比於計算機視覺,它所需要的資料和算力都是呈指數級增長的,而人也得在三到四歲才能學會簡單的會話。
如今,自然語言處理幾乎是算力為王的時代,領頭羊並且能做出影響學界的研究的只有谷歌和facebook,前者以2017年的transformer和2018年的bert成為領頭羊,後者以xlnet成為後起之秀,這中間還有一個叫huggingface的組織,致力於開源化相關的模型和程式碼。
至於其他的研究組,都幾乎在小打小鬧。甚至可以說,自然語言處理是當前深度學習的聖盃。
自然語言處理是人工智慧和語言學領域的分支學科。此領域探討如何處理及運用自然語言;自然語言處理包括多方面和步驟,基本有認知、理解、生成等部分。
自然語言認知和理解是讓電腦把輸入的語言變成有意思的符號和關係,然後根據目的再處理。自然語言生成系統則是把計算機資料轉化為自然語言。