個人十年自然語言處理從業者，認為自然語言處理難的主要原因，首先自然語言表現形式多樣化，語法多樣化，詞語多義化，再有還有語境的影響，上下文的影響，還有不同人不同文章風格的多樣化，語音這塊來說，還有口音，地方話，俗語等難點需要處理，針對粘合性語言比如中文，還需要進行分詞，每一步都有好多技術點需要研究，綜合導致自然語言處理難，尤其中文自然語言處理，對於同行共勉，歡迎各位同行多交流！

當我在思考這個問題的時候,不禁回想到了我的小時候就覺得非常神奇的IBM機器人沃森,這臺機器人擁有當時人類所製造機器的最頂級的智慧,具有高階語言處理能力並且能夠初步理解英語的能力.

初步來看,實現這樣的一個能夠和語言與人類進行交流的機器人,其中包括語音識別和自然語言處理(包括手語,唇語,肢體語言等)來與人類進行溝通,透過自然語言生成和語音合成來和人類進行交際,同時也需要進行資訊檢索和資訊抽取,從而能夠進行推理,根據已知的事實來得到結論.

語言處理中的一些困難:

我們把處理口語和書面語的計算技術稱為語音和語言處理,合起來就算是自然語言處理,其實這是一個很廣泛的定義,這個範圍從人人皆知的比如分詞計算,自動換行這樣的相對簡單的技術,直到比如微軟小冰這樣的自動回答,Google翻譯這樣的實時口語自動翻譯的高階技術.

而自然語言處理相對於計算機視覺這樣的其他人工智慧的應用來說,自然語言處理需要從業人員有一定的語言知識,就好比我們在剛入門的時候用NLTK包來計算文字檔案的詞數,句數,以及上下文語句等.當我們如果用nltk上的處理位元組數功能時,這就是一個簡單的資料處理工具,而我們如果要去計算一篇文章中的詞數,句數的時候,就需要讓計算機知道什麼是詞,什麼是句子,從哪裡斷句,從哪裡開始的語言知識,這個時候工具就變成了一個自然語言處理系統.但是像是nltk這樣的工具畢竟還是一個簡單的系統,他的語言知識也比較有限,如果要其擁有跟我們人類有對話的語言能力,我們就必須要求系統擁有更加廣泛和更加深刻的語言知識,因此這就需要從業人員擁有處理更加複雜系統所需的語言知識範圍和種類的語言能力.

而計算機識別語音的時候,計算機也必須要分析他所能接受的聲音訊號,那些是噪音,那些是有用的知識,並且因此來說,為了生成回答進行反饋,計算機必須要把知識圖譜中的回答進行整理組織成詞的系列,並且能夠生成出能夠讓人類是識別的語音訊號.

當然,為了實現這些,我們就有用到phonetics和phonology的知識,這樣的知識能夠給幫我們如何建立模型來識別語句中的發音.

另外,除了處理一個個單詞以外,我們還要考慮如何生成一句話,並且能夠按照我們的需求進行生成,這樣我們有需要組詞成句的知識,以及詞彙語義學和組合語義學的知識

最後一個是最困難的,關於消除歧義:

例如“這房間就是個烤箱”、“這個房間就是個盒子”，雖然句式相同但都不是字面的意思，前者表示這個房間很熱，後者則表示這個房間很小。要讓計算機理解這些話的意思，不是僅僅做詞表示甚至句法分析能解決的。也例如，語言理解實際是一個多模態過程，需要綜合除語言之外的視覺、聽覺甚至觸覺等多模態的富語境資訊才能實現真正的語言理解。我個人覺得，這些應該是自然語言理解/處理比較困難的地方。

自然語言理解/處理應該是實現通用人工智慧的關鍵挑戰，但似乎不應是最難挑戰。語言能力是人類智慧的集中體現，不過構建在語言等能力基礎之上的思辨、決策和創造等能力，似乎都還沒納入人工智慧主要探討的範圍，也許這些更困難些。例如，如何讓機器像人一樣思考哲學問題，像人一樣指揮戰爭或運營商業公司，或像人一樣發明創造？這些問題似乎都比自然語言理解/處理更困難。

即使限定在自然語言處理，當前關心的問題也更偏重自然語言傳遞資訊的工具屬性上，也就是如何讓計算機更準確地理解一句話的字面意思。人類語言更富魅力的“言有盡而意無窮”的特點，還遠未被探索。

以前讀書研究過自然語言，當時處理的是人名地名機構名專有名詞識別，屬於分詞後下一個階段的研究。

搞了2年，覺得統計方法很神奇，確實挺智慧，但是有個問題就是輸入文字要規範，寫論文可行，實踐投入不可行。但是研究到實際本身就一步一步走出來的。所以直到今日，也沒看到啥大的突破。

類似問題在影象識別也有，實驗室明明效果還可以，投入實踐，一些實際複雜的資料進去，準確率立馬不行。

所謂智慧還是比較初級階段啊。也可能統計這種演算法本身就有問題吧。人類學習和認知也不是靠統計來完成的，而是在認知和教授基礎上思考，這種思考才算智慧。讓計算機達到人類那種思考力程度，感覺還有很遙遠距離，畢竟人類生物學的大腦工作原理還沒搞清。