語言是人類最為複雜的認知功能之一,也是人類作為高階生物的決定性特質之一。不同語言之間具有極大的多樣性。
據估計,全世界現存大約7000種語言 ,它們使用同一套發聲系統(咽喉,聲帶,口腔,唇齒顎舌,等等),產生相似的聲音要素,傳達各自獨有的語義。這就產生了一個關於人類語言特異性的根本問題:不同的人類語言是如何既共享同樣的生理基礎又各自擁有高度的特異性?
跨語言比較的實驗正規化示意圖
2021年2月19日,復旦大學附屬華山醫院神經外科吳勁松教授團隊和加州大學舊金山分校華裔科學家張復倫(Edward Chang)院士團隊的科學家們進行了一項跨語言的比較研究,最新成果以“人腦皮層在聲調語言和非聲調語言中的音高編碼機制”(Human cortical encoding of pitch in tonal and non-tonal languages)為題在《自然-通訊》(Nature Communications)上線上發表。
2020年10月19日,美國國家醫學科學院(NAM)宣佈增選100位院士,著名的神經科學家Edward Chang教授入選。前文回顧:Edward Chang當選院士:系統回顧破解人腦皮質中語音的功能藍圖
在這個專案中,兩個團隊的神經外科醫生們各自利用顱內高密度皮層腦電技術(high-density ECoG),分別記錄和分析了漢語母語者和英語母語者在聆聽漢語和英語時的大腦皮層神經電生理活動。他們探索了音高(pitch)和聲調(tone)這兩個重要的語音元素在兩類截然不同的語言群體中的神經表徵機制,以及個體語言背景的差異對神經表徵的影響。
在自然語言中,音高是極為重要的要素之一。在說話或者唱歌時,人類透過擠壓肺部撥出空氣,空氣流過聲帶產生振動從而發出聲音,同時我們透過控制喉部的肌群調節聲帶(vocal folds)的振動頻率從而控制音高的高低變化。在不同的語言中,音高可以表達豐富的語義(lexical) 和語調(intonation) 資訊。依據音高是否表達語義資訊,可以將語言劃分為聲調語言(tonal language) 和非聲調語言(non-tonal language)。
在聲調語言中,僅僅改變單詞的音高可以完全改變詞義,例如 /fu1/ (夫)和 /fu2/ (福)是音節相同但是語義完全不同的兩個詞。而非聲調語言中,音高的起伏變化主要用來表達情緒,態度,陳述以及疑問等等語調資訊而並不直接改變詞義。據估計,在現存的7000種語言中,有一半以上的語言是聲調語言,全球一半以上的人口使用聲調語言 。其中,漢語普通話就是使用人口最多的聲調語言。而英語則是使用人口最多的非聲調語言之一。
眾所周知,漢語普通話有四個聲調,它們分別有各自特有的音高輪廓曲線。然而在自然言語狀態下,受到不同的說話者本身的固有基礎頻率(女性的音高一般在160-300Hz,比男性的60-180Hz高一倍左右),以及前後語境、情緒、句子短語結構等因素的影響,實際的音高輪廓曲線會與理想情況呈現較大的偏差,可能出現男性語者的高音高頻率(第一聲、第二聲尾部與第四聲頭部)低於女性語者的低音高頻率(第三聲、第二聲頭部與第四聲尾部),以及句尾的第一聲(陰平)絕對頻率低於句首的第三聲(上聲)的情況。這就要求在自然言語的條件下,聆聽者必須能夠有效且穩健地從聲學線索中提取出準確的聲調資訊。
自然語言狀態下的聲調輪廓偏差示例:T1-相對較高的第一聲(陰平),T1L-相對較低的第一聲(陰平),T3-相對較低的第三聲(上聲)。在聲學空間中,T1L與T3更為相似,而T1與T1L差異較大
行為學實驗表明,聲調語言母語者依靠語者標準化的相對音高高度以及輪廓(speaker-normalized relative pitch contour)來判別聲調資訊。而本文作者透過神經編碼(neural encoding model)的方法確認了這一心理語言學現象的神經機制,即位於顳上回(superior temporal gyrus)言語聽覺皮層的區域性神經活動直接編碼表達了語者標準化後的相對音高高度以及音高變化速率,而相反,這些區域性的神經活動並不反應語者的絕對音高(absolute pitch)或者抽象的聲調類別(tone category)。
進一步的跨語言比較分析表明,這一區域性神經編碼機制是跨語言相通的:當同一個聆聽者聽到漢語以及英語語音時,漢語中語義相關的聲調變化以及英語中的非語義語調變化採用相同的顳上回區域性編碼機制。
顳上回區域性單電極神經活動編碼了相對音高高度以及音高變化速率,而非絕對音高或聲調類別。 (上)顱內高密度電極以及顳上回語言區; (下)平均神經響應訊號以及不同編碼模型的預測值。
當同一聆聽者聽到不同語言時,顳上回的區域性神經編碼機制是跨語言相通的:漢語中語義相關的聲調變化以及英語中的非語義語調變化觸發相同的顳上回區域性編碼機制。
另一方面,行為學文獻表明,由於語言背景的不同,聲調語言的母語者在聽到不同聲調時會進行分類感知(categorical perception) ,即將在聲音空間內線性變化的聲調訊號,在感知空間中非線性地對映到離散的聲調類別中。而非聲調語言母語者則會傾向於真實地感知連續變化的聲調訊號。為此,本文作者同樣進行了對應神經機制的跨語言比較分析,結果表明對於同樣的中文語音,漢語母語者的顳上回群體狀態空間呈現分類感知的表達結構,而英語母語者的顳上回群體狀態空間則更為接近於表達原始的聲學空間。
群體編碼性質統計以及狀態空間分析表明,漢語母語者顳上回神經群體活動體現較強的聲調分類以及類別結構表徵的特性,英語母語者則與原始聲音空間更為接近
由此,作者們揭示了音高在聲調語言和非聲調語言中採用相同的神經編碼機制,並證明了這種編碼機制會受到不同語言背景的影響。
該研究透過高時空解析度的顱內腦電技術提出了神經語言模型的全新視角,即作為聲學語言中樞之一的顳上回既參與了相對音高這一複雜聲學特徵的編碼表徵,也參與了聲調這一語義相關的高階資訊的處理和表徵,而這兩種不同級別的資訊分別反映在同一皮層區域的區域性和整體神經活動中。
(左)漢語和英文自然語句示例;(右)漢語和英語母語者顳上回聽覺皮層的區域性和群體神經活動分別編碼不同層級的聲學和語義特徵資訊
加州大學舊金山分校華裔科學家、神經外科主任張復倫(Edward Chang)院士和復旦大學附屬華山醫院吳勁松教授為本文的共同通訊作者,UCSF李遠寧博士,Claire Tang博士以及復旦大學附屬華山醫院神經外科主治醫師路俊鋒博士為本文的共同第一作者。本研究得到UCSF神經外科前主任Mitchel Berger教授以及復旦大學附屬華山醫院周良輔院士的直接指導和毛穎院長的大力支援。研究團隊還得到深圳市神經科學研究院譚力海教授、香港大學Shelley Tong教授等的支援和幫助。本專案受到上海市“腦與類腦智慧”市級重大科技專項以及上海申康醫院發展中心等專案的資助。