前言
天氣漸冷,約了一位在銀行工作的老友小酌相聚,酒過三巡,老友便開始了吐槽,說現在的銀行都在開展數字化轉型,紛紛開展各種人工智慧專案。我正納悶這不是蒸蒸日上與時俱進有什麼好吐槽的呢,老友又說道頭痛的是行裡GPU資源有限,每個部門都搶的頭破血流...
我瞬間想到了NVIDIA創始人黃仁勳提出的黃氏定律對AI效能的提升曾作出的精準預測,預測GPU將推動AI效能實現逐年翻倍!
也就是在前天,NVIDIA GTC CHINA 2020線上大會上,NVIDIA首席科學家Bill Dally在大會上重點介紹了公司在AI方面的進展,他以三個專案為例,結合著名的黃氏定律,大膽表示GPU將持續推動AI效能每年翻一番。他認為在提高計算機效能方面,黃氏定律就是一項重要的指標,就像曾經的"摩爾定律"一樣,黃氏定律可能在未來的很長一段時間都適用。
摩爾定律
摩爾定律,是由Intel的聯合創始人Gordon Moore在20世紀60年代提出,當時他表示計算機晶片上的電晶體數量大約每兩年會翻一番,這也意味著這些晶片及其供電的計算機的效能在大致相同的時間表上將會大幅提高。
Gordon Moore原話:The complexity for minimum component costs has increased at a rate of roughly a factor of two per year
在隨後的半個世紀裡,摩爾定律一直被認為是有效的,但是隨著晶片製造廠商達到原子級電路和電子物理的極限,摩爾定律慢慢的有點跟不上時代的步伐,就在這個時候,以NVIDIA創始人黃仁勳命名的黃氏定律逐漸步入大眾的視野。
黃氏定律
黃氏定律和摩爾定律有類似的說法,表示支援AI 人工智慧的晶片效能會每兩年增加一倍,效能提升主要是由於軟硬體隨著時間而做出的改進。
這次大會Bill Dally主要介紹的三個專案分別是:
MAGNetNVIDIA開了一個名為MAGNet的工具,MAGNet採用了NVIDIA獨有的新技術來協調並控制透過裝置的資訊流,最大程度地減少資料傳輸及帶來的消耗,使其生成的AI推理加速器在模擬測試中,能夠達到100TOPS/W(每瓦特100萬億次操作)的推理能力,比目前市場上頂級的的商用晶片仍高出一個數量級。
光鏈路NVIDIA的另一個專案,目標就是以更快速的光鏈路取代現有系統內的電氣鏈路,這個專案是NVIDIA與哥倫比亞大學一起合作,共同研究如何利用電信供應商在其核心網路中所採用的技術,透過一條光纖來傳輸數十路訊號。目前他們正努力嘗試在一毫米大小的晶片上實現Tb/s級資料的傳輸,如果真的成功,將是目前互連密度的十倍。
在大會上Bill Dally也展示了最新的NVIDIA DGX系統模型,該模型採用最新的光鏈路技術,集中了160多顆GPU,實現超高速的資料傳輸。
Legate為了能最大程度的利用光鏈路的能力,NVIDIA特地研究了全新的程式設計系統原型Legate。Legate可以幫助開發者在任何規模的系統上運行針對單一GPU編寫的程式,甚至對於 Selene這種搭載數千個GPU的巨型超級計算機一樣適用。
Bill Dally還強調,GPU是黃氏定律的基礎,GPU當下的成功以及未來的發展對黃氏定律來說尤其重要。
當然,現實中是否真的能如他所說,實現並延續黃氏定律,僅僅依靠一兩家公司是不可能的,還需要整個行業對AI能力的訴求以及大膽創新。為此,NVIDIA 正在構建AI生態,大會上NVIDIA 也展示了12家從他的初創加速計劃候選名單中篩選出來的AI初創公司。這些公司涵蓋了會話人工智慧、智慧醫療/零售、消費者網際網路/行業應用、深度學習應用/加速資料科學、自主機器/IOT/工業製造、自動駕駛汽車等各種未來AI大展拳腳的行業。
摩爾定律的成功曾為現代計算帶來第一個時代,也有知乎網友曾表示:
摩爾定律首先是一條經濟上的定律,然後才是工程科學方面的定律。積體電路從設計到生產,其指揮棒都是以盈利為目標的。晶片整合度翻倍,成本減半,在系統整合商的角度就是效能翻倍,器件整合度翻番,價格減半在消費者眼裡就是從大哥大到小靈通再到智慧手機,越來越物美價廉。晶片的系統整合產品是以PC,手機,平板等等為代表的消費電子。如果從小靈通到現在還是一直都是小靈通,沒有其它可替代產品,那小靈通的市場早就飽和了,產能過剩,企業難以為繼。實際上,平均每兩年就會出一代新晶片,整合度翻倍,成本減半。使得消費電子越來越物美價廉,刺激消費。Intel每兩年出一代產品,十年出五代產品,就能賺五倍。在市場上的產品飽和前,下一代產品即使已經研發出來,也要等市場上的產品把瑪麗賺乾淨了,才會投入市場。【這裡有個證據,2007年3月,INTEL宣佈在大連投資25億$建立一個12inch的90nm晶圓工廠,2009年6月,INTEL宣佈大連晶片廠將以65nm製造工藝替代90nm工藝,原因是此時國內已經開始了65nm的晶圓製造,so,不是INTEL沒有更先進的製程,只是人家在利用舊制程把市場上該吸的血吸乾淨前,根本沒有必要推出新工藝】所以,晶片必然要以每兩年(一年半)整合度翻倍,價格減半來迎合市場,太慢了市場已飽和,公司收支不平衡,會引起財務上的問題。太快了,一是這一款晶片沒有最大化他的盈利能力,二是在技術上研發跨越不了一代一代之間的積累。在摩爾定律失效後,積體電路產業會成為傳統制造業,盈利的驅動力轉變為新應用。(來自知乎網友PNJunction)
現在這個盈利的驅動力轉變為的新應用,似乎就是指黃氏定律和GPU,那麼黃氏定律能否成功仍需時間的檢驗。但不可否認的是NVIDIA 正在努力實現黃氏定律,同時借AI生態的打造想要更深遠的影響AI發展。