Russ Salakhutdinov於2016年10月加入蘋果,是蘋果首任AI總監。2016年,在深度學習領域有一個知名的“四大天王”組合,其中Geoffrey Hinton在Google、Yann Lecun在Facebook、Andrew NG在百度,但蘋果並未選擇與當時學術界碩果僅存的“四大天王”之一Yoshua Bengio牽手,而是選擇了2016年2月才從卡內基梅隆大學(CMU)助理教授升上來的副教授——Russ Salakhutdinov。
對於公眾來說,那時候Russ Salakhutdinov還是一個不怎麼熟悉的名字。
Russ Salakhutdinov加入後,首先搭建了蘋果的人工智慧團隊,更重要的是他打破了蘋果在業界一直堅持的保密文化,使得蘋果的研究和成果開始真正進入人們的視野。
Russ Salakhutdinov,Who?
2016年,Russ Salakhutdinov對於公眾來說或許是不怎麼熟悉的名字。但在學術界,這個名字代表著一顆冉冉升起、令人矚目的新星。
從整個神經網路和深度學習的歷史來看,最重要的拐點出現在2006年7月。Geoffrey Hinton作為第一作者的兩篇論文《A Fast Learning Algorithm for Deep Belief Nets》和《Reducing the Dimensionality of Data with Neural Networks》釋出,引起了整個學術界對深度學習的興趣,繼而才有了後面十多年來深度學習研究的突飛猛進和突破。
Russ Salakhutdinov正是這兩篇論文之一、釋出在Nature雜誌上的那篇《Reducing the Dimensionality of Data with Neural Networks》的第二作者。其時,他還是剛剛才進入Geoffrey Hinton門下的一位博士生。
Russ Salakhutdinov對人工智慧的貢獻還在於學習深度生成模型的研究上。2007年前後,Russ Salakhutdinov與Geoffrey Hinton提出了一種在前饋神經網路中進行有效訓練的演算法。2009年,他從多倫多大學獲得機器學習(電腦科學)博士學位。之後,Russ又在 MIT 人工智慧實驗室度過了兩年博士後生涯。從2011年起,他加入了多倫多大學電腦科學與統計部做助理教授。
2016 年 1 月,卡內基梅隆大學(CMU)宣佈邀請 Russ Salakhutdinov 作為機器學習部門的副教授。由此,Russ Salakhutdinov 也實現了從助理教授到副教授的跨越,他的主要研究興趣包括人工智慧、機器學習、深度學習、大規模優化。
與此同時,從2006年的標誌性論文發表之後,Ruslan Salakhutdinov的研究成果也層出不窮。據統計,截止2018年1月,他的論文總引用數量達到31049次,其中近5年的引用次數為27568。可以說,他一直活躍在深度學習的最前沿領域。
所以,相比於谷歌、Facebook 的人工智慧研究負責人,Russ Salakhutdinov 或許很年輕,但他卻是屬於新生代的一批機器學習研究人員。從這一個維度來看,其實他為蘋果的人工智慧帶來了不一樣的優勢。
Russ ,打破蘋果保密文化!很少有公司像蘋果一樣(注:2016年之前),在前沿技術的研發等方面始終保持神祕。除了 Siri,外界對蘋果在人工智慧領域的研究知之甚少。
這其實源自於蘋果一直以來的“保密文化”傳統,但人工智慧領域的專家們通常會公開自己的成果和研究, 彼此了解。針對當時蘋果的保密文化,斯坦福大學的人工智慧教授 Jerry Kaplan曾表示:“ 蘋果不屬於這個圈子,他們就像是人工智慧領域的 NSA(美國國家安全域性)。”
Facebook AI科學家Yann LeCun也曾直言不諱的評價道:我覺得蘋果在AI研究領域沒戲,因為他們有保密文化,一項開創性的研究工作是無法在祕密的情況下完成的。
2016年10月8日,Russ Salakhutdinov釋出推特確認加入蘋果。與此同時,Russ Salakhutdinov 還發布了一則招募公告,招募更多在深度學習、計算機視覺、機器學習、增強學習、最優化以及資料探勘方面的專家和人才,組建蘋果的人工智慧研發隊伍。
從Russ Salakhutdinov擔任蘋果公司人工智慧部門的負責人後,他就立即被允許通過部落格和談判打破蘋果的《保密守則》。
與此同時,更大的變化也在發生。
加入蘋果後的第2個月,在西班牙舉行的人工智慧行業會議上,Russ Salakhutdinov 對外解釋了蘋果在人工智慧技術上的應用場景。並重磅宣佈蘋果公司將不再禁止員工發表研究成果,將與學術圈積極開展合作。
Russ Salakhutdinov在一頁單獨的幻燈片中寫道:
Can we publish?
我們會出版嗎?
Yes
是的!
Do we engage with academia?
我們是否與學術界合作?
Yes
是的!
僅在幾周之後,蘋果人工智慧和機器學習研究的第一篇論文——《通過對抗訓練從模擬的和無監督的影象中學習》(Learning from Simulated and Unsupervised Images through Adversarial Training)釋出。
論文主要聚焦蘋果在智慧影象識別領域的研究,提出了一個所謂“模擬+無監督學習”(simulated + unsupervised learning),使用了當時最炙手可熱的深度學習“對抗訓練”,即是機器與機器之間相互訓練。而有著“GANs之父”之稱的Ian Goodfellow在推特里直接評論道:“蘋果第一份機器學習論文是關於GANs的。”
在學術圈,公開研究成果與分享資訊,是獲得同行認可和取得進步的關鍵。所以,Russ Salakhutdinov不僅是打破蘋果保密文化的第一人,更是開啟了蘋果人工智慧的全新時代。
除了學術上的成就,Ruslan Salakhutdinov還有著豐富的創造力和天馬行空的想象力,這或許也成為了蘋果選擇他的一個重要原因。
Russ Salakhutdinov,趣事Russ Salakhutdinov在多倫多大學做助理教授期間曾負責“田野裡的抽水馬桶”專案。這是一套很有意思系統,允許使用者輸入關鍵詞,比如“田野裡的抽水馬桶”或其他任何離奇的場景,然後計算機就會根據這些關鍵詞繪製圖像,實現讓計算機按照人類意願畫畫。
2018年的時候,Russ Salakhutdinov在推特上發了一個神祕的“N”,引得包括谷歌大腦科學家&謝爾布魯克大學教授Hugo Larochelle、谷歌大腦學生研究員Kory Mathewson、CMU博士&OpenFace作者Brandon Amos在內的多位大牛們一本正經的在評論區猜測接力,構成了一段神奇的密碼,彷彿人工智慧領域將發生大事件。
N代表自然,是自然智慧?
AI企業獨家的祕密計劃?
Twitter把字元限制減到了原來的280分之一?
結果,沒有什麼AI獨家計劃,也沒有什麼新的神經網路,Russ Salakhutdinov表示“就是我6個月的娃拿我的手機玩發了條Twitter。”
在嚴謹的學術之外,這些趣事讓我們認識了更立體的Russ Salakhutdinov。