深度學習，尤其是深度神經網路學習演算法的興起和大資料的加持，結合GPU的算力，如同 “三英戰呂布”，終於搞定了人工智慧這一反覆無常的“呂布”， 使得人工智慧得以第三次復興。

如今，人工智慧技術向各行各業滲透，智慧產業的發展正如火如荼。飲水思源，我們不能忘記，提出深度學習核心演算法並於2019年獲得圖靈獎的三位英雄：深度學習三劍客: Hinton, LeCun 和Bengio. 尤其，是要向他們學習以下四種創新精神，以更好地實現我國創新能力的提升。

Hinton, LeCun 和Bengio雖然在不同的國家，處於不同的階段，從20世紀八十年代開始，不約而同就對人工神經網路，尤其是神經網路學習演算法，非常感興趣。Hinton年紀較大，在另外2位還在讀上大學或讀研究生的時候，Hinton已經博士畢業，到斯坦福大學做博後了。1986年，Hinton與美國科學院院士Rumelhart等在Nature 上發表論文，提出了著名的BP（反向傳播）演算法：多層神經網路引數學習演算法，引起了神經網路第二次復興的浪潮。該經典論文至今已經被引用2萬多次。這次復興之後，基於BP演算法的神經網路解決了很多問題，相關研究和論文呈現井噴狀態。

可惜，好景不長在。幾年後，研究人員發現：BP演算法雖然好用，但也存在收斂速度慢，容易陷入區域性最小值和網路的初始化引數密切相關。尤其，由於訓練時間太長，訓練引數太多，記憶體經常溢位，難以處理如影象識別這類高維度和大量樣本資料問題。於是，神經網路的研究陷入了第二次低潮：很難拿到課題，很難發表論文 ，很多研究人員就放棄了，轉向別的研究方向。

但是，Hinton不氣餒，始終堅持研究方向不動搖，苦思冥想破解之道不懈怠， 轉移到加拿大多倫多大學繼續開展研究。在共同發明BP演算法20年後，2006年Hinton，透過深度思考和程式設計實踐，終於想出了針對高維資料的破解之道，在Science上發表了用神經網路減少資料維度的新方法，為深度學習的興起奠定了理論基礎，至今被引用1萬餘次。之後，深度神經網路的發展可謂波瀾壯闊，氣勢如虹。由於篇幅關係，就不逐一描述了。

2. 合作與爭論並重的和諧團隊精神

1987博士畢業後，LeCun 去加拿大多倫多大學，追隨神經網路的旗手人物Hinton 做了一年的博士後。在Hinton的啟發和指導下，LeCun提出卷積神經網路用於手寫體識別，大幅度提高了精度，引起了關注。但好景不長，該方法的通用性不強，還是難以處理更高維的彩色影象資料。

2003年，LeCun到紐約大學任教並發展了第三個合作者：前公司同事 蒙特利爾大學教授Yoshua Bengio，與Hinton一起組成了所謂的“深度學習的陰謀（ Deep Learning Conspiracy）”。據說，Bengio 在讀研究生時，讀到了Hinton的一篇論文，如被電擊，找到了兒時非常喜歡的科幻故事的感覺。如今有機會加入偶像領導的神秘小組，自然是喜出望外。

2004年機會終於來了，Hinton拿到了一個加拿大政府支援的大專案，很快就組建了研究組，並邀請LeCun和Bengio加入了他的專案組。至此，三劍客正式進入了蜜月期 。為了證明神經網路是有用的，他們開發了更多層的神經網路(深度神經網路），用更大的資料集來訓練網路，並在更強大的計算機上執行網路引數的學習演算法。Hinton 曾開玩笑地表示：三人平均每週都要見一次，而聚會經常以吵架結束。我想Hinton2006年在Science上發表的經典論文應該和這些吵架相關，吵架和辯論使Hinton的思考更有深度（深度思考）。十年面壁思考，十年討論爭論，Hinton化了整整20年的時間，終於想出了神經網路第二次衰落的關鍵破解之法。

達摩面壁9年（另說10年），9年後的2015年，三劍客合作寫了一篇Deep Learning(深度學習)綜述論文發表在Nature, 正式給他們的研究成果和無數相關研究樹立了一面旗幟，影響了這些年AI的快速發展和智慧產業的快速崛起，已經被引用2.5萬餘次了。

作者簡介：陳德旺，IEEE高階會員，IEEE Trans.on ITS 編委，中國自動化學會混合智慧專委會副主任，中國運籌學會智慧計算分會副理事長，美國加州大學伯克利分校訪問學者，福州大學數學與計算機科學學院教授、博士生導師，主要研究方向為人工智慧、大資料和智慧交通等。至今發表論文120餘篇，其中SCI檢索論文40餘篇，IEEE Transaction論文13篇，他引3000餘次；獲得各類科研獎勵10多項。