首頁>Club>
10
回覆列表
  • 1 # 象山易學堂

    深度學習已經在語音識別、影象處理等方面取得了巨大成功。從2013、2014年開始,也在自然語言處理領域出現深度學習的應用浪潮,例如今年ACL上有人(應該是BBN公司?)利用深度學習極大地提升了統計機器翻譯的效能,頗值得期待。

    關於深度學習的挑戰與方向,其實可以關注深度學習重要學者們的相關綜述文章和專著,例如Yoshua Bengio曾經寫過的Learning Deep Architectures for AI (2009年)、Practical Recommendations for Gradient-Based Training of Deep Architectures(2012年)、Representation Learning: A Review and New Perspectives (2013年)。

    限於自己的研究方向和興趣,我比較關注的一個方向如下,希望與大家交流。人們一般認為深度學習在語音識別和影象處理方面能夠取得長足進度,是因為這兩個領域的相關特徵資訊都是相對低層次的,可以藉助深度學習的強大學習能力學習其中的複雜資訊;而到了自然語言處理領域,人們利用深度學習做過很多嘗試,發現很難取得像語音識別和影象處理那麼大的突破,原因在於自然語言的相關特徵資訊都是相對高層次的(如自然語言的基本單位——詞彙——本身就有豐富的語義內涵,與影象中的“線條”、“紋理”等特徵相比尤其如此),在深度學習之前就由語言專家編制了很多精緻而複雜的知識庫,如WordNet等,這些知識已經將相關處理效能推到了較高層次。因此,當深度學習進入自然語言時,如果還是像語音識別、影象處理那樣從零知識開始做特徵學習,相當於將豐富的語言知識棄之不用而另起爐灶,是不符合自然語言處理特點的。所以,深度學習的一個可能重要的發展方向是,如何在深度學習框架中高效地融合人們已經構建出來的豐富先驗知識(包括語言知識、世界知識)。

    需要注意的是,與LDA(latent Dirichlet allocation)等之前流行的機器學習演算法不同,深度學習不是某個具體演算法,而是採用”深度“學習思想的一系列演算法的統稱,在機器學習領域中(如ICML、NIPS),貌似很少有論文會以deep learning命名,而是具體演算法的名稱,如autoencoder,等等。因此,建議首先閱讀一些tutorial,瞭解深度學習中的主要演算法和人物,然後再去了解具體演算法。

  • 2 # Derek6226

    深度學習的概念源於人工神經網路的研究,含多個隱藏層的多層感知器就是一種深度學習結構,透過組合低層特徵形成更加抽象的高層屬性或類別特徵,從而對資料進行表徵。簡單來說機器學習是實現人工智慧的方法,深度學習是實現機器學習的技術,主要是人工智慧方向的學習,最近中公教育在出這個課程學習,他們課程和中科院自動化研究所合作的,這個也是中公老師給我朋友說的,我正好跟我朋友在一起也有所瞭解,你要是有這方面的興趣可以去中公教育IT的官網瞭解,我朋友之前在哪裡學的,他們教學質量還是可以保障的。

  • 中秋節和大豐收的關聯?
  • 跟超級槓精說話是什麼體驗?