-
1 # 3077731784
-
2 # 機器之心Pro
François Chollet 谷歌的深度學習科學家,同時也是著名的深度學習框架keras的建立者。近日,他發表了一篇長文《the limitations of deep learning》,探討了深度學習的侷限性,接著又發表了一篇題為《the future of deep learning》的文章,對深度學習的未來走向做了很有啟發性的探討,下面對其核心觀點做一個主要介紹,也算是對樓上的一個補充,更多詳細內容請參閱連結:https://blog.keras.io/the-future-of-deep-learning.html。
模型將會更加像程式,其能力將遠超我們目前使用的輸入資料的連續性幾何轉換。這些程式將更接近於人類抽象的心智模型,由於其豐富的演算法屬性,也將具備更強的泛化能力。
尤其地,模型將會把提供形式推理、搜尋、抽象能力的演算法模組與提供資訊直覺和模式識別能力的幾何模組融合起來。阿爾法狗(一個系統需要大量的手工軟體工程和人為的設計決策)就是兩者融合的一個例證。
透過使用儲存在可重複使用的子程式整體庫中的模組部件,模型會自動生長,而無須人類工程師的干預。子程式是一個庫,它可以在數以千計的先前任務和資料集上透過學習高效能模型獲得進化。正如通常的解決問題的模式被元學習系統所識別,他們也會被轉化為一個可再重複使用的子程式——這很像現代軟體工程學中的函式和分類,並被新增到整體庫中。這取得了抽象的能力。
這個整體庫以及相關聯的模型生長系統將能夠獲取某些形式的像人類一樣的「極其優秀的泛化能力」:給定一個新任務,新情況,系統可以使用非常少的資料集合成一個適宜於這項任務的新型工作模型,這是因為 1)豐富的像程式一樣的原語泛化很好;2)在相似任務上可擴充套件的經驗。像人類學習翫一個新的複雜影片遊戲一樣只使用了非常少的時間,因為他們先前有過很多遊戲經驗,還因為源自先前經驗的模型是抽象的,且像程式一樣,而不是刺激與行動之間一個基本的對映。
-
3 # 沈大哥
2013 年到 2017 年,機器學習專利的複合年增長率為 34%,是所有授予專利的第三大增長類別。專家預測,人工智慧和機器學習的支出將從 2017 年的 12 億美元增長至 2021 年的 57.6 億美元。預測指出,與 2017 年相比,2018 年機器學習試點和實施的數量將翻一番,到 2020 年再翻一番。 這些有趣的見解來自 Forbes 最新的機器學習市場預測、市場估計和預測的最新系列。機器學習對全球許多最重要的資料產業的潛在影響,繼續推動風險投資、私募股權(PE)融資、併購和收購,這些都集中在贏得這一領域智慧財產權(IP)和專利的競賽。 機器學習 IP 發展最快的領域之一是定製晶片組的研發。Deloitte Global 預測今年全球資料中心將使用高達 80 萬塊機器學習晶片。企業將在 2018 年加大對機器學習專案的研究、投資和試點。儘管這些方法在各種預測、市場估計和預測方面有所不同,但都反映了機器學習如何提高企業的敏銳度和洞察力,使它們能夠更快、更有利地增長。 從機器學習市場預測、市場估計和預測的收集中得出的關鍵結論如下: 在商業智慧(BI)和分析市場中,支援機器學習的資料科學平臺預計到 2021 年將以 13% 的複合年增長率增長。 資料科學平臺的表現將超過更廣泛的商業智慧和分析市場,該市場預計在同一時期將以 8% 的複合年增長率增長。資料科學平臺的價值將從 2017 年的 3 億美元增長到 2021 年的 4.8 億美元。 2013 年至 2017 年,機器學習專利的複合年增長率為 34%,是所有授予專利的第三大增長類別。 IBM、Microsoft、Google、LinkedIn、Facebook、Intel 以及 Fujitsu 是 2017 年最大的七家機器學習專利生產商。 61% 的機構最經常選擇機器學習 / 人工智慧作為公司明年最重要的資料計劃。 在這些表示積極使用機器學習和人工智慧的受訪機構中,58% 的受訪者表示他們在生產中使用了模型。 包括 Amazon、Apple、Google、Tesla 和 Microsoft 在內的科技市場領軍企業,在機器學習和人工智慧投資領域處於領先地位。 每家企業都將機器學習設計成未來新一代的產品,並使用機器學習和人工智慧來改善客戶體驗並提高銷售渠道的效率。
根據 Forrester 在 2017 年對 23 家企業應用的 14 項評估標準,SAS、IBM 和 SAP 在預測分析和機器學習市場佔領先地位。 Forrester 預測,預測分析和機器學習(PAML)市場將在 2021 年以 21% 的複合年增長率增長,這點體現在客戶諮詢和客戶採購活動的增加。 2017年 專家預測,與 2017 年相比,2018 年的機器學習試點和實施的數量將翻一番。 推動機器學習試驗人員發展步伐的因素,包括對應用程式介面(API)的更為廣泛的部署、資料科學任務的自動化、減少訓練資料的需求、加速訓練以及更深入的解釋結果。2018 年, 60% 處於採用機器學習不同階段的機構中,其中有近一半(45%)認為,這門技術已經引起了更為廣泛的資料分析和預測。 35% 的受訪者還發現,機器學習正在增強其下一代產品的研發能力。
有專家估計,2016 年以來,人工智慧的年度外部投資總額在 8 億~12 億美元之間,機器學習吸引了近 60% 的投資。 機器人和語音識別是兩個最受歡迎的投資領域。由於基於程式碼的創業可以快速擴充套件從而包含新功能,因此投資者最青睞機器學習初創公司。基於軟體的機器學習初創公司比那些成本更高、基於機器的機器人技術同行公司更受青睞,而後者通常沒有所對應的軟體機構。由於這些因素,這一領域中企業併購活動激增。研究顯示中按類別劃分的外部投資分佈情況分佈而查有關資料。
機構預測,資料中心使用的機器學習晶片將從 2016 年的 10~20 萬塊增長至今年的 80 萬塊。 其中至少 25% 是現場可程式設計門陣列和專用積體電路Deloitte 發現,到 2020 年,機器學習加速技術的總可用市場有望達到 26 億美元。依靠機器學習來提高客戶在其關鍵業務領域的體驗,包括產品推薦、替代產品預測、欺詐檢測、元資料驗證和知識獲取。 (IDC) 預測,人工智慧和機器學習的支出將從 2017 年的 12 億美元增長到 2021 年的 57.6 億美元。預計到 2022 年,全球機器學習市場將從 2017 年 1.41 億美元增長到 8.81 億美元,達到 44.1% 的複合年增長率。 促進市場全球快速增長的因素包括在資料聚合、整合和分析以及更具可擴充套件性的雲平臺上表現出色的新技術。預計到 2022 年,全球機器學習市場將從 2017 年 1.41 億美元增長到 8.81 億美元,達到 44.1% 的複合年增長率。 促進市場全球快速增長的因素包括在資料聚合、整合和分析以及更具可擴充套件性的雲平臺上表現出色的新技術。
回覆列表
OpenAI的研究總監Ilya Sutskever:
我們應該會看到更深度的模型,可以從比今天更少的訓練中學習,無監督式學習也會有可觀的進步。我們還期待看見更精確、更有用的語音和視覺識別系統。
波昂大學的教授、自動化智慧系統團隊的主任Sven Behnke:
我希望深度學習可以有更多的結構化資料,應用於更多的多重複雜的問題。這將會開啟深度學習的新應用範圍,例如機器人、資料探勘和知識探索。
谷歌的資深研究科學家Christian Szegedy:現在的深度學習演算法和神經網路距離理論中的應用還差的很遠。今天我們可以設計出比一年前要便宜五到十倍並採用減少了十五倍引數的視覺網路,還可以比過去它們的同類更加好用,而僅僅透過提升網路結構和訓練方法就可以做到這點。我深信,這僅僅是個開始,深度學習演算法會更加有效,能夠在普通的移動裝置端工作,甚至不需要多餘的硬體支援或抑制記憶體開銷。
斯坦福大學的計算機科學博士與OpenAI的研究科學家Andrej Karpathy:與其關注數個同時進行的進展,我更加關注一個主要細節。我所看到的未來的一個趨勢是結構將會變得愈發巨大和複雜。我們正在向著大型神經系統的方向發展,我們會在其中交換許多神經組分,提前針對網路的某個部分在不同的資料庫中展開訓練,新增新模組,組合調整整體結構等等。
例如,卷積神經網路曾經是最大最深層的神經網路中的一個,但是在今天它則是最新的結構中的一個小盒子中的內容而已。因此,許多結構會趨向於變成下一代結構中的一部分。我們像正在學習樂高積木一樣,瞭解如何去連線並放置它們以建出更大的城堡。
加州伯克利大學的計算機科學助教,以及Gradescope的聯合創始人Pieter Abbeel:許多垂直行業都基於現在的監督式深度學習科技,甚至小到影片,找出如何讓深度學習比現行的方法能夠更有效地進行自然語言處理,以及監督式深度學習和深度加強學習的顯著進步。
Deep Instinct公司CTO Eli David:在過去的兩年間我們一直在觀察深度學習在所應用的領域內所取得的成功。即便在接下來的五年內我們還並不能幫助深度學習達到人類認知水平的水平(但是這很有可能在我們的有生之年實現),但是在許多其他領域我們也可以看到深度學習的巨大進步。具體而言,我認為最有前景的領域將會是非監督式學習,因為世界上的大多數資料是未標記的,而且我們自己的大腦皮層就是一個很好的非監督式學習的區域。
儘管Deep Instinct是第一家將深度學習用於網路安全的公司,但是我希望在接下來的時間中有更多的公司能夠使用深度學習。然而,深度學習的准入門檻仍然非常高,尤其對於通常並不使用人工智慧(只有很少情況下會使用經典機器學習)的網路安全公司而言更是如此,因此機器學習要想成為網路安全領域廣泛使用的一項商用技術還需要花費數年的時間。
Affectiva研究中心主任Daniel McDuff:深度學習有望成為計算機視覺、語音分析和許多其他領域內機器學習的主要形式。我希望建立準確識別系統的能力(這種系統的計算能力可以透過一至兩個GPU供應)將會使得研究人員可以在現實世界中開發和部署新型軟體。由於資料的總量還會繼續增加,因此我期待接下來將有更多的研究將注意力集中到無監督訓練或者半監督訓練演算法上。
加拿大高階研究所(CIFAR)全球學者Jörg Bornschein:預測未來總不是一件易事。我期待無監督學習方法、半監督學習方法和增強型學習方法在未來變得越來越重要。當我們將機器學習視為大型系統(例如機器控制系統)的一部分,或者視為可引導和集中大型系統的計算資源的部分時,單純的監督式學習方法由於侷限性太大,因此不能正確地解決問題。
谷歌高階研究員Ian Goodfellow:我期待五年之內我們將會擁有可以總結影片片段內容,並且生成短影片的神經網路。神經網路已經是影片任務的標準解決方案,我希望神經網路也可以成為自然語言處理和機器人任務的標準解決方案。同時我也預測神經網路也會成為其他科學領域的重要工具。例如,神經網路可以用於對基因、藥物和蛋白質行為進行建模,然後可用於設計新型藥物。
Sentient Technologies CTO Nigel Duffy:迄今為止大資料生態系統專注於大量資料的收集、管理和集展(收集展示)。很明顯,該領域也有很多關於分析和預測的工作。不過,從根本上來講,企業使用者對此並不關心。企業使用者僅僅關心產出,例如「這種資料可以改變我的行為方式嗎?它會改變我們的決定嗎?」。我們相信這些問題是接下來五年需要重點解決的問題。我們相信人工智慧將會是資料和更優決定之間的橋樑。
很明顯,深度學習在這個進化過程中將會扮演非常重要的角色,但是這需要深度學習與其他人工智慧方法相結合才能完成。經過接下來五年後,我們將會看見越來越多的混合系統,其中深度學習可用於處理一些棘手的感性任務,而其他的人工智慧和機器學習技術可用於解決問題的其他部分,例如推理等。
谷歌DeepMind研究員Koray Kavukcuoglu和Alex Graves:接下來的五年將會發生很多事情。我們希望非監督式學習和增強型學習變得越來越重要。我們也期望多模式學習的增加,以及更加註重堅持非個體資料集的學習。
多倫多大學機器學習課題組博士研究生Charlie Tang:深度學習演算法將會逐漸被用於處理更多的任務,也會解決更多的問題。例如,5年前,演算法的面部識別精度比人類的表現要糟糕;但是,五年後的今天,人臉識別資料集(LFW)和標準影象分類資料集(Imagenet)中演算法的面部識別表現已經超越人類的。在接下來的五年中,越來越難的問題將會被深度學習演算法成功解決,例如影片識別、醫學影像或文字處理等。我們也非常期待深度學習演算法可應用於商業產品中,就像過去10年中人臉識別器被整合到消費級相機中那樣。