回覆列表
  • 1 # IT資訊i

    推薦給你一篇文章

    深度學習仍是視覺大資料領域的最好分析方法之一

    隨著移動網際網路和物聯網的快速普及,全球資料總量呈指數級增長。據雷鋒網統計,我們每天創造約2.3萬億GB資料。

    過去,人們對海量資料無從下手。隨著大資料與人工智慧、雲計算、物聯網、區塊鏈等前沿技術的緊密融合以及硬體基礎設施的快速發展,這些新興技術為資料增值提供了強有力保障,由此帶來了巨大商業應用價值,並逐漸成為各國搶佔下一步發展機遇的戰略性技術。

    最近,美國政府啟動了大資料研究計劃,致力於提升大資料分析演算法和系統的效率;同時,日本對資訊產業提出新的戰略規劃,將大資料作為重點發展的科技領域,著重強調資料採集與分析;近年來,中國大資料產業蓬勃發展。中國信通院在2018年釋出的《大資料白皮書》進一步調動了全國各地發展大資料的積極性,各行各業開始利用大資料進行智慧升級轉型。

    在大資料技術中,資料分析逐漸成為其核心技術,包括對資料處理的實時性成為工業界的主要需求。 當前,各種資料分析技術層出不窮。其中,最為引人關注的當屬深度學習技術。

    一、深度學習是最好的方法之一

    深度學習仍是目前大資料處理與分析的最好方法之一。

    深度學習擅於發掘多維資料中錯綜複雜的關係。基於大資料的深度學習演算法在計算機視覺、自然語言處理以及資訊檢索等多個領域不斷重新整理著記錄。

    在這個資料為王的時代,深度學習中的監督/半監督學習與資料規模、資料質量等有很大關係,因此資料標註是在現實場景中提升模型效能的最直接有效的方法。

    但由於傳統的資料集數量/質量有限,在解決新的問題或是想要獲得更好的效果時,往往需要進行額外的資料標註。 因此,對於資料要求不那麼高的半監督/弱監督學習一直是視覺大資料處理中的熱點問題。 同時,當使用某資料集訓練了一個很好的模型,但在實際應用時,往往由於“領域鴻溝”(domain gap)的存在,模型效能大幅度下降,遷移學習是這一問題的常用解決思路。

    此外,由於移動裝置或物聯網裝置的儲存和計算資源有限,無法像伺服器一樣輕鬆地執行訓練好的模型,限制了深度學習技術在大資料領域的應用落地,針對此問題,目前有效的解決方案包括模型壓縮、計算加速。

    生成對抗網路Generative Adversarial Networks (GANs)的提出,為神經網路添加了一個新的分支。該網路結構能極大提高影象生成的質量,進一步推動了計算機視覺領域的發展。

    近幾年,計算機視覺正在向影片理解領域延伸,而影片比影象多了一維時序資訊,如何有效建模並利用這一時序資訊是處理這類問題的關鍵。

    深度強化學習是大資料時代的另一研究熱點,強化學習是主體透過與外部環境互動來進行學習的過程。目前已經取得了實質性的突破,2017年DeepMind公司的提出的AlphaGo Zero透過自我博弈的強化深度學習演算法進行訓練,經過3天的學習,以100:0的成績超越了AlphaGo Lee的實力(以4:1戰勝李世石的版本),21天后達到了AlphaGo Master的水平,並在40天內超過了所有之前的版本。

    自2017年以來,AutoML(Automated machine learning)迅速興起,AutoML試圖將特徵提取、模型最佳化、引數調節等重要步驟進行自動化地學習,使得機器學習模型無需人工干預即可被應用。但目前其在搜尋效率、實際應用等方面有待進一步探索。

    二、計算機視覺

    計算機視覺是人工智慧領域最為成熟的技術之一,其主旨在於利用計算機模擬人類視覺,是人工智慧中的‘看’,進而為後續的應用目標提供判別資訊。計算機視覺研究和應用非常廣泛,近幾年取得了快速的發展,其應用已經在政府、金融、網際網路等行業市場率先落地。

    此外,利用大資料可以對實體經濟行業進行市場需求分析,最佳化生產流程、供應鏈與物流能源管理,以及提供智慧客戶服務等。雖然大資料已經服務於眾多行業,但是在實際應用中還有很多侷限,仍舊有很多問題沒有解決。

    近年來,國家對人工智慧行業的大力支援為計算機視覺的發展提供了有利環境,極大促進了計算機視覺的商業化落地。目前中國共有100餘家計算機視覺企業,涉獵身份認證、安防影像、醫療影像等眾多領域。

    目前CV公司比較集中的技術賽道有:人臉識別、自動駕駛、醫療影象等,目前商業化落地最快的仍是人臉識別及其業務相關的一些技術。

    縱觀計算機視覺發展,可以看到中國與西方國家的演進路線的不同。國際上前沿的技術主要集中在深度學習的基礎研究層面,而中國的計算機視覺技術更傾向於產業落地。經過多年的沉澱,中國已經在人才、資料、場景和政策層面做了比較多的儲備,為中國計算機視覺技術的發展提供了豐沃的土壤。

    尤其是在應用方面。計算機視覺領域一定要透過落地應用才能更好推動學術的發展,而中國在這方面具有巨大的優勢。

    原文:https://blog.csdn.net/weixin_42137700/article/details/99689654

  • 2 # 迷茫的流浪者

    兩個都是非常好的發現方向,第一個需要更多的專業知識支援,偏向於研究;第二個也是時代所需,往這方面發展也不錯,需要的技能沒有第一個多,平常辦公也會用的到,可以選擇往這方面發展!

  • 3 # Lake說科技

    python做深度學習視覺和大資料哪個更有前途點兒?

    我個人認為大資料方向會更有前途。原因有兩點,一是深度學習需要你的機器學習演算法要有一定的功底,尤其是神經網路相關演算法,而神經網路演算法學起來很難。

    二是演算法崗位想要往上升,需要你在演算法層面要有一定的影響力才行。比如發表知名論文、將演算法應用到業務場景取得很大的提升。而大資料偏於工程類,工程類相對於演算法類的工作內容,更容易進行提升和做出成績。演算法類需要你有很強的數學功底才行。你選擇深度學習視覺方向,首先你接觸到最多的機器學習演算法應該是神經網路相關演算法,什麼卷積神經網路、神經元、啟用函式、最佳化函式等等。之前我同事在做分享的時候,說實話,講了很多關於神經網路的,我很多地方都沒有聽懂,這些點比較晦澀難懂。如果你喜歡偏向於工程類的工作,不建議你選擇深度學習視覺方向。

    同時,深度學習視覺方向,肯定也有很多名校高學歷的同學和你一起競爭,尤其是網際網路大廠的崗位,畢竟研究生以上做工程的很少,幾乎都是演算法。所以整體下來,這個崗位的競爭會非常激烈,可能你非常棒,最後還是輸給了其他學歷比你高的同學,比如博士。結合拿 Offer 的成功率來說,我也建議你選擇大資料而不是深度學習。

    大資料技術說實話,現在國內很多網際網路公司都在使用,資料量大肯定要使用大資料技術來進行解決。使用大資料技術的公司多,那麼需要大資料崗位的公司也就多,從而你的就業公司選擇機會就多了起來。

    大資料技術整體偏向於工程類,所以學習起來,不需要你有太深的數學功底就可以學習,不像機器學習演算法,有個知識點你如果不懂的話,可能某個演算法的公式推導你就不懂,最終你就不瞭解整個演算法的原理。

    大資料技術未來應該會有更多的突破點,像現在很多技術也已經開始興起,比如人工智慧、物聯網、邊緣計算等等。未來人類所產生的資料量會越來越多,我相信在未來,大資料技術會變得越來越創新。

  • 中秋節和大豐收的關聯?
  • 沖天一怒為紅顏,你覺得陳園園是真的國色天香還是才女一個?