首頁>Club>
0
回覆列表
  • 1 # 程式設計師小葛

    學習大資料自然是需要基礎的,而且相比一般的程式設計師,大資料的門檻還要略高一點。

    大資料之所以被稱為大資料,自然是因為有龐大的資料量,複雜的資料模型,因此,要學習大資料需要至少兩方面的基礎,一是程式設計方面的基礎,二是數學及演算法方面的基礎。

    先談談程式設計方面的基礎

    現在做大資料的主流語言有兩種,一個是Java,Java作為最受歡迎的程式語言,可以說是比較全能的了,各種領域基本都有Java的影子。Hadoop作為基於Java而設計的大資料框架,也是被應用得非常多的。

    那麼學好這些變成語言,熟悉相應的大資料框架,才能夠在這個行業有一個基本的位置,否則,你連大資料實現的基本知識都沒有,談何大資料呢?

    然後,比程式設計能力更重要的就是數學

    大資料的處理中,設計到了大量的和數學有關的知識,沒有數學的基礎,基本上你就是看到如大海一般的一個個數字,然後無從下手。

    要做好大資料,我們至少需要這幾個方面的數學基礎:

    機率論與數理統計

    在資料建模和資料探勘中,我們會用到很多和機率、數理統計相關的知識點,例如多為隨機變數及其分佈、方差分析及迴歸分析、貝葉斯理論等等。

    如果沒有這些理論的支援,我們在進行建模和挖掘的過程中,就可能出現較大的偏差或者效率的低下。

    線性代數

    在大資料的應用場景中,我們會把分析物件抽象成為矩陣,而矩陣就會有轉置、向量等等公式應用到我們的實際場景中。奇異值分解SVD、PCA、NMF、MF等,都在大資料分析中廣泛應用的分析法,所以,學好線性代數,對於大資料有著重要的意義。

    當然,理工類的專業,大學基本都會學習線性代數,大學學習的這些知識你熟練了,也就夠用了。

    這部分的數學知識與大資料技術開發的關係也很密切,矩陣、轉置、秩 分塊矩陣、向量、正交矩陣、向量空間、特徵值與特徵向量等在大資料建模、分析中也是常用的技術手段。

    離散數學

    離散數學是計算機科學的重要基礎,自然重要性不言而喻,大資料也是逃不脫計算機科學的範疇,自然也是必須學好的一門學科。

    看完以後,是不是覺得很“簡單”,OK,那麼你可以選擇好好學習,天天向上了。

  • 2 # 小池聊科技

    大資料不是一門簡單的學科,需要學習的方面有很多,如:數學、英語、程式設計基礎等等!具體分析如下:

    1、學習大資料的基礎

    學大資料課程之前要先學習一種計算機程式語言。Java是大資料學習需要的程式語言基礎,因為大資料的開發基於常用的高階語言。而且不論是學習hadoop,還是資料探勘,都需要有程式語言作為基礎。因此,如果想學習大資料開發,掌握Java基礎是必不可少的。

    程式語言,對於想學大資料的同學,至少需要具備一門程式語言,比如java、Scala、Python等均可。

    數學知識,數學知識是資料分析師的基礎知識。對於資料分析師,瞭解一些描述統計相關的內容,需要有一定公式計算能力,瞭解常用統計模型演算法。而對於資料探勘工程師來說,各類演算法也需要熟練使用,對數學的要求是很高的。

    2、學習大資料必須學習大資料核心知識

    Hadoop生態系統;HDFS技術;HBASE技術;Sqoop使用流程;資料倉庫工具HIVE;大資料離線分析Spark、Python語言;資料實時分析Storm;訊息訂閱分發系統Kafka等。

    如果把大資料比作容器,那麼這個容器的容量無限大,什麼都能往裡裝,大資料離不開物聯網,移動網際網路,大資料還和人工智慧、雲計算和機器學習有著千絲萬縷的關係,大資料海量資料儲存要高擴充套件就離不開雲計算,大資料計算分析採用傳統的機器學習、資料探勘技術會比較慢,需要做平行計算和分散式計算擴充套件。

    大資料技術可以應用在各個領域,比如公安大資料、交通大資料、醫療大資料、就業大資料、環境大資料、影象大資料、影片大資料等等,應用範圍非常廣泛,大資料技術已經像空氣一樣滲透在生活的方方面面。大資料技術的出現將社會帶入了一個高速發展的時代,這不僅是資訊科技的終極目標,也是人類社會發展管理智慧化的核心技術驅動力。

    因此建議想學習大資料的同學,可以選擇專業全面的學習方式,可以從頭帶你學習大資料,還會結合專案實踐更熟練的掌握大資料技能。

  • 3 # 程式設計老大叔

    個人情況

    本人是本科理工類專業畢業,畢業5年,現從軟體開發工作,主寫c++/c#。今年在公司組織下學習大資料人工智慧方面的知識,學習這方面知識還算是有一點基礎吧,但是我依然感到十分的吃力。下面就來細說一下。

    知識分佈

    首先看一下,大資料人工智慧都涉及哪些方面的知識,這裡透過一張圖來展示。主要包括四個大方面的知識,第一是資料獲取(感測器、檔案解析、資料庫),第二是資料分析(搜尋、模擬、清洗、數理分析等),第三是AI模型建立、訓練,第四是呈現,程式碼包裝。

    資料知識

    既然是學習大資料,那麼資料獲取、資料處理是必不可少的。比如,你要做影象識別,那麼如果你連影象在計算機中是如何儲存,如何卷積的都不知道,又或者你不會連線資料庫讀取資料,有或者你連csv檔案都不會用程式碼開啟,那麼也不是說你就不能學習大資料了,而是你需要比別人花多十倍的時間。

    數學知識

    數學知識也是必須的,大資料的歸類、清洗、降噪都是需要運用到數理邏輯的,比如線性代數、機率統計之類的知識。這裡也給大家貼一張圖,大家感受一下:

    程式碼基礎

    程式碼在這裡面扮演的知識一個工具,所謂磨刀不誤砍柴工,你要是會用工具那麼你的效率就很高。不然你處理資料用人工的話估計會累到吐血,像numpy、pandas等十分好用的資料處理框架以及現在的AI模型基本都有成熟的架構,直接用keras或者tensorflow直接呼叫就好了。那麼程式碼編寫的能力你是肯定需要具備的,需要用程式碼的方式將數理計算的過程實現出來。

  • 4 # 統計學的世界

    嗯,是的的確需要有基礎。其實整個大資料在實際商業世界的應用鏈條比較長。大概分成如下幾塊:大資料叢集的運維、資料的收集、資料的計算、資料倉庫、資料應用(報表、資料探勘、推薦、搜尋、廣告和風控)。當然宏觀上來說大概需要如下一些基礎:

    1.計算機系統及程式設計基礎:如linux、shell、java、python、Scala等

    2.分散式、實時資料收集和計算Hadoop、spark、kafka、storm、flink等等

    3.資料倉庫設計及報表展現:模型設計工具如 datastage,di,informatic,展現工具如tablueau等

    4.資料分析和挖掘工具:如R、python(sklearn)等

    5.機器學習和深度學習工具:spark mllib、tensorflow、pytorch等

    6.各種機器學習方法和演算法:比如logistic迴歸、FFM模型、xgboost、深度學習等等

    一般來說一個人不太可能對大資料應用的每個環節都懂。如果你想做大資料平臺相關java、Hadoop、spark、Kafka肯定是要有了解的。如果是做資料應用相關環節,比如廣告。那你對常規的機器學習演算法及深度學習一定要有所瞭解的。以上是個人的一些淺見。歡迎拍磚。

  • 5 # 尚矽谷IT教育

    大資料學習需不需要有基礎,那樣看是以什麼樣的一個目的進行學習的,不同的學習目的需要的調價也是不同的,就比如是零基礎的學員想要學習大資料技術,可是他一點技術都是沒有的,但是照樣是可以進行學習的,因為道理很簡單,學習知識都是從零開始的,只有不會才來學習的,所以也是不需要什麼技術的。

    但是,對於有一定的程式設計開發工作經驗的人來說,想要透過學習來提升自己,那麼,這樣的學員一般都不會從零開始學習,都是會去學習一些自己當下急需要掌握的技術,這樣的技術一般都說後期的新出來技術或者是高階階段的內容,很多是需要掌握了前邊的一些基礎知識才能夠進行學習的,所以,進行這樣的技術學習就需要一定的基礎了。

    不過,在目前的大資料技術的學習過程中,多數人都是零基礎的,而且,很多的大資料培訓機構也都是根據零基礎的同學設計的課程,都比較適合零基礎學習從開始基礎的階段進行穩步學習提升,如果是一些有基礎的可能就需要進行跳級進行學習,或者是找專業的高階班進行培訓學習。

    從整個大資料培訓行業的情況來看,想要學習大資料是不需要有基礎的,但是,需要滿足倆個基本的條件,一個是要滿足學歷達到本科,另一個是要透過思維邏輯考試,如果這倆個條件達到就都可以進行學習。

  • 6 # 千鋒頭號粉絲

    談起大資料技術,很多人都覺得是高大上的一門技術,學起來應該是困難重重!其實對於大資料技術而言,難的不是大資料技術本身,而是需要太多的基礎知識,比如說:數學知識、英語能力、程式設計基礎等等。

    數學,我們從小就開始學習,一直在跟各種資料打交道,各種公式等等,是大資料學習的必備技術之一。英語,對於大資料技術文章,比較先進的還是外文比較多,需要一定的英語基礎,當然了翻譯軟體是個好東西,但必要的英語能力也是必須的。程式設計,這個就不用我多說了吧,計算機語言,你學不會,該如何向電腦釋出指令!

  • 中秋節和大豐收的關聯?
  • 魔道祖師各大世家冷知識?