回覆列表
  • 1 # IT人劉俊明

    大資料開發和大資料分析是大資料領域比較常見的崗位,與大資料應用開發和大資料運維崗位不同的是,大資料分析工程師的知識結構更偏重於演算法設計和演算法的實現。

    大資料分析師的任務是在一堆雜亂無章的資料中找到資料背後的規律,並把這些規律透過清晰的圖表給呈現出來。

    要學習大資料分析需要經過以下幾個階段的學習:

    第一:掌握紮實的基礎知識。大資料分析師的基礎知識包括三方面內容,分別是數學、統計學和計算機學。數學是資料分析的重要基礎,包括高數、線性代數、機率論等,資料分析說到底就是演算法設計和實現,所以數學基礎是非常重要的。統計學是小資料時代的主要分析手段,統計學形成了一個關於資料分析的知識體系,這些內容對於大資料分析依然是非常重要的。計算機則是大資料分析的重要手段,重點在於演算法設計和程式語言的掌握。

    第二:系統的學習一下大資料平臺相關知識。不論是對於大資料開發還是大資料分析來說,掌握大資料平臺的相關知識都是比較重要的。目前Hadoop和Spark是比較常見的解決方案,而且由於Spark相對於Hadoop來說更“輕”一些,所以目前Spark更受歡迎。

    第三:實踐環節。對於大資料分析師來說,採用比較多的程式語言是Python,由於Python有豐富的庫支援,包括Numpy、Scipy、Matplotlib等,所以透過Python實現資料分析是比較方便的方式。另外,目前採用機器學習完成資料分析也是一個比較常見的方案,需要學習一些比較常見的演算法,包括Knn、K-mean、Apriori等。

  • 中秋節和大豐收的關聯?
  • 如何做中西文化傳播者?