回覆列表
  • 1 # 和客柳新逛廣州

    技術方面建議從hadoop開始學,包括hdfs.mapreduce.hive.yarn.spark.spark streaming等,最好是從論文看起,一開始就接受最正確的思路和知識。然後是看原始碼,透過原始碼能更深入理解大資料是怎麼處理的。

    經驗方面還是需要結合實戰,如果是自學,可以爬一些資料,做一些大資料的分析或機器學習。

  • 2 # 星月般若

    如果是轉行學習建議先去了解阿里雲提供的數加平臺,如果有時間可以考一個ACA(阿里雲大資料助力工程師認證),然後瞭解一些搜尋和儲存、計算的工具就可以,主要在應用層面。

    如果是科班出身,計算機專業畢業 可以更深入的學習分散式原理和資料處理及併發方面的知識。

    大資料很寬泛,技術也很多 最重要的是結合某一具體領域來學習。

  • 3 # IT人劉俊明

    隨著大資料技術體系的逐漸成熟,大資料目前正處在落地應用的初期,整個大資料領域將陸續釋放出大量的工作崗位,所以從事大資料相關崗位的發展空間還是比較廣闊的。

    大資料開發主要涉及到三個崗位,分別是大資料平臺開發(研發級)、大資料應用開發和大資料分析(統計學和機器學習),不同崗位需要面對不同的崗位職責,也需要具備不同的知識結構。其實大資料運維崗位也涉及到一些開發方面的知識,但是開發方面的內容並不多。

    大資料平臺開發屬於研發級崗位,主要的工作職責是完成大資料平臺的開發,包括大資料平臺功能模組的開發,比如完成分散式儲存、分散式計算等主體框架功能的開發。從事平臺開發的工程師往往對於基礎知識的要求比較高,比如需要具備紮實的數學基礎,同時要具備豐富的研發經驗,對於系統級問題有豐富的處理方案。大資料平臺開發崗位整體數量並不多,對於開發人員的要求往往也比較高。

    在大資料技術落地應用的過程中,大資料應用開發和大資料分析崗位的需求量將會逐漸增大,所以對於初學者來說,從事大資料應用開發和大資料分析崗位是比較理想的選擇。大資料應用開發需要從程式語言開始學起,目前從事大資料應用開發的語言包括Java、Python、Scala、R等,Java語言由於具備較為完善的語言生態,而且Hadoop平臺自身也是Java語言開發的,所以Java語言往往是比較常見的選擇。在學習Java語言的過程中,可以同步接觸Hadoop平臺,掌握Hadoop平臺的整體結構,並且透過Java完成Hadoop平臺的一些案例實驗,進而逐步掌握在Hadoop平臺下的Java應用開發。

    大資料分析通常採用統計學分析方式和機器學習方式兩種,統計學方式採用Python和R語言是不錯的選擇,而機器學習往往更多采用Python語言來實現,同時需要學習一系列演算法的實現過程,包括Knn、決策樹、支援向量機、樸素貝葉斯等等。所以,從事大資料分析需要具備一定的數學基礎。

  • 4 # 努力的老劉

    你好,我是一名自學大資料開發的研究生,馬上就要找工作了,我是根據各個機構的學習路線圖,總結自己的路線,自學出來的!我會分享出自己總結的知識點,可以去我主頁看看。

    我覺得大資料開發的技術點應該有:

    基礎是會點linux,java基礎知識,mysql知識。

    然後就是真正的大資料部分了,

    掌握hadoop中的hdfs,mapreduce,yarn。

    接著非關係性資料庫hbase,資料分析hive。

    接著大資料輔助框架flume,分散式協調框架zookeeper,訊息佇列kafka。

    接著可以綜合上述知識點找個電商數倉的小專案做做。

    接著就是spark框架所有知識點,都要掌握!

    最後就是flink框架的所有知識點,都要掌握!

  • 中秋節和大豐收的關聯?
  • 阿森納和布萊頓的比賽如何?請發揮創意,黑出水平?