-
1 # 和客柳新逛廣州
-
2 # 星月般若
如果是轉行學習建議先去了解阿里雲提供的數加平臺,如果有時間可以考一個ACA(阿里雲大資料助力工程師認證),然後瞭解一些搜尋和儲存、計算的工具就可以,主要在應用層面。
如果是科班出身,計算機專業畢業 可以更深入的學習分散式原理和資料處理及併發方面的知識。
大資料很寬泛,技術也很多 最重要的是結合某一具體領域來學習。
-
3 # IT人劉俊明
隨著大資料技術體系的逐漸成熟,大資料目前正處在落地應用的初期,整個大資料領域將陸續釋放出大量的工作崗位,所以從事大資料相關崗位的發展空間還是比較廣闊的。
大資料開發主要涉及到三個崗位,分別是大資料平臺開發(研發級)、大資料應用開發和大資料分析(統計學和機器學習),不同崗位需要面對不同的崗位職責,也需要具備不同的知識結構。其實大資料運維崗位也涉及到一些開發方面的知識,但是開發方面的內容並不多。
大資料平臺開發屬於研發級崗位,主要的工作職責是完成大資料平臺的開發,包括大資料平臺功能模組的開發,比如完成分散式儲存、分散式計算等主體框架功能的開發。從事平臺開發的工程師往往對於基礎知識的要求比較高,比如需要具備紮實的數學基礎,同時要具備豐富的研發經驗,對於系統級問題有豐富的處理方案。大資料平臺開發崗位整體數量並不多,對於開發人員的要求往往也比較高。
在大資料技術落地應用的過程中,大資料應用開發和大資料分析崗位的需求量將會逐漸增大,所以對於初學者來說,從事大資料應用開發和大資料分析崗位是比較理想的選擇。大資料應用開發需要從程式語言開始學起,目前從事大資料應用開發的語言包括Java、Python、Scala、R等,Java語言由於具備較為完善的語言生態,而且Hadoop平臺自身也是Java語言開發的,所以Java語言往往是比較常見的選擇。在學習Java語言的過程中,可以同步接觸Hadoop平臺,掌握Hadoop平臺的整體結構,並且透過Java完成Hadoop平臺的一些案例實驗,進而逐步掌握在Hadoop平臺下的Java應用開發。
大資料分析通常採用統計學分析方式和機器學習方式兩種,統計學方式採用Python和R語言是不錯的選擇,而機器學習往往更多采用Python語言來實現,同時需要學習一系列演算法的實現過程,包括Knn、決策樹、支援向量機、樸素貝葉斯等等。所以,從事大資料分析需要具備一定的數學基礎。
-
4 # 努力的老劉
你好,我是一名自學大資料開發的研究生,馬上就要找工作了,我是根據各個機構的學習路線圖,總結自己的路線,自學出來的!我會分享出自己總結的知識點,可以去我主頁看看。
我覺得大資料開發的技術點應該有:
基礎是會點linux,java基礎知識,mysql知識。
然後就是真正的大資料部分了,
掌握hadoop中的hdfs,mapreduce,yarn。
接著非關係性資料庫hbase,資料分析hive。
接著大資料輔助框架flume,分散式協調框架zookeeper,訊息佇列kafka。
接著可以綜合上述知識點找個電商數倉的小專案做做。
接著就是spark框架所有知識點,都要掌握!
最後就是flink框架的所有知識點,都要掌握!
回覆列表
技術方面建議從hadoop開始學,包括hdfs.mapreduce.hive.yarn.spark.spark streaming等,最好是從論文看起,一開始就接受最正確的思路和知識。然後是看原始碼,透過原始碼能更深入理解大資料是怎麼處理的。
經驗方面還是需要結合實戰,如果是自學,可以爬一些資料,做一些大資料的分析或機器學習。