回覆列表
-
1 # 重慶Cloudera授權基地
-
2 # 千鋒鄭州
為著以後未來的發展和薪資考慮,很多程式設計師都非常看好大資料這個方向,剛畢業的應屆生想做大資料開發,傳統的Java後端工程師、Web開發工程師也都想轉型大資料崗位。
但面對高階的大資料技術,沒有兩把梳刷子是不可企及的。想要成為大資料工程師,你需要具備以下技能:
(1)基礎程式設計能力
至少掌握一門程式語言,Java,Python等深入理解資料結構、計算機網路等。
(2)大資料生態環境
熟悉Hadoop生態架構,瞭解MR以及分散式計算。
(3)業務抽象能力
資料說到底都是一些業務日誌,要求你對資料敏感,並能把握問題的本質,追根溯源,將業務邏輯抽象出來。
也就是說,大資料開發工程師的核心工作,就是抽象業務邏輯,利用技術實現工程自動化,包括資料採集、實時處理、儲存等等。
在學習大資料之初,不要盲目學習,需要循序漸進,為了避免從入門到放棄,要先從一個方向開啟,比如:
你想做大規模離線處理,那你就先深入學習hadoop;
如果你想先做實時處理,學習重點就放在Storm或者Spark Streaming上;
想做ETL,你就要熟悉ETL流程。然後,慢慢再往大領域中擴充自己的大資料知識庫存。
如果你沒有什麼計算機基礎,建議可以選擇專業的學習方式。學習大資料不是件容易的事,但是隻要你能多努力,積極地解決自己的疑惑,多練手,相信你一定可以掌握這門技術。
數學基礎:他決定你在這條路上的上線,在大量的資料處理中,必然要用到數學方法來處理資料,如資料資訊熵、資料模組度等,尤其是事實中大量高維度的資料,涉及到資料特徵工程如資料降維和矩陣分解等;
程式語言:他決定你走上這條路的下線,目前流行的程式語言中也有幾十種,到底選擇哪一種語言,其中主流的為java,python,R語言等,排名第一的java,功能比較全面,但也很複雜,你可能需要花費很長一段時間來仔細學習,而python和R語言,相對比較簡單,也是當前最主流的資料探勘語言,就好比安卓系統(java)和蘋果系統(python,R)。
數學基礎建立需要長期的學習,結合一些演算法的數學應用,不可一蹴而就,程式語言的基礎,可以買一本全面的基礎程式語言書,就像你小時候學習漢語一樣,得買一本字典,方便你平時查閱,然後報一個好點培訓班,現在這種線上的也比較多,主要便於建立比較完善的程式語言系統。