回覆列表
-
1 # IT人劉俊明
-
2 # 小夜學習
其實大資料行業的薪資是挺高的,剛剛畢業的應屆畢業生一般都是初級工程師,入門7k以上。選擇的崗位也比較多,比如大資料開發工程師,ETL開發工程師,hive開發工程師,BI,使用者畫像,資料探勘,演算法工程師,spark工程師等等。除了演算法工程師難度比較高,需要一定的數學基礎,其它的都已經標準化了。
以java語言為例,現在都是基於apache軟體基金會開源軟體hadoop開發,mapreduce運算,HDFS儲存,透過flume採集檔案,經過kafka訊息分發,將資料下沉到HDFS上,後期離線的走hive資料倉庫,經過視覺化顯示展現。實時的在kafka端傳輸到Storm,經過實時處理,做成視覺化報表展現。此外還有spark, hbase,oracle等,組成一個完整的生態鏈!除了java語言,還有Python語言和scala語言,因為結構都相似,不一一介紹。
因為大資料現在需求比較多,當前學習大資料技術也是一個不錯的選擇。但因為大資料技術實在太多了,學精也需要點時間和專案累積!如果你要想學習,建議你可以先從資料庫開始學習,系統的學習下寫sql語句。網路上課程比較多,書籍也有一些。可以在一些網站上練習一下,有機會也可以去實習!後期可以轉到演算法,有一個更高更長久的行業期!
大資料是我的主要研究方向之一,同是也在帶大資料方向的研究生,所以我來回答一下這個問題。
首先,從近幾年研究生的就業情況來看,大資料行業從業者的薪資待遇還是比較高的,而且上升趨勢也比較明顯。除了薪資待遇之外,從行業發展的角度來看,當前學習大資料技術也是一個不錯的選擇。
大資料技術經過多年的發展已經形成了一個龐大的技術體系,可以選擇的方向也比較多,不同的方向需要學習不同的技術,學習者可以根據自身的知識結構以及興趣愛好進行選擇。
如果學習者具有紮實的數學基礎,那麼可以選擇大資料分析方向,大資料分析目前主要的方式包括機器學習方式和統計學方式,這兩個方式對於數學基礎均有一定的要求。學習資料分析可以從程式語言開始,比如Python就是一個不錯的選擇,然後可以進一步學習大資料平臺知識(Hadoop、Spark等)。
如果學習者具有一定的計算機基礎,那麼可以選擇大資料應用開發方向,大資料應用開發涉及到作業系統(Linux系列)、程式語言和大資料平臺三方面內容。隨著大資料的落地應用,大資料應用開發的需求量會比較大,一方面體現在已有資訊系統的大資料化,另一方面也體現在新業務的開發上。
如果學習者的基礎比較薄弱,那麼可以從資料整理開始學起,資料整理可以透過很多工具來完成,比如可以先從Excel開始學起,然後學習資料庫知識,重點在於Sql語言,接下來可以學習一下BI工具的使用。在傳統企業的生產環境下,透過BI產品等工具來完成資料整理和分析是比較常見的選擇。