-
1 # 加米穀大資料
-
2 # 千鋒頭號粉絲
大資料作為當代第一吸金的領域,吸引了一批又一批的學生來進修大資料,但對於大資料的學習又是很陌生的,不知道如何下手,不知道該怎麼樣才能成為大資料工程師。今天就針對兩種不同的人群來分析一下呼和才能成為大資料工程師。
1、對應屆生
個人覺得應屆生應該打好基礎,大學本科一般都會開設資料結構,演算法基礎,作業系統,編譯原理,計算機網路等課程。這些課程一定要好好學,基礎紮實了學其他東西問題都不大,而且好多大公司面試都會問這些東西。如果你準備從事IT行業,這些東西對你會很有幫助。
至於學什麼語言,我覺得對大資料行業來說,Java還是比較多。有時間有興趣的話可以學學scala,這個語言寫spark比較棒。
叢集環境一定要搭起來。有條件的話可以搭一個小的分散式叢集,沒條件的可以在自己電腦上裝個虛擬機器然後搭一個偽分散式的叢集。一來能幫助你充分認識Hadoop,而來可以在上面做點實際的東西。你所有踩得坑都是你寶貴的財富。
然後就可以試著寫一些資料計算中常見的去重,排序,表關聯等操作。
對於我來說,面試應屆生就問你的基礎,筆試大多是資料結構和演算法方面的,如果你基礎不錯而且有一定的大資料方面的經驗,基本上都會過。
2、對有工作經驗想轉行的
主要考察三個方面,一是基礎,二是學習能力,三是解決問題的能力。
基礎很好考察,給幾道筆試題做完基本上就知道什麼水平了。
學習能力還是非常重要的,畢竟寫Javaweb和寫mapreduce還是不一樣的。大資料處理技術目前都有好多種,而且企業用的時候也不單單使用一種,再一個行業發展比較快,要時刻學習新的東西並用到實踐中。
解決問題的能力在什麼時候都比較重要,資料開發中尤為重要,我們同常會遇到很多資料問題,比如說終極產生的報表資料對不上,一般來說一份終版的資料往往來源於很多原始資料,中間又經過了n多處理。要求你對資料敏感,並能把握問題的本質,追根溯源,在儘可能短的時間裡解決問題。
掌握計算機技術、hadoop 、spark、storm開發、hive 資料庫、Linux 作業系統等知識,具備分散式儲存、分散式計算框架等技術,熟悉大資料處理和分析技術,面向大資料平臺建設與服務企業的技術人才。
回覆列表
那我就預設你是有Java基礎的,你可以:
1、搞清楚什麼是大資料
2、程式設計師的發展,尤其是年紀比較大的IT技術工作者在幹嘛
3、瞭解大資料相關技術和崗位,確立自己的發展方向
4、相關職位所需技能,找一個點扎進去,用心研究
5、堅持,多實踐,多積累經驗。
大資料技術很多門,建議跟專業老師學習,可以看看:成都大資料開發培訓,提高班學員真實學習經驗分享 https://www.toutiao.com/i6603573520406413827/
大資料工程師是需要有計算機編碼能力的,面對海量的資料,要從中挖掘出有價值的東西,需要設計算法與編寫程式去實現,而編碼能力越強的程式設計師越有可能成為優秀的大資料工程師。
大資料工程師需要統計學與應用數學相關的能力,提高演算法設計能力是程式設計師轉型大資料工程師的關鍵因素。
大資料工程師需要具備某一行業的業務知識,大資料的挖掘與分析最終都要服務於市場,並對產品的銷售與企業的發展起到重大推動作用,程式設計師是很容易過渡到大資料工程師的。