大資料作為當代第一吸金的領域,吸引了一批又一批的學生來進修大資料,但對於大資料的學習又是很陌生的,不知道如何下手,不知道該怎麼樣才能成為大資料工程師。今天就針對兩種不同的人群來分析一下呼和才能成為大資料工程師。
1、對應屆生
個人覺得應屆生應該打好基礎,大學本科一般都會開設資料結構,演算法基礎,作業系統,編譯原理,計算機網路等課程。這些課程一定要好好學,基礎紮實了學其他東西問題都不大,而且好多大公司面試都會問這些東西。如果你準備從事IT行業,這些東西對你會很有幫助。
至於學什麼語言,我覺得對大資料行業來說,Java還是比較多。有時間有興趣的話可以學學scala,這個語言寫spark比較棒。
叢集環境一定要搭起來。有條件的話可以搭一個小的分散式叢集,沒條件的可以在自己電腦上裝個虛擬機器然後搭一個偽分散式的叢集。一來能幫助你充分認識Hadoop,而來可以在上面做點實際的東西。你所有踩得坑都是你寶貴的財富。
然後就可以試著寫一些資料計算中常見的去重,排序,表關聯等操作。
對於我來說,面試應屆生就問你的基礎,筆試大多是資料結構和演算法方面的,如果你基礎不錯而且有一定的大資料方面的經驗,基本上都會過。
2、對有工作經驗想轉行的
主要考察三個方面,一是基礎,二是學習能力,三是解決問題的能力。
基礎很好考察,給幾道筆試題做完基本上就知道什麼水平了。
學習能力還是非常重要的,畢竟寫Javaweb和寫mapreduce還是不一樣的。大資料處理技術目前都有好多種,而且企業用的時候也不單單使用一種,再一個行業發展比較快,要時刻學習新的東西並用到實踐中。
解決問題的能力在什麼時候都比較重要,資料開發中尤為重要,我們同常會遇到很多資料問題,比如說終極產生的報表資料對不上,一般來說一份終版的資料往往來源於很多原始資料,中間又經過了n多處理。要求你對資料敏感,並能把握問題的本質,追根溯源,在儘可能短的時間裡解決問題。
掌握計算機技術、hadoop 、spark、storm開發、hive 資料庫、Linux 作業系統等知識,具備分散式儲存、分散式計算框架等技術,熟悉大資料處理和分析技術,面向大資料平臺建設與服務企業的技術人才。
大資料作為當代第一吸金的領域,吸引了一批又一批的學生來進修大資料,但對於大資料的學習又是很陌生的,不知道如何下手,不知道該怎麼樣才能成為大資料工程師。今天就針對兩種不同的人群來分析一下呼和才能成為大資料工程師。
1、對應屆生
個人覺得應屆生應該打好基礎,大學本科一般都會開設資料結構,演算法基礎,作業系統,編譯原理,計算機網路等課程。這些課程一定要好好學,基礎紮實了學其他東西問題都不大,而且好多大公司面試都會問這些東西。如果你準備從事IT行業,這些東西對你會很有幫助。
至於學什麼語言,我覺得對大資料行業來說,Java還是比較多。有時間有興趣的話可以學學scala,這個語言寫spark比較棒。
叢集環境一定要搭起來。有條件的話可以搭一個小的分散式叢集,沒條件的可以在自己電腦上裝個虛擬機器然後搭一個偽分散式的叢集。一來能幫助你充分認識Hadoop,而來可以在上面做點實際的東西。你所有踩得坑都是你寶貴的財富。
然後就可以試著寫一些資料計算中常見的去重,排序,表關聯等操作。
對於我來說,面試應屆生就問你的基礎,筆試大多是資料結構和演算法方面的,如果你基礎不錯而且有一定的大資料方面的經驗,基本上都會過。
2、對有工作經驗想轉行的
主要考察三個方面,一是基礎,二是學習能力,三是解決問題的能力。
基礎很好考察,給幾道筆試題做完基本上就知道什麼水平了。
學習能力還是非常重要的,畢竟寫Javaweb和寫mapreduce還是不一樣的。大資料處理技術目前都有好多種,而且企業用的時候也不單單使用一種,再一個行業發展比較快,要時刻學習新的東西並用到實踐中。
解決問題的能力在什麼時候都比較重要,資料開發中尤為重要,我們同常會遇到很多資料問題,比如說終極產生的報表資料對不上,一般來說一份終版的資料往往來源於很多原始資料,中間又經過了n多處理。要求你對資料敏感,並能把握問題的本質,追根溯源,在儘可能短的時間裡解決問題。
掌握計算機技術、hadoop 、spark、storm開發、hive 資料庫、Linux 作業系統等知識,具備分散式儲存、分散式計算框架等技術,熟悉大資料處理和分析技術,面向大資料平臺建設與服務企業的技術人才。