大資料指無法在一定時間範圍內用常規軟體工具進行捕捉、管理和處理的資料集合。透過大量的統計瞭解大家的喜好，想要的東西，從而得到他們想要的，比如精準營銷，徵信分析，消費分析等等

大資料技術有：

一、大資料基礎階段

大資料基礎階段需要掌握的技術有：Linux、Docker、KVM、MySQL基礎、Oracle基礎、MongoDB、redis等；

二、大資料儲存階段

大資料儲存階段需要掌握的技術有：hbase、hive、sqoop等；

三、大資料架構設計階段

大資料架構設計階段需要掌握的技術有：Flume分散式、Zookeeper、Kafka等；

四、大資料實時計算階段

大資料實時計算階段需要掌握的技術有：Mahout、Spark、storm等；

五、大資料資料採集階段

大資料資料採集階段需要掌握的技術有：Python、Scala；

六、大資料商業實戰階段

大資料商業實戰階段需要掌握的技術有：實操企業大資料處理業務場景、分析需求、解決方案實施、綜合技術實戰應用。

大資料是眼下非常時髦的技術名詞，與此同時自然也催生出了一些與大資料處理相關的職業，透過對資料的挖掘分析來影響企業的商業決策。

一、大資料工程師做什麼？

用阿里巴巴集團研究員薛貴榮的話來說，大資料工程師就是一群“玩資料”的人，玩出資料的商業價值，讓資料變成生產力。大資料和傳統資料的最大區別在於，它是線上的、實時的，規模海量且形式不規整，無章法可循，因此“會玩”這些資料的人就很重要。

因此分析歷史、預測未來、最佳化選擇，這是大資料工程師在“玩資料”時最重要的三大任務。透過這三個工作方向，他們幫助企業做出更好的商業決策。

找出過去事件的特徵

大資料工程師一個很重要的工作，就是透過分析資料來找出過去事件的特徵。

預測未來可能發生的事情

透過引入關鍵因素，大資料工程師可以預測未來的消費趨勢。

找出最最佳化的結果

根據不同企業的業務性質，大資料工程師可以透過資料分析來達到不同的目的。

二、需要具備的能力

數學及統計學相關的背景

計算機編碼能力

實際開發能力和大規模的資料處理能力是作為大資料工程師的一些必備要素。

對特定應用領域或行業的知識

在某個或多個垂直行業的經歷能為應聘者積累對行業的認知，對於之後成為大資料工程師有很大幫助，因此這也是應聘這個崗位時較有說服力的加分項。