時代背景

大資料在兩三年前是當時最熱門的崗位和現在的區塊鏈和人工智慧一樣備受追捧。而三年後的今天或以後大資料前景如何，我們可以結合資料來分析一下：

首先你要明白現在的人工智慧也是建立在大資料的基礎上的，人工智慧的訓練模型須透過大資料去訓練。

據LinkedIn釋出的《2016年中國網際網路最熱職位人才報告》顯示未來中國基礎性資料分析人才缺口將達到1400萬。而且大資料理論與實際操作存在斷層，高等學校教育並不能滿足企業實際應用，有報告指出，資料分析師已成當下中國網際網路行業需求最旺盛的六類人才職位之一。

資料分析師已成當下中國網際網路行業需求最旺盛的六類人才職位之一，資料表明，資料分析人才的供給指數僅為0.05，屬於高度稀缺。此外，資料分析人才的跳槽速度也最快，平均跳槽速度為19.8個月。

大資料

大資料的概念是指單臺計算機的運算能力和儲存能力不能夠支撐的資料量，一般要達到10-100TB通常稱為大資料的門檻。

大資料的作用

資料分析

大資料對於企業來講，資料分析的可以輔助企業最佳化流程，降低成本，提高營業額，往往我們把這類資料分析定義為商業資料分析。商業資料分析的目標是利用大資料為所有職場人員做出迅捷、高質、高效的決策，提供可規模化的解決方案。商業資料分析的本質在於創造商業價值 ，驅動企業業務增長。

商業決策

大資料的所有用途中最有意義的還是用於商業決策，透過資料來判斷應該做什麼。而商業資料分析的目的，就是商業結果。當資料分析的產出可以直接轉化為決策，或直接利用資料做出決策，那麼這才能直接體現出資料分析的價值。

學習方案

這裡介紹幾種對實時性和持久化等有不同需求的場景的方案：

指標

1. 延時 ， 指資料從產生到運算產生結果的時間，“快”應該主要指這個。

2. 吞吐， 指系統單位時間處理的資料量。

有持久化需求且對實時性要求指標不太高的方案：

spark + hadoop

Spark是這樣處理資料的，當資料龐大時，把計算過程傳遞給資料要比把資料傳遞給計算過程要更富效率。每個節點儲存（或快取）它的資料集，然後任務被提交給節點。

所以這是把過程傳遞給資料。這和Hadoop map/reduce非常相似，除了積極使用記憶體來避免I/O操作，以使得迭代演算法效能更高。

對實時性要求高的方案：

Twitter Storm

Storm是一個分散式流計算引擎。每個節點實現一個基本的計算過程，而資料項在互相連線的網路節點中流進流出。Storm是隻要接收到資料就實時處理並分發。

-----------------------------------

本人現處廣州從事網際網路工作多年，資深技術人員、管理人員。願結識有網際網路業務的技術人員或企業人員、或有想法的創業人員。

1、隨著計算機和網際網路的技術的發展和普及，人們對大資料日益關心和重視，大資料技術也得到前所未有的研發和升級。

2、大資料開發工程師在大資料行業屬於高精尖人才，他們必須具備高強的資料語言程式設計能力，同時還要諳熟於大資料的內在需求，和其他部門協調合作。所以說，各大企業對大資料開發工程師的能力要求是很高的，這就需要你潛心學習，打牢基礎，才能在多變的工作環境中，以不變應萬變。