大資料有一個很明顯的特徵就是大，所以只有少數大企業和掌握大量私人資訊的政府機構才有發展的平臺。不過大資料能夠創造的就業空間是非常少的，因為大資料技術門檻高，而且發展平臺有限，註定是屬於少數人的狂歡，絕大多數人都享受不到大資料帶來的經濟利益。

大資料有一個非常重要的功能便是流量去中心化。未來，大資料技術發展到極致，每個人能夠看到的內容都是不一樣的，每個人可以獲取的資訊也是不一樣的。就像現在的淘寶，千人千面，一千個淘寶使用者有一千個淘寶首頁。阿里巴巴自然是掙到盆滿缽滿，但一般人就要小心自己的錢袋子了，馬爸爸可能比你還清楚你需要的是什麼。

由於資料是一種財富，因此個人資訊被一些大企業用於大資料的分析其實是一種榨取使用者價值的違法行為。但是我國法律在這一塊管理並不嚴格，因此中國的大資料發展可能會領先世界。不過，隨著國民隱私意識的提升，未來那些大資料公司想要肆意濫用公民的資訊可能會有一定的難度。總體來說，如果你對IT技術有興趣並且有天賦，大資料可以為你在最短的時間內掙取最多的財富。

借用大神的說話，大資料是網際網路時代的能源，對未來數字化、智慧化建設的基礎。

對個人發展來說，掌握大資料相關技術，比如資料探勘，模型演算法，大資料應用必然有很好的發展前景，這類高階人才是非常稀缺且企業有很大的訴求，前景很好。

當然要真正發揮大資料的價值，為企業發展提供動力，前提是需要能夠擁有識別資料，轉化為可使用的資料，然後應用資料，最終產生新的有價值資料形成應用閉環的相關技術和方法。這個過程實際上需要依託對資料的深刻理解和洞察，並且挖掘出有價值的資料，能夠基於特定的業務場景打造資料工具或服務指導企業生產實踐或賦能第三方，構建或完善自身的商業模式。

簡單來說，資料是能源，但是需要掌握開發這個能源的技術和理念。要不然再好的東西，放在你面前依然無法發揮其真正的價值。

其實很多方面都在提醒我們今後很長一段時間內的發展大資料是趨勢。

雲平臺，雲計算是當前提的很火熱的話題，可以比肩AI，5G。只要是網際網路公司無不朝著大資料方向走去。我的前公司深圳天英教育也是一家轉型網際網路企業，無線投影使用者以及智慧黑板使用者數一定程度上反應我們的客戶資料流，也很清晰反應活躍客戶群體，大資料能夠從方方面面給一個企業以警醒，發展，甚至騰飛。

有家我面試過的橋樑檢測公司也提到了大資料是當今趨勢，收集更多的橋樑圖片資訊，更加準確的計算橋樑問題，改善演算法，更好提現產品價值，服務客戶，讓客戶滿意就能更好的讓自己活下來。

以後賣的不一定是產品，不一定是服務，有可能就是資訊資料。

    伴隨著大資料的發展，如今很多的人們都都投入了大資料開發的洪流中，不過相對也有著不少的朋友還對大資料的發展還比較迷茫，大資料發展趨勢是什麼?接下來就來為大家解析一下吧。   

開源解決方案

    有許多可用的公共資料解決方案(例如開源軟體)，已經在加速資料處理方面取得了相當大的進步。它們現在也具有允許實時訪問和響應資料的功能，因此它們將在未來蓬勃發展，並受到高度需求。邊緣計算在物聯網迅速發展的趨勢影響下，許多公司開始轉向連線裝置，以收集更多關於客戶或流程的資料。這就產生了對技術創新的需求，旨在減少從資料的收集、分析到採取行動的滯後時間。邊緣計算提供了更好的效能，因為流入和流出網路的資料更少，雲計算成本更低，即使公司要刪除從物聯網收集到的不必要的資料，公司也可以從儲存成本和基礎設施成本中受益。此外，邊緣計算還可以加快資料分析，讓公司有充足的時間做出反應。   

更智慧的聊天機器人

    在人工智慧技術的推動下，聊天機器人現在被用來處理客戶查詢以提供更個性化的互動，同時不再需要實際的人工人員。機器人在處理大量資料時，能夠根據客戶在查詢中輸入的關鍵字來提供相關答案。而在互動過程中，他們還能夠從對話中收集和分析客戶的資訊，這個過程可以幫助企業開發更精簡的策略，提供更愉快的客戶體驗。   

更智慧、更嚴格的網路安全

    由於過去那些被曝出的涉及駭客攻擊和系統入侵的醜聞，各機構開始將重點放在加強資訊保密上。物聯網也引起了人們對所收集資料的關注，其中網路安全是個大問題。為了應對這一迫在眉睫的威脅，大資料公司開始利用資料分析工具來預測和檢測網路安全威脅。大資料可以透過將安全日誌資料整合到網路安全策略中，提供有關過去威脅的資訊，幫助公司防止和減輕未來駭客攻擊以及資料洩露的影響。

在這個豐收的季節，天氣逐漸變涼，首先非常感激在這裡能為你解答這個問題，其次讓我帶領著大家一起走進這個問題，就讓我們一起探討一下。

雲平臺，雲計算是當前提的很火熱的話題，可以比肩AI，5G。只要是網際網路公司無不朝著大資料方向走去。我的前公司深圳天英教育也是一家轉型網際網路企業，無線投影使用者以及智慧黑板使用者數一定程度上反應我們的客戶資料流，也很清晰反應活躍客戶群體，大資料能夠從方方面面給一個企業以警醒，發展，甚至騰飛。

有家我面試過的橋樑檢測公司也提到了大資料是當今趨勢，收集更多的橋樑圖片資訊，更加準確的計算橋樑問題，改善演算法，更好提現產品價值，服務客戶，讓客戶滿意就能更好的讓自己活下來。

2018年大資料專業就業前景

大資料人才稀缺

據數聯尋英發布《大資料人才報告》顯示,目前全國的大資料人才僅46萬,未來3-5年內大資料人才的缺口將高達150萬。

據職業社交平臺LinkedIn釋出的《2016年中國網際網路最熱職位人才報告》顯示，研發工程師、產品經理、人力資源、市場營銷、運營和資料分析是當下中國網際網路行業需求最旺盛的六類人才職位。其中研發工程師需求量最大，而資料分析人才最為稀缺。領英報告表明，資料分析人才的供給指數最低，僅為0.05，屬於高度稀缺。資料分析人才跳槽速度也最快，平均跳槽速度為19.8個月。

根據中國商業聯合會資料分析專業委員會統計，未來中國基礎性資料分析人才缺口將達到1400萬，而在BAT企業招聘的職位裡，60%以上都在招大資料人才。

大資料專業就業三大方向

大資料主要的三大就業方向：大資料系統研發類人才、大資料應用開發類人才和大資料分析類人才。

在此三大方向中，各自的基礎崗位一般為大資料系統研發工程師、大資料應用開發工程師和資料分析師。

大資料專業人才就業薪資

1基礎人才：資料分析師



北京資料分析平均工資：¥ 10630/月，取自 15526 份樣本，較 2016 年，增長 9.4%。

資料分析師崗位職責

業務類別:技術

業務方向:資料分析



工作職責:

1. 根據公司產品和業務需求，利用資料探勘等工具對多種資料來源進行診斷分析，建設徵信分析模型並最佳化，為公司徵信運營決策、產品設計等方面提供資料支援；

2. 負責專案的需求調研、資料分析、商業分析和資料探勘模型等，透過對執行資料進行分析挖掘背後隱含的規律及對未來的預測；

3. 參與資料探勘模型的構建、維護、部署和評估；

4. 整理編寫商業資料分析報告，及時發現和分析其中變化和問題，為業務發展提供決策支援；

5. 獨立完成專案需求管理、方案設計、實施管理和專案成果質量的把控；

6. 參與編寫專案相關文件。

教育背景:

學歷：本科其它：

經驗要求:工作經驗：3-5年

任職要求:

1. 統計學、數學或計算機、數理統計或資料探勘專業方向相關專業本科或以上學歷；有紮實的資料統計和資料探勘專業知識；

2. 熟練使用數理統計、資料分析、資料探勘工具軟體（SAS、R、Python等的一種或多種），能熟練使用SQL讀取資料；

3. 使用過 邏輯迴歸、神經網路、決策樹、聚類 等的一種或多種建模方法；

4. 3年以上資料分析工作經驗，徵信從業背景人員優先；

5. 具有金融行業專案經驗的相關經驗者優先考慮；

6. 主動性強，有較強的責任心，積極向上的工作態度，有團隊協作精神。

能力素養:

良好的分析、歸納和總結能力，善於分析、解決實際問題； 主動性強，有較強的責任心，積極向上的工作態度，有團隊協作精神。



2大資料開發工程師

北京大資料開發平均工資：¥ 30230/月。

大資料開發工程師/專家 崗位指責（引自 滴滴出行）：

職位描述：

1、構建分散式大資料服務平臺，參與和構建公司包括海量資料儲存、離線/實時計算、實時查詢，大資料系統運維等系統；

2、服務各種業務需求，服務日益增長的業務和資料量；

3、深入原始碼核心改進最佳化開源專案，解決各種hadoop、spark、hbase疑難問題，參與到開源社群建設和程式碼貢獻；

崗位要求：

1、計算機或相關專業本科以上學歷（3年以上工作經驗）；

2、精通C++/Java/Scala程式開發(至少一種)，熟悉Linux/Unix開發環境；

3、熟悉常用開源分散式系統，精通Hadoop/Hive/Spark/Storm/Flink/HBase之一原始碼；

4、有大規模分散式系統開發、維護經驗，有故障處理能力，原始碼級開發能力；

5、具有良好的溝通協作能力，具有較強的分享精神；

6、對Kudu、Kylin、Impala、ElasticSearch，github等系統有深入使用和底層研究者加分；





3Hadoop開發工程師

北京hadoop平均工資：¥ 20130/月，取自 1734 份樣本。

Hadoop開發工程師崗位職責（引自新浪網）：

職位描述：

1.參與最佳化改進新浪集團資料平臺基礎服務，參與日傳輸量超過百TB的資料傳輸體系最佳化，日處理量超過PB級別的資料處理平臺改進，多維實時查詢分析系統的構建最佳化；

2.分散式機器學習演算法在資料平臺的構建與最佳化（包括常見的LR、GBDT、FM、LDA、Word2Vec及DNN等）；

3.深入原始碼改進各種開源大資料專案（包括Hadoop、Spark、Kafka、HBase等）。



任職要求：

1.計算機或相關專業本科以上學歷；

2.熟悉Linux環境下開發，熟練掌握C++/Java/Scala等一種以上程式語言；

3.熟悉Hadoop生態系統相關專案，精通以下專案之一的原始碼（Hadoop/Spark/Kafka/HBase/Flume/ElasticSearch/Druid/Kylin）；

4.具備良好的學習能力、分析能力和解決問題的能力。





4資料探勘工程師

北京資料探勘平均工資：¥ 21740/月，取自 3449 份樣本，較 2016 年，增長 20.3%；

資料探勘工程師招聘要求（引自螞蟻金服集團技術部）：

工作職責：

1、在分散式系統上進行資料計算、挖掘、和實現演算法；

2、資料倉庫模型設計和建立；

3、資料梳理流程的實現和維護；

4、物流場景下的地址文字、空間屬性研究和分析。

任職資格：

1、本科以上學歷，有紮實的統計學，資料探勘，機器學習，自然語言識別理論基礎，一種或幾種以上的實際使用經驗。

2、熟悉聚類、分類、迴歸等機器學習演算法和實現，對常見的核心演算法和資料探勘方法有透徹的理解和實際經驗。

3、深入理解Map-Reduce模型，對Hadoop、Hive、Spark、Storm等大規模資料儲存於運算平臺有實踐經驗。

4、有紮實的計算機理論基礎，至少熟悉一種程式語言，Java優先。

5、有三年以上網際網路公司或者海量資料處理工作經驗，大資料探勘、分析、建模經驗





5演算法工程師

北京演算法工程師平均工資：¥ 22640/月，取自 10176 份樣本。



演算法工程師 招聘要求（引自美團點評資料平臺部）：

職位描述：

網際網路公司背景優先

A、廣告演算法

崗位職責：

2.負責核心演算法的開發；

3.負責廣告大資料處理流程的建設及相關工具的研發；

4.負責廣告技術研究專案的推進與管理；

職位需求：

1.計算機或相關專業本科以上學歷，3年以上相關工作經驗;

2.熟練掌握一門開發語言；

3.有機器學習、資料探勘相關知識；

4.在廣告、搜尋、推薦等相關領域之一有技術研究工作經驗；

5.有較強的溝通協調能力；

B、推薦演算法

職位描述：

1. 參與各個產品線的個性化推薦系統的研發；

2. 分析使用者行為資料，並設計合理的推薦演算法模型及策略，並最佳化推薦排序；

3. 透過對使用者行為資料的挖掘，對使用者進行建模，精準刻畫使用者各種屬性；

職位要求：

1. 全日制本科及以上學歷，計算機相關專業；

2. 熟練掌握各類個性化推薦演算法，並有開發個性化推薦系統的實際專案經驗；熟練掌握各類迴歸及排序演算法，能夠利用相關演算法進行推薦排序的最佳化；

3. 熟練掌握分類、聚類、迴歸、降維等經典機器學習演算法和技術，能夠根據實際問題選擇合適的模型和演算法並進行相應的開發；

4. 有較強的工程架構和開發能力，能夠實現支撐千萬級使用者和TB級使用者行為資料的推薦系統或演算法；

5. 掌握python、matlab等指令碼語言，熟悉各類資料探勘工具（如weka、Mahout），能夠快速建立模型並進行驗證；

C、演算法工程師

崗位職責:

1、開發和最佳化使用者行為資料探勘，文字分類和語義理解，社交網路分析，網頁搜尋，推薦系統等領域的特定演算法

2、能夠很快學習和利用state-of-the-art的演算法解決實際產品問題，提升產品使用者體驗

任職資格:

1、有一定的研究、實驗的能力，優秀的分析問題和解決問題的能力

2、理解自然語言處理、機器學習、網頁搜尋，推薦系統，使用者資料分析和建模的基本概念和常用方法，有相關領域的實際專案研發或者實習經歷者優先。

3、熟悉C++, Java或Python，熟悉Linux或類Unix系統開發,有較強的程式設計能力。 能獨立實現線上演算法模組者優先。

4、對大資料處理平臺和工具有一定經驗者優先, 包括： Hadoop, Hive, Pig, Spark 等





最後一個問題，哪些公司需求大資料人才？

答：所有的公司。大到世界500強，BAT這樣的公司，小到創業公司，他們都需求資料人才。

馬雲爸爸說“我們已從IT時代進入了DT時代，未來我們的汽車、電燈泡、電視機、電冰箱等將全部裝上作業系統，並進行資料整合，資料將會讓機器更“聰明”。DT時代，資料將成為主要的能源，離開了資料，任何組織的創新都基本上是空殼。”

資料，未來的一切

大資料現在前景挺好的，隨著網際網路的發展，儲存在雲上的資料越來越多，也就越來越需要大資料工程師來處理這些資料，現在各個行業都需要這方面的人才，而且國家也在大力推廣。現在報個培訓學校，在裡面學個半年左右就能出來找工作了，之後到公司當個大資料分析師開發師啥的，工資輕鬆1W+