大資料是我的研究方向之一，所以我來回答一下這個問題。

大資料專業是一個非常新的專業，早期有的學校開設了資料科學專業，後來隨著條件逐步成熟，一部分高校開設了大資料專業。大資料專業的教學內容主要集中在三個方面，一個方面是數學，因為大資料需要用到大量的演算法，所以數學基礎對大資料研發人員來說還是非常重要的。一方面是統計學，大資料的很多內容是統計學的延伸，尤其是大資料分析領域。還有一方面是計算機技術，大資料是物聯網和雲計算發展的必然產物，所以大資料的基礎就是計算機網路技術。

大資料專業畢業的學生就業面非常廣，由於目前大資料正在由概念向產業轉換，所以大部分大資料專業的畢業生都在從事大資料平臺工程師的崗位，主要任務是搭建企業的大資料平臺以及開發一些平臺上的具體功能。

當然，未來大資料崗位涉及到演算法分析師、演算法實現工程師、資料分析師、BI工程師（還有很多細分崗位）、資料工程師（採集、整理等）、程式設計師等。

由於目前大資料領域的人才缺口比較大，所以目前從事大資料崗位的工程師待遇都非常不錯，相信在未來很長一段時間內，大資料相關崗位的待遇會明顯高於軟體行業平均水平。

另外，建議大資料專業的本科生繼續讀研，讀研會提供一個更好的研究平臺，也會明顯提升自己的職場競爭力。

如果有大資料方面的問題，或者是考研方面的問題，都可以諮詢我。

1、大資料開發工程師

開發，建設，測試和維護架構，負責公司大資料平臺的開發和維護，負責大資料平臺持續整合相關工具平臺的架構設計與產品開發等

2、資料分析師

收集，處理和執行統計資料分析；運用工具，提取、分析、呈現資料，實現資料的商業意義，需要業務理解和工具應用能力

3、資料探勘工程師

資料建模、機器學習和演算法實現；商業智慧，使用者體驗分析，預測流失使用者等；需要過硬的數學和統計學功底以外，對演算法的程式碼實現也有很高的要求

4、資料架構師

需求分析，平臺選擇，技術架構設計，應用設計和開發，測試和部署；高階演算法設計與最佳化；資料相關係統設計與最佳化，需要平臺級開發和架構設計能力

5、資料科學家

資料探勘架構、模型標準、資料報告、資料分析方法；利用演算法和模型提高資料處理效率、挖掘資料價值、實現從資料到知識的轉換。等等。

相關：大資料培訓相關的職業崗位及主要工作內容

第一次工業革命是機械化，第二次電氣化，第三次資訊化，第四次智慧化。這次的工業革命從規模，從對每個人的生活、對整個社會的影響的廣泛性和深度，都要遠遠大於前幾次。在技術上來講，核心技術是透過資料來觀察世界，透過資料來獲取知識。

站在浪尖上面臨150萬的人才緊缺的大資料。

大資料主要分成三大類：大資料系統研發類、大資料應用開發類、大資料分析類，崗位包括大資料系統架構、大資料開發、大資料系統分析、資料分析、資料探勘、大資料視覺化、資料庫管理、資料遷移等。

1、java大資料開發

2、大資料精準營銷

3、大資料分析師（金融企業急需和緊缺的，尤為突出）

4、資料架構師

當下最熱門的崗位兩大類：一類是應用類，另一類是系統類。

應用類

應用類，偏向於資料分析和資料應用，經常說到的資料分析、資料探勘，就是典型的應用技術。這一類職位，要求採用適當的分析和挖掘方法對資料進行分析，提取資料中隱含的業務資訊，來支撐企業決策。

最典型的職位就是：大資料分析師。

主要崗位有：

1、大資料分析師：主要是指，基於業務問題，能夠選擇最合適的資料分析和資料探勘方法，提取資料中的業務資訊，從而支撐業務決策。要求熟悉資料分析/挖掘過程，掌握資料分析/挖掘方法，理解資料分析模型，熟練操作資料分析工具（比如Excel、SPSS、SAS等）。一般對於大資料分析師，其能力要求比較全面，不管是業務邏輯、還是分析方法、模型、視覺化，都要求全面掌握。

2、業務資料分析師：側重於商業理解，要求能夠將業務問題和商業問題，轉化為大資料的問題，並將分析結果從業務層面進行解讀，從而形成業務建議和業務策略。要求熟悉業務邏輯和業務模型，掌握資料分析思路，能將資料視覺化，對資料解讀等。當然，類似的職位還有大資料觀察員、大資料研究員等等，這些都側重於商業理解。

3、大資料建模/演算法師：側重於資料建模，能夠圍繞業務問題，構建合適的資料分析框架和分析模型，將業務問題進行分解，從而達到定性或定量來描述業務的目的。要求熟悉資料建模、模型評估、模型最佳化、模型應用等等。

4、大資料演算法師：側重於資料模型的實現演算法研究、設計與實現，為達到分析目的，對實現演算法進行分析、選擇與最佳化，確保實現效能及效果。一般情況下，演算法師往往和建模師在一起工作。

系統類

系統類，偏向於系統研發，比如Hadoop系統、雲計算，就屬於系統類技術。這一類職位，要求熟悉Hadoop大資料平臺的核心框架和元件，能夠基於大資料平臺來寫程式碼開發應用，支撐業務應用。

最典型的職位就是：大資料工程師。

1、大資料開發工程師：負責大資料系統的開發工作，能夠運用程式語言進行應用程式的開發、測試和維護，實現產品功能。要求掌握程式語言，如JAVA、R、Python等等。

2、大資料架構師：負責大資料系統的平臺架構設計、平臺構建。要求熟悉Hadoop/Storm/Spark等平臺，熟悉整個生態系統的元件，有平臺級開發和架構設計能力等等。

3、大資料運維工程師：側重於大資料平臺運維管理，包括系統運維規劃、系統監控、系統最佳化等等，保障大資料平臺服務的穩定性和可用性。掌握平臺各元件的安裝、配置與除錯，有良好的系統性能最佳化及故障排除能力。

4、大資料庫管理員：側重於資料庫/資料倒倉庫的設計、開發、管理和最佳化，監控資料庫的效能、故障檢測和排除，包括資料採集，資料庫架構設計，空間和容量規劃，效能最佳化，資料安全和隱私，資料容錯，等等。

當然，在不同的企業中，職位的名稱和叫法有所不同，或者會衍生出新的職位，但基本的崗位職責是類似的。

1、大資料系統架構師

大資料平臺搭建、系統設計、基礎設施。

技能：計算機體系結構、網路架構、程式設計正規化、檔案系統、分佈並行處理等。

年薪百萬百度大資料架構師需要掌握什麼技術？

大資料極為龐大。如今每天為我們創造出約2.3萬億GB資料，這意味著資料世界每兩年都將增長一倍。那麼，展望即將到來的2018年，大資料領域會出現哪些變化?這些變化又會給我們造成怎樣的影響！

（1）、我們終將利用暗資料；　

（2）、 結構化與非結構化邊界的消失；　

（3）、CDO快速崛起；　

（4）、量子計算進入公眾視野。

那麼，大資料架構師需要掌握什麼技術？

（1）、統計分析

大數定律、抽樣推測規律、 秩和檢測 、迴歸分析、方差分析等

（2）、視覺化輔助工具

Excel 、PPT、Xmind 、Visio

（3）、大資料處理框架

Hadoop 、 Kaffka、Storm 、ELK、Spark

（4）、資料庫

SQlite 、MySQL 、MongoDB 、Redis 、Cassandra 、HBase

（5）、資料倉庫/商業智慧

SSIS資料倉庫、SSAS MDX多維資料表Ssrs、DW2.0

（6）、資料探勘工具

Matlab、SAS、SPSS、R、Python

（7）、人工智慧/挖掘演算法

機器學習、資料結構一致性、常用演算法

（8）、程式語言

Python、R、Ruby、Java

2、大資料系統分析師

面向實際行業領域，利用大資料技術進行資料安全生命週期管理、分析和應用。

技能：人工智慧、機器學習、數理統計、矩陣計算、最佳化方法。

3、大資料開發工程師

圍繞大資料系平臺系統級的研發人員， 熟練Hadoop、Spark、Storm等主流大資料平臺的核心框架。深入掌握如何編寫MapReduce的作業及作業流的管理完成對資料的計算， 熟練掌握Hadoop整個生態系統的元件如： Yarn，HBase、Hive、Pig等重要元件，能夠實現對平臺監控、輔助運維繫統的開發。

透過學習一系列面向開發者的Hadoop、Spark等大資料平臺開發技術，掌握設計開發大資料系統或平臺的工具和技能，能夠從事分散式計算框架如Hadoop、Spark群集環境的部署、開發和管理工作，如效能改進、功能擴充套件、故障分析等。

4、資料分析師

不同行業中，專門從事行業資料蒐集、整理、分析，並依據資料做出行業研究、評估和預測的專業人員。在工作中透過運用工具，提取、分析、呈現資料，實現資料的商業意義。

作為一名資料分析師，至少需要熟練SPSS、STATISTIC、Eviews、SAS、大資料魔鏡等資料分析軟體中的一門，至少能用Acess等進行資料庫開發，至少掌握一門數學軟體如matalab、mathmatics進行新模型的構建，至少掌握一門程式語言。總之，一個優秀的資料分析師，應該業務、管理、分析、工具、設計都不落下。

5、資料探勘工程師

做資料探勘要從海量資料中發現規律，這就需要一定的數學知識，最基本的比如線性代數、高等代數、凸最佳化、機率論等。經常會用到的語言包括Python、Java、C或者C++，我自己用Python或者Java比較多。有時用MapReduce寫程式，再用Hadoop或者Hyp來處理資料，如果用Python的話會和Spark相結合。

6、大資料實施工程師：能熟練架設資料庫.大資料分析生態系統，透過Hive編寫常見的 MapReduce程式。

7、使用者互動技術工程師

大資料所提供的使用者互動方式主要有五種型別，分別是統計分析和資料探勘、任意查詢和分析、立方體分析、企業報表、報表分發和預警，它們在互動程度和使用者群型別及規模上各有差異。

8、大資料視覺化工程師

隨著大資料在人們工作及日常生活中的應用，大資料視覺化也改變著人類的對資訊的閱讀和理解方式。從百度遷徙到谷歌流感趨勢，再到阿里雲推出縣域經濟視覺化產品，大資料技術和大資料視覺化都是幕後的英雄。

9、大資料採集與管理師

大資料浪潮，洶湧來襲，與網際網路的發明一樣，這絕不僅僅是資訊科技領域的革命，更是在全球範圍加速企業創新、引領社會變革的利器。現代關係學之父德魯克有言，預測未來最好的方法，就是去創造未來。而“大資料戰略”，則是當下領航全球的先機。“大資料”（BigData）指一般的軟體工具難以捕捉、管理和分析的大容量資料。“大資料”之“大”，並不僅僅在於“容量之大”，更大的意義在於：透過對海量資料的交換、整合和分析，發現新的知識，創造新的價值，帶來“大知識”、“大科技”、“大利潤”和“大發展”。“大資料”能幫助企業找到一個個難題的答案，給企業帶來前所未有的商業價值與機會。大資料同時也給企業的IT系統提出了巨大的挑戰。透過不同行業的“大資料”應用狀況，我們能夠看到企業如何使用大資料和雲計算技術，解決他們的難題，靈活、快速、高效地響應瞬息萬變的市場需求。

10、資料安全師

從事資料安全的系統管理與監測工作，資料安全在大資料行業極為重要，因此資料安全師的地位遠遠高於線下生活中保安的地位。

11、資料營銷師

大家一看不算很新，但是實際上這個職位與過去的營銷崗位除了有相近的傳播、推廣、溝通說服與資訊彙集的功能以外，在今天的資料營銷師會遇到的最大問題是客戶提出了問題，而這個問題或者需求是原來的大資料產品或者技術不能完全解決的，因此營銷過程帶有較強的探索性溝通與尋求合作研發的特性。

同時，資料營銷師往往需要一定的架構能力，而且能夠理解資料架構的邏輯，從而能夠創造性地推廣前沿性的資料產品與服務。

12、資料科學家

資料科學家是指能採用科學方法、運用資料探勘工具對複雜多量的數字、符號、文字、網址、音訊或影片等資訊進行數字化重現與認識，並能尋找新的資料洞察的工程師或專家(不同於統計學家或分析師)。一個優秀的資料科學家需要具備的素質有：懂資料採集、懂數學演算法、懂數學軟體、懂資料分析、懂預測分析、懂市場應用、懂決策分析等。

13、大資料分析架構師

梳理業務資料的來源、定義、邏輯，根據多樣化的業務需求制定、最佳化報表；l 理解並分析相關產品和製造流程現狀，根據業務需求分析挖掘資料規律、趨勢、關注點，為產品製造業務提供決策支援；l 基於海量資料，透過機器學習和AI的方法，為個人電腦和手機產品製造業務提供個性化服務，提升製造效率和質量；l 負責相應安全AI模型設計，研發適合在業務中使用的模型、演算法和工具，以支援資料分析需求和模擬預測業務場景。l 結合業務層面數字化專案，開發系統資料介面及建立分析預判機制，實現資料定製視覺化、預警、模擬、決策輔助。

14、大資料解決方案架構師

負責大資料業務的售前技術支援，能獨立進行售前工作，包括並不限於客戶需求調研、解決方案編制和技術交流；

　　對競爭產品和方案進行競爭分析和對比，對市場競爭形勢進行總結；

　　配合銷售團隊培訓代理商合作伙伴，並提供相關培訓和技術支援；

　　分析、撰寫和總結公司產品的行業應用方案。

不同的平臺對應不同的職位

1、資料平臺

Data Platform，構建、維護穩定、安全的大資料平臺，按需設計大資料架構，調研選型大資料技術產品、方案，實施部署上線。對於大資料領域涉及到的大多數技術都要有所瞭解，並精通某一部分，具備分散式系統的知識背景;

對應職位：大資料架構師，資料平臺工程師

2、資料採集

對應職位：爬蟲工程師，資料採集工程師

3、資料倉庫

Data Warehouse，有點類似於傳統的資料倉庫工作內容：設計數所倉庫層級結構、ETL、進行資料建模，但基於的平臺不一樣，在大資料時代，資料倉庫大多基於大資料技術實現，例如Hive就是基於Hadoop的資料倉庫。

對應職位：ETL工程師，資料倉庫工程師

3、資料處理

Data Processing，完成某些特定需求中的處理或資料清洗，在小團隊中是結合在資料倉庫中一起做的，以前做ETL或許是利用工具直接配置處理一些過濾項，寫程式碼部分會比較少，如今在大資料平臺上做資料處理可以利用更多的程式碼方式做更多樣化的處理，所需技術有Hive、Hadoop、Spark等。隨便說下，千萬不要小看資料處理，後續的資料分析、資料探勘等工作都是基於資料處理的質量，可以說資料處理在整個流程中有特別重要的位置。

對應職位：Hadoop工程師，Spark工程師

5、資料分析

Data Analysis，基於統計分析方法做資料分析：例如迴歸分析、方差分析等;大資料分析例如Ad-Hoc互動式分析，SQL on Hadoop的技術有：Hive、Impala、Presto、Spark SQL，支援OLAP的技術有：Kylin;

對應職位：資料分析師

6、資料探勘

Data Mining，是一個比較寬泛的概念，可以直接理解為從大量資料中發現有用的資訊。大資料中的資料探勘，主要是設計並在大資料平臺上實現資料探勘演算法：分類演算法、聚類演算法、關聯分析等。

對應職位：資料探勘工程師

7、機器學習

Machine Learning，與資料探勘經常一起討論，甚至被認為是同一事物。機器學習是一個計算機與統計學交叉的學科，基本目標是學習一個x->y的函式(對映)，來做分類或者回歸的工作。之所以經常和資料探勘合在一起講是因為現在好多資料探勘的工作是透過機器學習提供的演算法工具實現的，例如個性化推薦，是透過機器學習的一些演算法分析平臺上的各種購買，瀏覽和收藏日誌，得到一個推薦模型，來預測你喜歡的商品。

對應職位：演算法工程師，研究員

8、深度學習

Deep Learning，是機器學習裡面的一個topic(非常火的Topic)，從深度學習的內容來看其本身是神經網路演算法的衍生，在影象、語音、自然語言等分類和識別上取得了非常好的效果，大部分的工作是在調參。不知道大家有否發現現在的Google翻譯比以前的要準確很多，因為Google在去年底將其Google翻譯的核心從原來基於統計的方法換成了基於神經網路的方法;

對應職位：演算法工程師，研究員

9、資料視覺化

Data Visualization，將分析、挖掘後的高價值資料用比較優美、靈活的方式展現在老闆、客戶、使用者面前，更多的是一些前端的東西，也可能要求有一定的美學知識。結合使用者的喜好，以最恰當的方式呈現資料價值;

對應職位：資料工程師，BI工程師

10、資料應用

Data Application，從以上的每個部分可以衍生出的應用，例如廣告精準投放、個性化推薦、使用者畫像等。

對應職位：資料工程師

從資料科學家到資料架構師，大資料職場中的核心新崗位

任何新行業興起的時候必然伴隨著行業的深化與細化，伴隨著新職業崗位的生長，大資料行業也不例外。大家都說大資料，很多人甚至省略掉了資料，其實我們今天很多朋友做的最多算資料行業，還遠不是大資料行業，因為還沒有做資料來源的整合、不同結構資料來源的清理與對接、資料的貫通分析與實時共享；即使已經是大資料行業，那麼屬於大資料硬體行業（如製造、銷售、管理大資料伺服器）還是軟體行業（開發大資料管理系統、資料內容的軟體化整合與開發應用）也是不一樣的；就算同是大資料軟體行業，那麼是屬於資料庫管理與執行維護，還是屬於資料應用就是差異行業；同樣是資料應用行業，資料資源的轉移應用與精準匹配應用，與基於深度分析的決策應用，也是深度細分的差異行業；在大資料決策應用行業中，基於大資料分析的人工應用模式與基於大資料智慧的自動化應用模式，可以看成不同的技術含量的精度細分行業。零點有數就是屬於最後這個類別的大資料智慧應用服務機構。

而在這樣的行業中，我們會看到不少新興的職業崗位興起，其中不少人已經對資料科學家這一說法有認識，他們往往是資料模型或者說演算法的設計者，也是複雜演算法的修正最佳化與管理者；資料營銷師，大家一看不算很新，但是實際上這個職位與過去的營銷崗位除了有相近的傳播、推廣、溝通說服與資訊彙集的功能以外，在今天的資料營銷師會遇到的最大問題是客戶提出了問題，而這個問題或者需求是原來的大資料產品或者技術不能完全解決的，因此營銷過程帶有較強的探索性溝通與尋求合作研發的特性；資料工程師是與資料科學家合作實施具體的資料管理與開發工作的技術白領，今天絕大部分資料工程師是邊幹邊學，一般他們往往是學習計算機或者資料科學出身的初級專業人員；資料探勘師，在海量資料中從事資料分類、清洗、標籤與檢核工作；資料安全師，從事資料安全的系統管理與監測工作，資料安全在大資料行業極為重要，因此資料安全師的地位遠遠高於線下生活中保安的地位。在所有這些崗位以外，有一個崗位往往是很少為人提及，但實際上至為重要的，那就是資料架構師。資料架構師需要判斷在某一領域、行業的基本趨勢與特點，熟悉開放式關鍵中的最佳標杆與前沿和典型做法，對於半封閉與體系內需要具備敏銳與犀利的洞察能力，由此而能來定義資料應用任務或者專案的目標與疆界、核心工作內容與指標、路線圖與時間表，其中涉及到在多大意義上要體現本任務與宏觀需要的契合、與周圍可能有的其他關聯絡統的對介面、要素保障與條件保障、危機測定與安全管理機制。架構師需要將總體目標、要素關係、推進步驟能夠在合理構設中藍圖化與實現最佳化整合。與設計師不同的是，架構師不只是藍圖設計者，也是藍圖可行性的負責人與推進者、協調者。

儘管我們在前面描述大資料行業的時候有一種介紹序列，其實在實際的大資料應用中，我們可以反過來看我們的大資料需要，然後設定我們在大資料應用、軟硬體建設中的需要，這也是資料架構師所可能設計的工作內容。而我們所說的資料科學家，在一定程度上是連結與細化資料架構師工作的，而資料營銷師往往需要一定的架構能力，而且能夠理解資料架構的邏輯，從而能夠創造性地推廣前沿性的資料產品與服務。如果我能夠大致提出一個典型大資料智慧服務機構中這幾類崗位的人員比例，那麼它們大致是：資料架構師：資料營銷師：資料科學家：資料工程師：資料探勘師：資料安全師=1:2:3:30:60:5。而從人才市場的供應來說，實際上越是後面的崗位越是可以依靠專業機構培訓的，越是前面的人才往往是在一定專業基礎上在實際工作湧現的具有特殊技能的營運人才而需要資料機構領導人去留心發現。

由於大陸高校2016年開始開設大資料本科專業，目前還沒有畢業生流向市場，造成人才嚴重短缺，所以大資料人才待遇較高。

初級崗位（3—5年）：15000—25000月/元；

中級崗位（5—10年）：25000—35000月/元；

高階崗位（10年以上）：40—100萬/年。

如大資料系統架構師、大資料分析架構師、資料科學家等。

總之，選擇大資料專業，從事大資料工作，待遇高，前景好！