涉及政治、經濟、民生等，基本上生活中的事情都可以用大資料來做分析。可從事的崗位比較多，主要看你自己懂什麼。

任何一次技術革命，都會帶來新的機遇和挑戰，機遇與挑戰都需要人才，我們已經進入大資料時代，多家權威機構都爆出大資料人才缺口多少多少百萬，大資料領域現在有個大風口，那麼大資料領域的職位是如何分佈的呢？如果要參加培訓，該如何選擇？

大資料領域分為二個方向：

一是大資料維護、研發、架構工程師方向；所涉及的職業崗位為：大資料工程師、大資料維護工程師、大資料研發工程師、大資料架構師等；

二是大資料探勘、分析方向；所涉及的職業崗位為：大資料分析師、大資料高階工程師、大資料分析師專家、大資料探勘師、大資料演算法師等；

大資料開發工程師和大資料分析師企業需求都非常大，這裡先給大家介紹下大資料分析方向的課程，大資料分析方向將是未來職業人才崗位缺口最大的職位之一，它將會和軟體人才一樣，再次掀起一次培訓高潮；

在大資料分析方向的最高階將會按行業劃分，一個牛逼的大資料分析專家將是某一個或者二個行業的專家；

藉助阿里雲大資料職業認證體系圖來說明以上的結果邏輯；

大資料培訓的第二個方向

大資料工程師，鑑於現在大資料人才缺口較大，能夠做大資料開發培訓的機構很少，大資料的學習需要java基礎，雖然很多培訓機構都要java課程，但是有大資料培訓課程的機構還比較少。選擇時需要謹慎些。在選擇時一定要注意課程是否包含了Hadoop、hive、hbase、spark等大資料技術課程

大資料涉及各行各業，小到一個人的購物，閱讀習慣就可以。可以做什麼職業，例如行業資訊檢索方案解決工程師，話題製造者，輿論觀測，購物引導等等

大資料是IT行業的專業資料，目前被大家片面的理解為“很多很多的資料”，這是一個錯誤的認知！

大資料是人工智慧時代的基礎特點之一，根據《大資料時代》一書介紹，大資料需要具備以下五個特點：

1、大量（Volume）2、告訴（Velocity)3、多樣（Variety）4、低價值密度（Value）5、真實性（Veractiy）

大資料之所以被稱之為“大”，主要是指數量比較大。只有資料體量達到PB級別以上，才能被稱為大資料。我們日常聽到的部分企業建個數據庫，收集了幾個GB的影象或使用者資訊，就稱為大資料，要知道1PB=1024TB=1024*1024GB，也就是說，這些企業建設的資料量，很多連大資料的零頭都算不上！

從以上幾個特點，我們可初步分析出大資料的應用場景，然後再從應用場景去分析大資料主要涉及的內容和在這些應用場景中的崗位有那些。

場景1、大資料量的交易。如網際網路行業的大型電商平臺，需要透過交易大資料進行客戶行為分析、商品廣告分析等；

場景2、大資料量加工。如供應鏈、生產過程最佳化、生產計劃等；

場景3、服務智慧分析。人類衣食住行方面的服務場景非常多，如：娛樂、城市出行、服裝、餐飲等，對這些資料進行綜合清洗，從人的維度、貨的維度、交易的維度來進行分析，可提升服務價值和最佳化服務方向；

場景4、科技智慧化處理。如生物技術、基因技術、醫療技術等科技領域，會產生大資料了的基礎資料，透過對基礎資料的解讀和處理，來提升生命科技的研究；

其他場景還可根據不同的行業做細分，此處不一一列舉，感興趣的讀者可透過下面的大資料應用矩陣圖進行分析：

從上面的應用場景，我們不難看出和大資料相關的一些崗位：

1、大資料工程師。從事大資料系統實現的開發工程師，透過指令碼、SQL、程式語言等方式加工處理原始收集到的大資料，使原本雜亂無章的大資料變得系統化、結構化；

2、大資料管理員。對已經沉澱的大資料進行管理和維護，使資料訪問效能得到最大化，儲存最最佳化；

3、資料架構師。透過大資料平臺（如Hadoop），對資料需求分析、技術架構設計、應用開發設計等進行指導和實現，該職位要求從業者精通大資料相關演算法，並掌握大資料平臺相關重要元件；

4、資料分析師。需要精通所在行業業務，能按照業務需求進行大資料歸納整理，並掌握基本的資料分析工具，然後對資料分析形成具有行業指導意見的分析報告；

5、商業智慧分析師。和資料分析師類似，但商業智慧分析師畢資料分析師更加有針對性和具體性，如：市場競爭需求的商業智慧分析；某一產品發展前景的商業智慧分析等。

大資料分析在資訊科技日益發展和廣泛應用的今天，隨著資料產生爆發式增長，涉及大資料相關工作將越來越滲透到我們日常生活中，大資料相關崗位也將越來越得到尊重。

記得大學畢業的第一份工作，我們公司的業務就是做BI產品研發。哪時候網際網路沒有今天這樣火熱，也沒有大資料、移動網際網路的概念。記得有一次和同事去華師後門買書，同事買了一本javascript,我買了一個ajax。那時候，我們產品的客戶端是用Delphi開發的，其實買書就是為了補充一點新知識，工作中基本用不到。在公司的第三年，公司要轉做web的BI展示介面，我幫公司用svg做了兩個展示元件，心裡還是美滋滋的。

隨著時間的推移、電商的發展，大資料、雲計算似乎成了每個網際網路公司對外宣傳的標準說法。如果不講點這些概念，似乎給人感覺缺少些逼格。記得10年在公司的一次培訓上，有個同事問，雲計算是不是你搞出來的，就因為我姓雲。聽到這個問題，我哭笑皆非。

大資料這個概念喊了這麼多年了，很多人還是不清楚大資料指的是什麼？為了回答好這個問題，我還去專門搜尋了大資料的概念。老實說百科的解釋，連我從事了這麼多年網際網路的人，也沒看懂。

“大資料（big data），IT行業術語，是指無法在一定時間範圍內用常規軟體工具進行捕捉、管理和處理的資料集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程最佳化能力的海量、高增長率和多樣化的資訊資產。”

什麼是大資料？

大資料說的直白點，就是運用一套技術手段，把資料變成資訊和知識的過程。資料對我們來說是沒有價值的東西，我們要把資料加工成資訊或者知識，才能被人類理解。舉個例子：公司一天的考勤資料是意義不大的東西，但是我們透過一月考勤資料的分析和比較，我們發現張三這個員工老是遲到。那麼，張三老是遲到這個資訊就對公司的管理有幫助了，領導需要去了解下，是不是張三家有什麼事？或者張三最近出現別的狀況？

大資料的“大”又如何理解呢？所謂“大”，一層含義指資料的體量大，在資料庫時代資料以GB為單位，但在網際網路時代以TB為單位，資料的體量升了一個數量級。另一層含義指資料形式的多樣化。在傳統BI應用中，資料大多是儲存在關係型資料庫中，但在網際網路時代，資料的形式變得多樣化了，例如:文字、影片及資料庫。明白了大資料的概念，我們下來看，大資料包含哪些內容。

大資料的內涵

大資料從技術的角度去看，包含兩大分支：資料分析和資料探勘。資料分析是對歷史資料的分析，為管理提供輔助決策資訊。資料探勘是研究趨勢和未來的問題，主要應用在預測方面。從業務的時效性要求去看，分為：實時線上分析系統和離線分析系統。例如:網站的實時使用者區域分佈狀況就是實時分析應用；2019年全國各省GDP排名分析就是離綫分析應用。

從大資料專案的過程看，大資料包含：資料採集、資料收集、資料轉化與儲存、資料建模分析、上層應用展示等。大資料的難點，在於海量資料的分析，這又涉及到海量資料儲存及分析架構等問題。

按照Hadoop的技術體系來講，flume用來收集和轉化儲存在伺服器各處的日誌及資料，儲存在以hdfs檔案系統或者hive或者hbase等資料倉庫中，再利用hadoop架構的規範，編寫mapreduce作業，再把分析結果展示給使用者。當然，這裡面設計到資料分析的各種演算法。

大資料相關的工作崗位

下面介紹下，大資料相關的核心崗位：

業務專家或者顧問：為大資料提供研發方向和確定研究主題，併為技術人員提供業務支援。

資料分析師：從事資料收集、整理、分析並依據資料做出評估和預測的專業人員。

資料探勘工程師：從海量資料中發現規律，需要較好的演算法和數學基礎。

視覺化工程師：提供美觀、便於人們理解的分析的結果展示介面。

維護工程師：負責伺服器環境的配置、搭建和運維。

每個公司採用的大資料技術線路不同，工作崗位會有所差距。感興趣的朋友，可以自己去了解下，現有的幾種大資料方案。

隨著5G網路的建設，接入網路的iot裝置會越來越多，網際網路所積累的資料，還會成級數增加。在未來幾年，大資料行業依然是朝陽行業，需要的大資料人才會越來越多，希望本文對有意願加入大資料行業的朋友，有所啟發和幫助，也希望大家能對大資料的概念，有更清晰的認識。謝謝！

大資料一詞起源於apache旗下的一款開源元件hadoop（該元件可用於儲存結構化與半結構化資料並進行離線批處理）。目前，業界對大資料並沒有明確的定義，一般是從大資料的‘4V’特徵進行闡述，即volume（大體量）、variaty（多樣性）、velocity（及時性）及value（價值密度低）。

大資料設計的內容比較廣泛，包括大資料儲存、大資料實時/離線計算、大資料分析等。經過十幾年的發展，大資料已經形成一套涵蓋各種應用的大資料生態圈，具體包含數十種元件。其中，與大資料儲存相關的元件有HDFS（分散式檔案系統）、hive（資料倉庫）、HBase（大資料列式儲存）等；與大資料計算相關的元件有mapreduce（第一代離線批處理計算框架）、spark（基於記憶體的計算框架，可用於離線或實時計算）、Flink（流式計算）等；與大資料分析相關的元件有spark ml（spark機器學習演算法庫）、tensorflow（分散式深度學習框架）等。此外，還包括yarn（資源排程）、oozie（工作流）、kafka（訊息佇列）等就不一一介紹了。

目前，大資料相關的崗位可以粗略地分為大資料開發與大資料分析兩種。其中，大資料開發主要是負責搭建並維護大資料叢集，並對相關元件進行二次開發以適應公司的具體業務；大資料分析主要是在大資料叢集上實現相關的機器學習或深度學習演算法，挖掘相關的資訊，輔助決策。

作為一名科技工作者，大資料也是我的主要研究方向之一，所以我來回答一下這個問題。

首先，從技術體系結構上來看，當前的大資料技術已經趨於成熟，其內容涉及到資料的採集、傳輸、整理、儲存、分析和應用等多個方面，在就業崗位上涉及到大資料開發、大資料分析和大資料運維等崗位。

大資料技術本身並不是孤立的，大資料技術與雲計算、物聯網和人工智慧等技術也有非常緊密的聯絡，所以也可以把大資料技術看成是一個大的技術生態。對於要想進入大資料領域發展的技術人員來說，可以根據自身的知識結構和能力特點來選擇切入點，當前大資料開發崗位的人才缺口要相對大一些，而如果具有紮實的數學和統計學基礎，也可以考慮從事大資料分析崗位（演算法崗位），雖然當前演算法崗位的競爭比較激烈，但是演算法崗位的崗位附加值還是比較高的，未來的發展空間也相對比較大。

大資料開發崗位通常分為平臺開發崗位和行業應用開發崗位，平臺開發崗位屬於研發級崗位，對於從業者的知識結構有更多的要求，當前研究生更願意從事平臺開發崗位，而且當前大廠的平臺開發崗位也比較多。對於初學者來說，從大資料應用開發崗位開始做起是比較現實的選擇。

相對於大資料平臺開發崗位來說，大資料應用開發的技術門檻要低一些，開發人員基於已有的大資料平臺來完成開發任務，往往並不需要考慮系統級問題，但是需要開發人員掌握一定的行業知識。所以，從事大資料開發崗位也需要一個系統的學習過程。

在“大資料”出現之前，對於大量的資料一般稱為“海量資料”或“大規模資料”。而“大資料”不僅指規模龐大的資料物件，還包括對這些資料物件的處理和應用活動，是資料物件、技術與應用的三者統一。

“大資料”首先是指資料體量大；其次“大資料”資料類別大，資料的種類和格式多，不僅有結構化資料，還包括半結構化和非結構化資料。“大資料”還要求資料處理速度快。此外，“大資料”資料的真實性高，

並沒有限制“大資料”可以做什麼不可以做什麼。在目前和可預見的不遠的將來，大資料可以應用在以下幾個方面：

1. 決策分析。透過以前和現在的資料對可能發生的事情進行預測並提出行動建議。

2. 在未知因素間尋找關聯性。用“大資料”來分析不想管的資料間是否有關聯性，這種關聯性造成的影響。

3. 資料探勘。

總之，有了大量的資料，透過有效的方法利用這些資料，從而得出有用的結果。這就是“大資料”的用處。

首先為你講解一下大資料分析流程，總共有6個步驟，分別是：1.業務理解；2. 資料採集；3. 資料儲存；4. 資料預處理；5. 資料分析；6.資料視覺化。

對於以上的大資料分析流程都要求我們具備一定的程式設計基礎，當下比較火的，用得比較多的是python程式語言，python比較快捷且容易上手和理解，因而它比較偏上層，而Java、C、C++等都比較偏底層；如果做偏業務類的資料分析python就夠了，但是如果想走資料科技這條線，底層語言的JAVA、C是需要掌握的。

大資料相關崗位基本分為兩類：技術類和應用類。

技術類崗位：大資料開發工程師、大資料系統設計師、大資料架構師、大資料系統運維、資料庫管理員等

應用類崗位：大資料分析師、業務分析師、大資料建模師、模型最佳化與演算法設計師、產品經理等

以技術類崗位為例，技能要求為你整理如下，可供參考：