大資料的領域涉及到的技術比較繁雜，要想全部掌握不太容易。可以先像我各個元件的應用場景，當來了一個需求知道該用什麼技術解決。然後從解決實際問題入手，去掌握一項技術。只有透過實際專案才好掌握技術，學的也會很快。

大資料 （巨量資料集合（IT行業術語）） 大資料（big data），指無法在一定時間範圍內用常規軟體工具進行捕捉、管理和處理的資料集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程最佳化能力的海量、高增長率和多樣化的資訊資產。大資料的5V特點（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價值密度）、Veracity（真實性）。

可以細看定義。

　　在大資料的世界裡面主要有三個學習方向，大資料開發師、大資料運維師、大資料架構師。

　　什麼是大資料開發師？

　　圍繞大資料系平臺系統級的研發人員， 熟練Hadoop、Spark、Storm等主流大資料平臺的核心框架。深入掌握如何編寫MapReduce的作業及作業流的管理完成對資料的計算，並能夠使用Hadoop提供的通用演算法， 熟練掌握Hadoop整個生態系統的元件如： Yarn，HBase、Hive、Pig等重要元件，能夠實現對平臺監控、輔助運維繫統的開發。

　　透過學習一系列面向開發者的Hadoop、Spark等大資料平臺開發技術，掌握設計開發大資料系統或平臺的工具和技能，能夠從事分散式計算框架如Hadoop、Spark群集環境的部署、開發和管理工作，如效能改進、功能擴充套件、故障分析等。

　　什麼是大資料運維師？

　　瞭解Hadoop、Spark、Storm等主流大資料平臺的核心框架，熟悉Hadoop的核心元件：HDFS、MapReduce、Yarn；具備大資料叢集環境的資源配置，如網路要求、硬體配置、系統搭建。熟悉各種大資料平臺的部署方式，叢集搭建，故障診斷、日常維護、效能最佳化，同時負責平臺上的資料採集、資料清洗、資料儲存，資料維護及最佳化。熟練使用Flume、Sqoop等工具將外部資料載入進入大資料平臺，透過管理工具分配叢集資源實現多使用者協同使用叢集資源。透過靈活、易擴充套件的Hadoop平臺轉變了傳統的資料庫和資料倉庫系統架構，從Hadoop部署實施到執行全程的狀態監控，保證大資料業務應用的安全性、快速響應及擴充套件能力！

　　什麼是大資料架構師？

　　圍繞大資料系平臺系統級的研發人員， 熟練Hadoop、Spark、Storm等主流大資料平臺的核心框架。深入掌握如何編寫MapReduce的作業及作業流的管理完成對資料的計算，並能夠使用Hadoop提供的通用演算法， 熟練掌握Hadoop整個生態系統的元件如： Yarn，HBase、Hive、Pig等重要元件，能夠實現對平臺監控、輔助運維繫統的開發。

　　透過學習一系列面向開發者的Hadoop、Spark等大資料平臺開發技術，掌握設計開發大資料系統或平臺的工具和技能，能夠從事分散式計算框架如Hadoop、Spark群集環境的部署、開發和管理工作，如效能改進、功能擴充套件、故障分析等。

大資料學習的方向有很多

比如：大資料分析、大資料開發等

而我們目前經常提到的大資料學習或大資料培訓就是指大資料開發，大資料開發的人才缺口巨大，2018年的大資料開發人才需求量也在不斷增長。

那麼大資料開發都學什麼呢？ 說簡單一點就是程式設計。

課程大綱如下

我給你看看加米穀的大資料開發課程所需要學習的內容吧，你可以作為參考看一看，也可以實地考察一下：

第一階段：Java設計與程式設計思想

第二階段： Web前端開發

第三階段： JavaEE進階

第四階段： 大資料基礎

第五階段： HDFS分散式檔案系統

第六階段：MapReduce分散式計算模型

第七階段： Yarn分散式資源管理器

第八階段： Zookeeper分散式協調服務

第九階段： Hbase分散式資料庫

第十階段： Hive分散式資料倉庫

第十一階段： FlumeNG分散式資料採集系統

第十二階段： Sqoop大資料遷移系統

第十三階段： Scala大資料黃金語言

第十四階段： kafka分散式匯流排系統

第十五階段： SparkCore大資料計算基石

第十六階段： SparkSQL資料探勘利器

第十七階段： SparkStreaming流失計算平臺

第十八階段： SparkMllib機器學習平臺

第十九階段：SparkGraphx圖計算平臺

第二十階段： 大資料專案實戰

具體詳細的介紹 你可以去官網看看咯。

　　如果你想要學習大資料的話，當然需要掌握一定的技術知識。同時，也要選擇適合自己的學習路線。

　　階段一、大資料基礎——java語言基礎方面

　　(1)Java語言基礎

　　(2) HTML、CSS與JavaScript

　　(3)JavaWeb和資料庫

　　階段二、 Linux&Hadoop生態體系

　　Linux體系、Hadoop離線計算大綱、分散式資料庫Hbase、資料倉庫Hive、資料遷移工具Sqoop、Flume分散式日誌框架

　　階段三、 分散式計算框架和Spark&Strom生態體系

　　(1)分散式計算框架

　　Python程式語言、Scala程式語言、Spark大資料處理、Spark—Streaming大資料處理、Spark—Mlib機器學習、Spark—GraphX

圖計算、實戰一：基於Spark的推薦系統(某一線公司真實專案)、實戰二：新浪網(www.sina.com.cn)

　　(2)storm技術架構體系

　　Storm原理與基礎、訊息佇列kafka、Redis工具、zookeeper詳解、實戰一：日誌告警系統專案、實戰二：猜你喜歡推薦系統實戰

　　階段四、 大資料專案實戰(一線公司真實專案)

　　資料獲取、資料處理、資料分析、資料展現、資料應用

　　階段五、 大資料分析 —AI(人工智慧)

　　Data Analyze工作環境準備&資料分析基礎、資料視覺化、Python機器學習

　　1、Python機器學習2、影象識別&神經網路、自然語言處理&社交網路處理、實戰專案：戶外裝置識別分析

　　大資料人才需求火爆，目前很多的課程質量參次不齊，要慎重對待，掌握真正的大資料技術知識才是未來的保障!