MapReduce工作機制

MapReduce的主體是兩個函式Map()和Reduce()，Map負責清洗資料，Reduce負責資料分析並輸出最終結果，而且這兩個功能之間並非一對一的關係，可以根據具體業務選擇匹配關係。

Map函式

輸入：鍵值關係的資料佇列，鍵是每段內容開頭的偏移量。

處理：從輸入中抽取出自定義的關鍵欄位。這個處理過程可以很簡單，也可以很複雜。

Reduce函式

輸入：Map的輸出結果經過MapReduce框架處理之後分發給Reduce函式，因為通常一個Reduce函式需要拿到完整的資料集之後才能開始分析。

處理：這一步的分析處理將是最為艱難和富有價值的環節。根據不同業務指標定義處理函式。

輸出：輸出自定義的格式檔案，並且儲存在HDFS上。

Combiner函式

輸入：Map的輸出結果未經過MapReduce框架處理之後直接傳送給Combiner函式。

處理：Combiner函式著手做合併歸類和排序等處理，經過處理之後，資料集大大縮小。

輸出：這時的輸出結果才傳送給MapReduce架構處理中心。

解決問題：減少頻寬傳輸壓力!

大資料的用途

淘寶店

假如我們開了一個淘寶的的話，我們就可以從淘寶裡面的資料魔方這個運用裡面獲取大量的資料，這些資料我們需要好好分析，利用好了，我們就可以創造價值。

百度推廣

我們利用百度推廣來進行廣告投放，這也是獲取大資料的一種方式，利用百度推廣來獲取我們需要的各種大資料，不過，這需要我們先進行前期的投入。

智匯推

智匯推是騰訊旗下的一款商業的廣告產品，我們也能夠透過我們自己的廣告模式來獲取我們需要的最大化的資料，和其他的推廣方式一樣，這裡也有每天的資料分析，我們同樣可以獲得大資料。

微博

微博也是一種獲得大資料的推廣方式之一，我們可以透過微博來進行企業的活動推廣，進而從每日、每月的資料中獲得我們需要的資訊，讓我們的推廣模式進行改變，為企業節約成本，為企業帶來收益。

大資料學習階段

第一階段：大資料前沿知識及hadoop入門，大資料前言知識的介紹，課程的介紹，Linux和unbuntu系統基礎，hadoop的單機和偽分佈模式的安裝配置。

第二階段：hadoop部署進階。Hadoop叢集模式搭建，hadoop分散式檔案系統HDFS深入剖析。使用HDFS提供的api進行HDFS檔案操作。Mapreduce概念及思想。

第三階段：大資料匯入與儲存。mysql資料庫基礎知識，hive的基本語法。hive的架構及設計原理。hive部署安裝與案例。sqoop安裝及使用。sqoop元件匯入到hive。

第四階段：Hbase理論與實戰。Hbase簡介。安裝與配置。hbase的資料儲存。專案實戰。

第五階段：Spaer配置及使用場景。scala基本語法。spark介紹及發展歷史，spark stant a lone模式部署。sparkRDD詳解。

第六階段：spark大資料分析原理。spark核心，基本定義，spark任務排程。sparkstreaming實時流計算。sparkmllib機器學習。sparksql查詢。

第七階段：hadoop+spark大資料分析。實戰案例深入解析。hadoop+spark的大資料分析之分類。logistic迴歸與主題推薦。

Spark原始碼完整解析和系統定製

1、Spark原始碼完整解析和系統定製系列課程1：Spark本質論RDD等

1)徹底精通RDD原始碼解讀(一);

2)徹底精通RDD原始碼解讀(二);

3)徹底精通RDD原始碼解讀(三);

4)徹底精通RDD原始碼解讀(四);

5)徹底精通RDD原始碼解讀(五);

6)徹底精通Shuffle原始碼解析和最佳化(一);

7)徹底精通Shuffle原始碼解析和最佳化(二);

8)徹底精通Shuffle原始碼解析和最佳化(三);

9)徹底精通Shuffle原始碼解析和最佳化(四);

10)徹底精通Spark作業提交和執行過程原始碼剖析(一);

11)徹底精通Spark作業提交和執行過程原始碼剖析(二);

12)徹底精通Spark作業提交和執行過程原始碼剖析(三);

13)徹底精通Spark作業提交和執行過程原始碼剖析(四);

14)徹底精通Spark作業提交和執行過程原始碼剖析(五);

15)徹底精通Akka在Spark上的原始碼解析(一);

16)徹底精通Akka在Spark上的原始碼解析(二);

17)徹底精通Akka在Spark上的原始碼解析(三);

18)徹底精通Akka在Spark上的原始碼解析(四);

19)徹底精通Akka在Spark上的原始碼解析(五);

2、Spark原始碼完整解析和系統定製系列課程2：Spark本質論Scheduler等

1)徹底精通Spark的任務排程模組原始碼剖析(一);

2)徹底精通Spark的任務排程模組原始碼剖析(二);

3)徹底精通Spark的任務排程模組原始碼剖析(三);

4)徹底精通Spark的任務排程模組原始碼剖析(四);

5)徹底精通Spark的任務排程模組原始碼剖析(五);

6)徹底精通Spark的任務排程模組原始碼剖析(六);

7)徹底精通Spark的任務排程模組原始碼剖析(七);

8)徹底精通Spark的任務排程模組原始碼剖析(八);

9)徹底精通Spark的任務排程模組原始碼剖析(九);

10)徹底精通Task執行過程原始碼剖析(一);

11)徹底精通Task執行過程原始碼剖析(二);

12)徹底精通Task執行過程原始碼剖析(三);

13)徹底精通Storage模組原始碼解析(一);

14)徹底精通Storage模組原始碼解析(二);

15)徹底精通Storage模組原始碼解析(三);

16)徹底精通Storage模組原始碼解析(四);

17)徹底精通Storage模組原始碼解析(五)

18)徹底精通Spark中的容錯處理原始碼剖析(一);

19)徹底精通Spark中的容錯處理原始碼剖析(二);

20)徹底精通Spark中的容錯處理原始碼剖析(三);

3、Spark原始碼完整解析和系統定製系列課程3：Spark本質論：SQL等

1)徹底精通Spark SQL的模組原始碼剖析(一);

2)徹底精通Spark SQL的模組原始碼剖析(二);

3)徹底精通Spark SQL的模組原始碼剖析(三);

4)徹底精通Spark SQL的模組原始碼剖析(四);

5)徹底精通Spark SQL的模組原始碼剖析(五);

6)徹底精通Spark SQL的模組原始碼剖析(六);

7)徹底精通Spark SQL的模組原始碼剖析(七);

8)徹底精通Spark SQL的模組原始碼剖析(八);

9)徹底精通Spark SQL的模組原始碼剖析(九);

10)深入Spark Catalyst原始碼剖析(一);

11)深入Spark Catalyst原始碼剖析(二);

12)深入Spark Catalyst原始碼剖析(三);

13)徹底深入Spark Streaming 原始碼解析(一);

14)徹底深入Spark Streaming 原始碼解析(二);

15)徹底深入Spark Streaming 原始碼解析(三);

16)徹底深入Spark Streaming 原始碼解析(四);

17)徹底深入Spark Streaming 原始碼解析(五);

4、Spark原始碼完整解析和系統定製系列課程4：Spark本質論：MLLib等

1)徹底精通Spark MLlib原始碼解析(一);

2)徹底精通Spark MLlib原始碼解析(二);

3)徹底精通Spark MLlib原始碼解析(三);

4)徹底精通Spark MLlib原始碼解析(四);

5)徹底精通Spark MLlib原始碼解析(五);

6)徹底精通Spark MLlib原始碼解析(六);

7)徹底精通Spark MLlib原始碼解析(七);

8)徹底精通Spark MLlib原始碼解析(八);

9)徹底精通Spark MLlib原始碼解析(九);

10)徹底精通Spark圖計算原始碼解析(一);

11)徹底精通Spark圖計算原始碼解析(二);

12)徹底精通Spark圖計算原始碼解析(三);

13)徹底精通Spark圖計算原始碼解析(四);

14)徹底精通Spark圖計算原始碼解析(五);

15)徹底精通Spark圖計算原始碼解析(六);

16)徹底精通Spark圖計算原始碼解析(七);

17)徹底精通Spark圖計算原始碼解析(八);

18)徹底精通Spark圖計算原始碼解析(九);

19)徹底精通Spark圖計算原始碼解析(十);

5、Spark原始碼完整解析和系統定製系列課程5：Spark不同場景解決方案

1)離線;

2)近線;

3)線上;

6、Spark原始碼完整解析和系統定製系列課程6：Spark 框架二次開發

1)打造自定義的Spark框架;

2)自定義框架的核心;

3)構造自己的大資料中心;

1、學科知識：從資料分析涉及到的專業知識點上看，主要是這些：

（1）統計學：引數檢驗、非參檢驗、迴歸分析等

（2）數學：線性代數、微積分等

（3）社會學：主要是一些社會學量化統計的知識，如問卷調查與統計分析；還有就是一些社會學的知識，這些對於從事營銷類的資料分析人員比較有幫助

（4）經濟金融：如果是從事這個行業的資料分析人員，經濟金融知識是必須的，這裡就不多說了

（5）計算機：從事資料分析工作的人必須瞭解你使用的資料是怎麼處理出來的，要了解資料庫的結構和基本原理，同時如果條件充足的話，你還能有足夠的能力從資料庫裡提取你需要的資料（比如使用SQL進行查詢），這種提取資料分析原材料的能力是每個資料從業者必備的。此外，如果要想走的更遠，還要能掌握一些程式設計能力，從而借住一些專業的資料分析工具，幫助你完成工作。

……好好學習，雖然累，但是要堅持！

2、軟體相關：從事資料分析方面的工作必備的工具是什麼

（1）資料分析報告類：Microsoft Office軟體等，如果連excel表格基本的處理操作都不會，連PPT報告都不會做，那我只好說離資料分析的崗位還差的很遠。現在的資料呈現不再單單只是表格的形式，而是更多需要以視覺化圖表去展示你的資料結果，因此資料視覺化軟體就不能少，BDP個人版、ECharts等這些必備的，就看你自己怎麼選了。

（2）專業資料分析軟體：Office並不是全部，要從在資料分析方面做的比較好，你必須會用（至少要了解）一些比較常用的專業資料分析軟體工具，比如SPSS、SAS、Matlab等等，這些軟體可以很好地幫助我們完成專業性的演算法或模型分析，還有高階的python、R等。

（3）資料庫：hive、hadoop、impala等資料庫相關的知識可以學習；

（3）輔助工具：比如思維導圖軟體（如MindManager、MindNode Pro等）也可以很好地幫助我們整理分析思路。

最重要的是：理論知識+軟體工具+資料思維=資料分析基礎，最後要把這些資料分析基礎運用到實際的工作業務中，好好理解業務邏輯，真正用資料分析驅動網站運營、業務管理，真正發揮資料的價值。

大資料（big data），指無法在一定時間範圍內用常規軟體工具進行捕捉、管理和處理的資料集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程最佳化能力的海量、高增長率和多樣化的資訊資產。目前，大資料算是非常火的專業，下面我將和大家談談大資料專業學什麼？

大資料專業分為兩種，其一是大資料開發，其二是資料分析與挖掘。

1、大資料開發：Ja-va、大資料基礎、Hadoop體系、Scala、kafka、Spark等內容；

2、資料分析與挖掘：Python、關係型資料庫MySQL、文件資料庫MongoDB、記憶體資料庫Redis、資料處理、資料分析等。