一、資料分析流程：

1.明確分析目的與思路：

一切以解決業務問題為中心，依據分析目標明確思路，開啟分析視角，使資料分析框架體系化。

2.資料收集與預處理：

資料來源有Excel/CSV/SQL資料庫/NoSQL資料庫/Hive資料倉庫/外部資料，從資料來源收集資料後需要做清洗工作，包括缺失值、錯誤值、重複值、異常值等都要處理好，當然還有轉換、拆分、合併等等工作也可能要做，這樣才能滿足後續資料分析的要求。

3.資料分析與挖掘：

使用各種資料分析方法與分析工具（如Excel/SQL/SPSS/SAS/Tableau/Power BI/Python）進行分析挖掘。

4.資料視覺化並生成報告：

使用專業化圖表，也可以結合表格，最後以報告方式輸出資料分析成果。

二、崗位內容：

資料分析(Data Analysis)，一般資料分析常常有以下5個步驟:

01

定義需求 Define requirement

資料分析的目的往往是支援決策，首先需要的是明確目標: 我需要解決什麼問題?

舉一個簡單的例子:

我們發現今年三月份某產品的銷量減少了50%，而我們想去分析這背後的原因，從而可以去解決銷量下跌的問題。

再舉一個例子:

如果我們想要知道如何在不犧牲產品質量的情況下降低生產成本，過往的產品資料，供應商報價,以及競爭對手和市場中收集到的資料也許可以幫助我們分析解決這一問題。

02

收集資料 Data collection

03

資料清理 Data Cleaning

為了產生準確的結果，必須識別並清除重複的資料，異常的資料以及其他可能使分析產生偏差的不一致之處。60％的資料科學家表示，他們的大部分時間都花在清理資料上。

04

資料分析 Data Analysis

資料分析可以透過許多不同的方法達成:

一種方法是透過資料探勘 (Data Mining)，這被定義為“資料庫內的知識發現”。諸如聚類分析，異常檢測，關聯規則挖掘之類的方法可以揭示資料之中隱含的規律。

另一種方法是使用商業智慧和資料視覺化軟體，例如Excel，Power BI等，這些工具可生成易於理解的報告和圖表。在接下來的文章中，我們也會重點去學習如何使用Excel，Power BI等工具。

05

解釋結果 Results Interpret

最後一步是解釋資料分析的結果，這部分很重要，因為這是企業從前四個步驟中獲得實際價值的方式。

做資料分析首先得要有一個完整的思路。《誰說菜鳥不會資料分析》書中舉了一個很生動的例子。做資料分析就好比做一件衣服，首先的先有設計圖，然後在根據設計圖分步驟的去製作成成品。今天我們說的資料分析的完整思路就相當於衣服的設計圖，有了完整的思路，才不至於漫無目的的，沒有一個清晰的目標去做分析。

那麼我們如何才能建立一個完整的資料分析的思路呢呢？《誰說菜鳥不會資料分析》給大家提供了幾種資料分析方法論來助力大家形成完整的資料分析思路。主要有PEST分析法，5W2H分析法，邏輯樹分析法，4P營銷理論（現在用的比較多是4C），使用者行為理論。下面呢，我就以5W2h分析方法，給大家詳細的說明一下怎麼建立完整的資料分析思路。

首先，先介紹一下什麼是5W2H。

（1）WHAT——是什麼？目的是什麼？做什麼工作？

（2）WHY——為什麼要做？可不可以不做？有沒有替代方案？

（3）WHO——誰？由誰來做？

（4）WHEN——何時？什麼時間做？什麼時機最適宜？

（5）WHERE——何處？在哪裡做？

（6）HOW ——怎麼做？如何提高效率？如何實施？方法是什麼？

（7）HOW MUCH——多少？做到什麼程度？數量如何？質量水平如何？費用產出如何？

例如要不要增加一個推廣渠道，我們來形成一個完整的分析思路。

WHAT：一個引流的渠道，對這個渠道要有一定認識。

WHY ：目前其他的渠道的流量不能滿足，做了渠道之後可能會增加多少流量。

WHO：是直接讓其他渠道的人來負責，還是重新招一個操作過這個渠道的人。

WHEN：如果要做這個渠道，有沒有時間來做，什麼時候開始實施。

WHERE：如果是大公司，要考慮是總公司來做，還是分公司來做。

HOW：怎麼做，是否有詳細的解決方案，是否先參考同行競爭對手。

HOW MUCH：新增加的這個渠道，需要投入多少成本，人力成本，廣告成本等等。

對每個環節進行分析，評估，然後綜合每個環節，看看這個渠道是否值得開發。

資料分析過程主要有下面6個步驟：

1、明確目的：確定分析需要解決的業務問題，最好能將業務問題轉化成數學問題。

2、資料收集：基於對業務問題的理解，透過各種方法和渠道收集能支撐業務分析的資料來源，不僅限於資料庫，也可以考慮一些各種部門的公開資料，比如統計局、大資料局等部門。

3、資料處理：透過技術手段，對收集的資料進行提取、清洗、轉化和計算，異常值處理、衍生欄位、資料轉換等具體步驟。

4、資料分析：這裡主要有兩個技術手段，統計分析和資料探勘，找到相關的資料關係和規則，然後利用業務知識來解讀分析結果。在這裡有一點需要說明，分析技術是為業務服務的，如果你的結果不能有助於業務問題的解決，統計分析和資料探勘技術再好再高明，也沒有意義，這點是我們做資料分析的人要謹記的。

5、資料展示：分析資料的視覺化，在整個資料分析過程中也比較重要，這個步驟是將你前面做的工作量儘可能的展示給大家，具體的視覺化技術，可以百度看下，是一個非常專業的學科。

6、報告撰寫：展示你整個分析過程中的價值部分，在這裡需要結構清晰地展示你整個分析過程，包括你的分析結果和依據，以及你結合業務知識提出的解決方案，最終解決你第一步的業務問題。然後基於報告將分析過程進行落地，為企業產生價值。

如果從不同層面來劃分，資料分析還可以得到下面這樣的流程。

特別地，在分析層，我們可以分成兩部分，一個是建模分析，另一個是描述性分析。

很多時候有的人會把資料收集和分析給弄混淆，覺得兩者其實是一個步驟。但是實際上兩者之間還是有著很大的不同，他們其實是一個過程當中的兩個步驟，在技能操作上還是有一定的區別，本篇文章就為大家解決以下幾個問題：

從資料的收集到分析

給大家舉個簡單明白的例子，資料收集和分析就和購買食材和烤蛋糕之間流程相同。為什麼這麼說呢？

你不能沒有配料就做飯，而且原料通常是不可以食用的。用生雞蛋，麵粉，小蘇打，糖，水果來做蛋糕，你不會直接把他們全部用進去，而是採用他們其中的一部分來做蛋糕。同理你沒有收集資料就沒有辦法進行分析，而收集到的資料也不是全部都是需要的，沒經過整理的資料是無法直接使用的。整個過程其實是複雜的而有具體的：

1、查詢食譜，獲取食材（計劃目標，收集資料）

如果你沒有食譜/計劃，你做出來的蛋糕就有可能無法食用。如果你不知道你所收集資料的目的，那麼收集來的資料可能也是無效的。沒有明確的目標，會導致你在收集資料的時候會遺漏掉某一部分，就像沒有買完菜回家以後，才發現沒有看菜譜，導致很多重要的東西不見了。

2、檢查資料，去除無價值部分，再進行分析

有的資料就像有的食物一樣具有保質期，你在選擇收集資料的時候一定要充分考慮到資料的用途，否則取用了不合時宜的資料，會讓其本身的參考價值降低。再收集完資料之後，資料分析通常從概覽開始，對資料進行分類並建立關於我們是否有足夠和正確資料的假設，其次是一些質量控制（資料丟失/無法讀取）的健全性檢查。

3、烘烤蛋糕並出售，希望客戶喜歡它。（資料分析結果展現）

就像烘培蛋糕一樣選擇我們需要的高質量的原材料，去除其雜質部分，經過一系列工藝，裝飾，最後形成一個高質量的蛋糕。我們在資料收集後也要進行提取，去除雜質部分，經過一系列的分析整合最後形成我們的資料分析結果進行展示。

1、觀測資料

這是使用觀察技術獲得的資料。在這種情況下，您將觀察並記錄必要的資訊。例如，你要收集訪問餐廳人數和訂購食物型別的資料，得進行觀察記錄。

2.實驗

當你需要科學和工程領域的資料時，這種型別的資料收集方法主要有用。

3.調查

當你使用樣本收集有關大多數人口的資訊時，調查很有用。例如，你要預測未來的人均收入結果，然後可以調查人口樣本。

4、API

例如你想分析全球各個國家的就業率。然後輔助資料收集方法很適合你，因為你可以在各國政府網站上輕鬆找到此類資料。當然最佳的資料收集方法還是要取決於資料收集計劃的目的，因為不同的目標需要不同種類的資料，選對適合自己的方式才能提高資料收集工作的效率。

資料分析最具價值的技能是什麼？具有數學和邏輯背景：尤其是對集合論，圖論，機率和統計的理解。資料管理專業知識：你所分析的資料集越大，你在大資料技術方面的經驗就應該掌握的越多。我認為這對資料分析師來說是一項至關重要的技能，因為它可以使我們在構建模型和執行實驗時更加敏捷。資料處理技巧：初步收集的資料一定很雜亂，需要經常清理，需要過濾，進行標準化，分組和聚合處理。當然這也取決於所操縱資料集的性質和大小，所以為了保險起見，應該學習掌握諸如R和/或Python進行編碼等寶貴技能。Excel仍然也是資料分析最重要的工具之一。主要業務知識：瞭解底層業務很重要，這樣才能更好的結合公司業務進行資料提煉和分析進行語言和視覺交流的能力：你需要與分析結果使用者進行溝通，你需要講資料分析結果以更簡單，更容易理解的方式傳達給他們。偉大的資料分析師都能夠講引人入勝的資料故事。學會利用足夠的圖表資訊來顯示重點部分：可以使用圖表，報表，指標，KPI或大型儀表板等進行輔助。不僅要在一種工具上擁有高超的技能，一般這種資料視覺化圖表可以使用PowerBI，Tableau，ClickView，Wolfram Mathematica，R，EasyV等工具。敏捷性：資料分析是一項團隊運動，通常需要進行多次分析討論，才能瞭解基本需求/問題。

資料分析需要學習excel、sql、power bi、spss、r、python、tableau等，在cda資料科學研究院學習的軟體應用

（1）SQL資料庫的基本操作，會基本的資料管理

（2）會用Excel/SQL做基本的資料分析和展示

（3）會用指令碼語言進行資料分析，Python or R

（4）有獲取外部資料的能力，如爬蟲

（5）會基本的資料視覺化技能，能撰寫資料報告

（6）熟悉常用的資料探勘演算法：迴歸分析、決策樹、隨機森林、支援向量機等

學資料科學，上cda.cn

資料分析主要包含五個步驟：

明確目的：明確資料分析的目的，確保資料分析有效進行並為資料的採集、處理提供方向；資料收集：在DAP產品中會透過應用系統定義模組實現對多個應用系統資料的採集工作；清洗加工：在DAP產品中會透過ODS和數倉實現對業務系統資料的層層加工過濾，得到最終需要的業務資料；資料展示：在配置好資料模型之後，可以透過繫結echarts元件的方式實現業務資料的視覺化展現；報告撰寫：主要用於描述對業務資料分析的過程和分析之後得到的結果。

其實，知道資料分析的步驟並不是目的，但要想真正的瞭解資料分析，就需要深刻的理解分析本質，即面臨各種問題時，對於企業而言，讓業務更加清晰，讓決策更加高效。對於個人而言，認清現狀，讓自己的決定更加有利。

更直接明瞭的思維過程是：

發生了什麼？——追溯過去，瞭解真相。

為什麼發生？——洞察事務發生的本質，尋找根源。

未來可能發生什麼？——掌握事物發展的規律，預測未來。

我們該怎麼做？——基於已經知道的“發生了什麼”、“為什麼會發生”以及“未來可能發生什麼”的分析，幫助和確定可以採取的措施。

簡單的說，能透過資料找到問題，準確的定位問題，準確的找到問題產生的原因，為下一步的改進，找到機會點，也就是所謂的：資料驅動。

可以參考如圖：