搭建大資料分析平臺，看清重點，是搭建分析平臺，其次分析的事資料。如果想完成這件事情，主要有4個方面:

①確認資料分析方向。比如是分析社交資料，還是電商資料，亦或者是影片資料，或者搜尋資料。

④擁有需要資料分析結果的客戶。沒有客戶，你是不可能存在的，因為你沒有活下去的可能性，你沒有錢，一切就白搭了。

隨著各個企業的不斷髮展，企業的資料量不斷的增加。企業的競爭壓力也在不斷的加大，利用資料分析平臺來增加企業的競爭力，已經成為各個企業的資訊化建設的核心環節。資料分析，我認為其含義就是從資料中提取資訊創造價值。因為資料本身的價值是無法直接可見的，但是透過各種資料計算和分析，可以將人們無法注意到的資訊從資料中提取出來，創造價值。那麼具體如何搭建資料分析平臺呢？我認為應從一下幾個方面：

1.分析價值：明確資料分析的價值，透過大資料的分析，能夠快速地發現消費者的需求變化和市場發展趨勢，從而幫助企業及時做出正確的決策，從而使企業在市場上擁有更強的競爭力和不斷創新的能力。

3.資料處理：從資料來源中採集各種符合企業需求的資料，經過驗證、清洗、並轉化為所需格式後，儲存到一個合適的持久化儲存層中。

4.資料展現：將各個不同分析演算法處理過的結果進行視覺化展示。將資料從預先計算彙總的結果資料中讀取出來，並用一種友好介面或者表格的形式展示出來，這樣便於企業內部非專業人員對資料分析結果的理解。

大資料分析主要由兩種應用場景組成，一種是對實時性要求較高的業務，比如商家端交易資料的實時展示。另一種則是離線業務場景，其特點是對於資料產出沒有很高的實時性要求，一般資料產出時間為T -1日（T日產出T-1日的資料）。

這兩種資料分析平臺在底層的實現有著很大的差異，下面我來介紹如何搭建這兩種大資料分析平臺：

實時資料分析的最原始資料來自於線上，線上使用者使用公司的軟體或者網站時，其不同的操作行為都會產生相應的使用者資料。這些資料一般會儲存在關係型資料庫中，比如Mysql。透過監聽其操作日誌(二進位制日誌)的變更記錄，可以實時將其輸入到Kafka訊息中介軟體暫緩下來，便於後面資料的實時分析。

Kafka是一種訊息中介軟體，訊息中介軟體可以快取線上實時產生的業務資料，當有其他任務消費Kafka資料時，可以實時的從Kafka中進行資料拉取。實時大資料分析平臺，第一步就是需要將線上業務資料實時儲存下來，將資料快取到Kafka後，就可以使用Flink進行資料的加工處理了。

Apache Flink是一種實時計算引擎，一般在Kafka訊息中介軟體的線上資料到達後，由於K資料還是是偏於原始業務資料，我們還需要對其進行業務邏輯加工。使用Flink實時消費Kafka中的資料，實時處理，最終得到業務想要分析的明細資料，在進行資料分析。目前在國內網際網路公司中，阿里巴巴對於Flink的使用應該是最廣的。

Flink 處理完的明細資料，可以再次輸出到Kafka訊息中介軟體中，供其他大資料元件分析使用。目前應用較廣的大資料OLAP（實時線上分析服務）元件是Druid，Druid可以用於實時分析，也可以進行離線分析，它需要透過預聚合指標資料。它使用的實時資料需要從Kafka匯入到Druid後，才能進行分析使用。

離線資料分析平臺，第一步需要將業務資料從資料庫中匯入到Hadoop HDFS分散式檔案系統進行儲存，可以建立Flume任務將資料匯入到HDFS。第二步，你可以使用Hadoop MapReduce分散式計算框架或者Spark計算框架來對資料進行處理，得到我們需要分析的業務指標。

Hive或者Spark SQL更多的是給資料開發同學使用，資料開發同學使用SQL來開發分散式計算任務，由於SQL語言的廣泛使用性，大部分同學都能很快上手使用，對於資料開發同學，降低其開發成本。

總體來說，實時大資料分析平臺可以使用 Kafka+Flink+Druid 架構來進行搭建，離線大資料平臺可以採用 Flume+Hadoop + Hive 或者 Flume+Hadoop + Spark 架構來進行搭建，當然，還有很多其他大資料元件能夠使用，選擇適合自己公司業務場景大資料元件，才是最好的。

很多企業都開始資料治理，並探索不同工具和方法來實現。然而，企業往往又會被不同的解決方案所困惑。

那麼，企業應該如何搭建大資料分析平臺，選擇大資料解決方案呢？主要考慮以下6個重要方面：

01分析藍圖

無論是從哪一類具體的分析需求開始，對於分析的構建，都需要設想整個藍圖。

在構建企業分析時，有三個維度是很重要的：業務鏈、產業鏈、面向物件，不同的人員在不同的業態下除了配置報表外，在資料分析階段還可以設定主題分析的內容，自上而下的目標監控，自下而上的原因反饋。

為了更好地提升企業級能力，在商業分析到一定階段後，要做全價值鏈分析，同時，針對多業態的產業鏈，要做統一的價值體系。

02資料採集

說到資料採集，就要提到資料中臺。前幾年企業主要在做一些基礎資訊化建設，包括ERP/零售/協同等，這些成為企業的內部資料。同時，企業也會涉及一些外部資料，如Saas資料、政務平臺數據等。

分析雲是把企業內部資料和外部資料都放到中臺裡面，內部資料是透過資料抽取的方式，對接ERP直接抽取；外部資料是採用雲服務，爬蟲的方式爬到雲端再轉存到資料中臺。資料中臺的所有資料是在企業端的，安全可靠且穩定。

在資料中臺裡，還會對資料進行處理，因為這些資料有可能是異構系統，對主資料的管理，資料治理等；一切業務資料化，一切資料業務化。

分析雲產品架構

03語義模型

“語義層”技術透過對資料庫裡的有關資料項定義，把資料庫中的資料定義成有明確業務含義的名稱，業務人員所面對的不再是資料庫中的表、欄位和它們之間複雜的關聯、計算關係，而是熟悉的業務術語和指標名稱。

業務使用者可以基於“語義層”簡單快速地構建業務分析，實現業務人員做分析，IT人員做支援，提升分析效率及資料準確性。

分析雲語義層結構

04敏捷智慧

自助分析：人人都可自助分析，即使不懂程式碼，也可以做資料分析；

開箱即用：預置了U8/NC/K3等主流ERP的財務和供應鏈分析主題，開箱即用，擴充套件簡單；

智慧分析：支援同比、環比、佔比、排名、預警、預測、高階計算等功能。

智慧預算：透過對企業內外部環境的分析，在預測與決策基礎上，調配相應的資源，對企業未來一定時期的經營和財務等做出一系列具體計劃。

05展現方式

豐富的視覺化圖形元素，尤其是表格，如固定表、垂直表、交叉表、複合表等，要能滿足複雜的中國式報表和大表。

不僅能夠支援PC端應用，還可接入移動端，或大屏展現等。

分析雲視覺化元素

06版本升級

提供免費/線上/自動更新升級，產品能夠不斷迭代，bug修復和新功能升級等。在升級後保留二次開發的內容，且不影響原有分析設計。

數鑰分析雲，值得企業擁有！

企業要搭建大資料分析平臺，也就一個BI商業智慧的事。現在BI商業智慧發展越來越成熟，一些累積大量BI大資料分析專案經驗的廠商甚至都總結出一系列的標準化資料解決方案，預設資料分析模型，無縫對接金蝶、用友等主流ERP。使用者企業僅需做必要個性化設計，針對業務來源系統修改部分ETL指令碼，就能快速、輕鬆地搭建起大資料分析平臺。

奧威軟體的資料分析解決方案已覆蓋包括零售連鎖、製造業等在內的多個行業，具有周期短、風險低的優點，而金蝶、用友標準解決方案甚至能實現零開發。