Part1 資料儲存

Hadoop技術已經經歷了十幾年的發展，而資料中臺作為第二資料平面最重要的資料儲存和計算平臺，與Hadoop技術的融合越來越緊密，相輔相成，相得益彰。

HBase可以讓資料中臺儲存海量資料；Spark 使得資料湖可以更快的批量分析海量資料;Storm，Flink，NiFi等使資料湖能夠實時接入和處理IOT資料。

Hadoop本身更多的聚焦於資料的處理與應用，但是對於底層的資料儲存工作則並未過多的關注。資料中臺需要從資料儲存、資料治理等方面繼續發展。

許多企業通常忽略資料積累的價值，資料需要從企業的各個方面持續的收集、儲存，才有可能基於這些資料探勘出價值資訊，指導業務決策，驅動公司發展。

資料中臺解決方案實現資料集中儲存與共享是基於Hadoop+Spark大資料解決方案和海量物件儲存架構，實現萬億級資料可靠儲存與高效分析。

使用一套資料儲存資源池，可有效解決企業中的資料煙囪問題，提供統一的名稱空間，多協議互通訪問，實現資料資源的高效共享，減少資料移動。

資料集中儲存與共享實際上是將儲存資源池化，將計算和資料進行分離。當前仍然有不少人不能接受大資料的計算和資料分離架構，認為一旦採用分離架構，必然會導致效能的降低。

但實際上，分離後可極大降低儲存成本，有效提高計算資源利用率，增強計算和儲存叢集的靈活性。

1、日誌採集：是通過整合全員行為、流程、組織績效、流程審批效能等資料埋點規範，建立一套高效能、高可靠性的資料傳輸體系，完成資料從生產業務端到資料平臺的傳輸。資料傳輸體系既支援實時流式計算，也支援各種時間視窗的批量計算。

2、資料同步：主要是指資料從業務系統同步進入資料倉庫和資料倉庫同步進入資料服務或資料應用兩個方面。致遠分析雲支援不同業務系統的各類資料來源按批量或實時同步到資料倉庫中。

資料不僅要存下來，更要治理好，否則資料中臺將變成資料沼澤，浪費大量的IT資源。

平臺化的資料中臺架構能否驅動企業業務發展，資料治理至關重要。

企業中收集的資料或從其他行業中採集資料種類多樣，格式不一，多數以原始格式儲存，企業需要不斷對這些原始資料進行整合加工，根據各業務組織、場景、需求形成容易分析的乾淨資料，儘可能多的讓更多的人訪問分析資料。

資料治理是個一系列複雜的工作，這裡重點介紹下元資料的管理。

Part 3 資料應用

第一層是績效層，即重點關注的KPI指標。

隨著企業的發展，每個階段要解決的問題不同，每個階段每個管理者所關注的指標也不同，這些指標需要我們時時關注，才能保證整個企業的良好執行。通過績效層指標最容易發現企業存在的問題。

第二層是運營分析層，這層指標是企業的資料支撐。

對這層的指標我們要進行透視分析，深入分析，只有提前發現運營層指標的異常，才能提前預測到KPI指標的異常。通過經營分析層指標，我們可以找到問題產生的根源，才能對症下藥，調整企業的管理。對企業進行調整後，又會反饋到運營指標上來，我們可以持續監控調整是否起到了預期的效果。

第三層是業務優化層。

我們要創新，要探索新的模式，就要有資料支撐。我們也可以嘗試一些模擬分析。

數鑰資料中臺中具有開箱即用的ERP分析模型,也可以藉助業務模型設計器定義出更多的領域、行業模型。

系統架構：

基於中國企業大多數中層經理以上人員的計算機實際應用水平，在方案應用設計上，應充分考慮使用者的實際情況，可根據這些人員平時看報表的順序，將各類相關聯的報表串起來，形成有序化的分析思路，並加以連續展現，輔之以動態多維查詢分析功能。

最終的展現效果為一種固定報表格式和固定路徑的初級資料鑽探方式和動態報表即席查詢與多維分析的高階資料鑽探方式的相結合應用。

中臺首先是一種戰略選擇，一種組織形式，其次才是一些有形的產品支撐和實施的方法論。

文 | 古明，資料中臺專欄寫作者

由於企事業部門之間的系統分散開發或者些單位系統重建或引進系統開發專案，導致很多單位內部之間的資訊不能共享，產生資料與資訊孤島；或者沒有統一的資料規範和標準，造成資料整合的不便。資料還僅僅停留在散亂的資源階段，離資料“變現”，形成資料資產的理想階段，還相距甚遠。

資料資源規劃是資料治理，資料建模，資料資產管理，資料指標體系規範等工作的前置環節和必要條件，因此資料資源規劃的作用至關重要，包括資料資源梳理、資料資源規劃實施、資料資源視覺化、資料資源分析報告四部分內容。

資料資源規劃實施：企業在資料資源規劃與獲取的過程中，除了需要企業內部提供有效的組織保障，包括資料管理人員、資料分析人員和業務使用人員之間的緊密協作，而且還需要全面的對整個企業或政府部門組織需求分析調研，這樣才可有效幫助企業理清資料資源家底，明確資料資源獲取與使用的方式方法。

資料資源視覺化：在資料中臺理念下，我們所指的資料資源規劃和獲取一定是企業全域性性的考量和行為。“牽一髮而動全身”這必然會牽扯到各部門和各層級組織架構的利益。

資料資源分析報告：企業以前對自身資料資源的認識是模糊的，企業需要一份完整詳備的資料資源分析報告，指導後續資料治理和資料資產管理平臺的建設，最終服務於企業資料應用場景。為了滿足客戶的這一需求痛點，袋鼠雲便將資料資源分析報告作為“資料資源規劃與獲取服務”的交付產出物之一。

—近300位付費研習社社友遍佈上海、北京、深圳蘇州、杭州、武漢、蕪湖等工業重鎮，初步構建起覆蓋工業網際網路平臺、工業軟體、底層資料採集、工業資料分析、系統整合商、大學及產業資金在內的全國價值網路。