首頁>技術>

導讀:不同行業、不同企業的行業特點不同、企業性質不同、資訊化發展程度不同、業務和管理需求不同,其資料治理的側重點也是不一樣的。企業在設計資料治理平臺框架時,應從企業的實際需求和發展需要出發,設計適合企業的資料治理架構、解決企業痛點,這個過程業界最佳實踐只能參照,不能照搬,最忌諱的是貪大求全。

本文為企業資料治理的成功要素第二篇:資料治理架構設計。本文對從資料架構概述、資料架構的設計進行簡要說明,並對業界資料治理主要的資料架構模型進行了盤點,描述了每個架構的主要功能和適用場景。企業資料治理成功要素篇不斷更新中……,敬請關注。

一、資料架構概述

關於資料架構其實還沒有一個官方的、權威的定義,對於資料架構的理解和認知大多是源自於企業架構(EA),在EA架構中,資料架構是其一個重要的組成部分。企業架構一般包含:業務架構、資料架構、應用架構和技術架構。資料架構將企業業務實體抽象為資訊物件,將企業的業務運作模式抽象為資訊物件的屬性和方法,建立面向物件的資料模型,資料架構實現從業務模式向資料模型的轉變,業務需求向資訊功能的對映,企業基礎資料向企業資訊的抽象。簡單點說:資料架構是對業務架構中的各項業務的關聯關係的邏輯描述,並透過資料架構描述各個應用模組的資料構成、相互關係和儲存方式,位於業務架構和應用架構之間,起到承上啟下的作用。

而我們所說的資料治理涉及的資料架構,從功能上講,包括:資訊資源目錄管理、主資料管理、元資料管理、資料質量管理、資料標準管理、資料安全管理以及資料的全生命週期管理。

二、資料架構的設計方法

資料架構的設計是企業架構的一部分內容,對於企業架構的設計業界有很多成熟的模型和框架,例如:TOGAF、Zachman、FEA、DoDAF,在國內用的最廣泛的是TOGAF框架。在TOGAF企業架構框架中,資料架構也是整個企業架構框架中的四個重要組成部分之一。

TOGAF框架將企業架構的規劃設計分為了一個預備階段和八個設計階段,如下圖所示。本次我們不對TOGAF框架如何使用做過多的探討,事實上,沒有那兩家企業的業務、資料、應用系統,以及企業性質、管控模式、企業文化是完全相同的,所以我們在做資料治理架構設計的時候,任何先進的體系框架、最佳實踐,都是隻能作為參考,而不能照搬。最核心的,還是要結合企業的特點以及需求設計符合企業要求的資料架構。在這一點上,我非常喜歡TOGAF框架,它的每個階段、每個步驟都是要我們圍繞企業的需求進行規劃和設計。

結合TOGAF框架,筆者認為資料治理專案中的資料架構設計,應有以下幾個步驟:

1、戰略理解。充分理解企業願景和發展戰略,對於企業戰略的理解不光侷限於願景和使命等業務戰略,還要企業的IT戰略,同時需要考量企業對資料的定位、組織架構、人才戰略等因素。

2、業務分析。理清企業業務主價值鏈,以主價值鏈為核心,充分了解各業務環節的協同關係和存在問題,找出企業業務需求的三點,即:痛點、癢點和興奮點。這三點多用在營銷領域,但多年經驗告訴我,找到這三點並進行合理的設計,也是專案成功的重要保證。

3、架構設計。資料架構以解決業務問題和需求為目標,以應用功能為抓手,向上承接業務架構,向下對接應用架構。資料架構不僅需要包含相對靜態的資料,例如:元資料、主資料、資料模型,還應包含相對動態的資料,例如:各類交易資料、ETL、應用訪問資料、整合資料、移動資料等,同時還需要有資料標準、資料質量、資料安全以及資料的全生命週期管理的考量。

4、模型設計。基於對企業戰略理解和業務的分析,設計資料模型。資料模型是現實世界的抽象,資料模型從抽象層次上描述了系統的靜態特徵、動態行為和約束條件。資料模型按分層設計的原理可分為概念模型,邏輯模型和物理模型。概念模型,面向使用者和客觀世界,用來描述現實世界的概念化結構。邏輯模型,面向資料庫系統,描述了資料物件的結構和關係。物理模型,面向物理儲存介質,描述了資料在儲存介質上的結構。

5、資料標準。結合資料模型定義每個資料的業務含義、業務規則、資料結構、質量規則、管理部門、管理人員。值得注意的是,模型設計一般來說應包含資料標準的內容,資料標準出了資料模型描述的內容外,還包括資料分類標準、資料編碼標準、資料質量標準和資料安全標準。

三、盤點當前流行的資料治理架構

以下結合筆者接觸過的和了解的一些行業和企業談一談這些行業或企業的資料治理架構的特點。

1、元資料驅動的資料治理架構

新技術的發展給傳統行業帶來了挑戰,就連我們一直豔羨的銀行業也難以倖免。傳統銀行企業的資訊化模式,也是先建設後治理,大量的煙囪式架構系統產生了大量的資料孤島,業務的交叉、功能的重複、資料的冗餘,資料質量不高、標準不統一、歸集處理手段單一、儲存分散,資料探勘能力不足,資料割裂、共享不充分等問題在大多數銀行企業還較為普遍。再加上網際網路金融的衝擊使得銀行業面臨了一個困難時期。

資料是企業的資產,對於銀行業來說更是。特別是大資料在營銷、風控和普惠金融等領域的廣泛運用,資料已經從提高運營效率和監管效能的工具進化成為銀行業最核心的資產和實現監管意圖的重要依託。以元資料為驅動,理清企業資料資產,建立資料標準體系、資料質量管理體系,對企業實施資料治理,是銀行業目前典型的資料治理架構。透過元資料管理平臺, 實現元資料的採集、變更、刪除及檢索, 並在元資料的驅動下實現資料的抽取、轉換、載入, 建立資料資源目錄,盤點企業資料資產,結合資料標準管理、360°客戶主資料管理和資料質量管理,實現統一、標準的對外資料服務,為企業的產品創新和服務創新提供支撐。透過資料治理,對最佳化銀行業務,建立和保持與客戶的良好關係,增加銷售機會都起到了很大的支撐作用。

2、主資料驅動的資料治理架構

對於製造型企業來說,“降本、增效、提質”是企業永恆的追求的目標。在企業發展的程序中,業務關聯越來越緊密,而割裂的業務系統,資料的不一致、不標準、不正確、不完整等問題對業務之間的協同、協作造成了很大的制約,進而影響了企業的“降本、增效、提質”目標。在製造型企業裡,各部門、各業務之間線上溝通時,往往因為編碼不統一,名稱不一致,造成業務溝通不暢,增加溝通成本,影響業務效率。

透過對企業的資料資源進行統一的梳理和識別,建立主資料標準,包括:分類標準、編碼標準、資料模型標準、資料質量規則標準、資料整合標準等。透過以主資料的為驅動的資料治理平臺,打通各業務系統的資料通道,形成主資料的唯一資料來源和統一資料檢視,實現主資料的一物一碼、統一管理、統一分發、統一應用。透過主資料的解決各異構系統的資料不標準、不一致問題,保障業務連貫性和資料的一致性、完整性和準確性,提升業務線條之間的協同能力,同時,高質量的主資料也為領導的管理決策提供了支撐。

3、微服務模式的資料治理架構

微服務——去中心化的資訊系統架構,服務元件化、部署自動化、靈活敏捷的特點受到了網際網路企業和一些開放性行業(2C業務)的推崇。隨著微服務架構的落地,人們發現微服務架構雖然改進了開發模式,但同時也引入了一些問題,在這所有的問題中,最重要的就是資料的問題。在微服務架構中強調徹底的元件化和服務化,每個微服務都可以獨立的部署和投產,很多的微服務有自己獨立的資料庫。這就帶來了兩個問題:1)業務系統對資料完整的查詢,資料被割裂後如何來整合?2)如何對資料進一步的分析挖掘?這些需求可能需要分析全量的資料,並且在分析時不能影響到當前業務。

上圖是某酒店基於微服務的資料治理架構,總體設計思路是採用三層架構模式,分為:資料層、服務層和應用層,將2C端業務微服務化,透過建立服務層將應用層和資料層隔離。微服務按照主資料的邏輯進行識別和劃分,將共享程度較高的應用進行微服務化,同時將主資料應用進行微服務化,例如:會員中心、積分中心、產品中心、門店中心……。對於前端的業務系統,不能直接操作這些資料,而是透過呼叫服務層的各個微服務實現後端資料的獲取。當需要對全量資料進行統計分析時,是透過資料移動的技術將相應的資料,移動並彙總到資料湖中,再按照統計分析的需要進行處理,實現分析。

4、基於混合雲的資料治理架構

根據《中國混合雲市場調查報告(2018)》混合雲已經成為企業上雲的主旋律,報告指出減少基礎設施投資,並能夠一定程度實現企業業務的定製和安全性的考量是企業選擇混合雲的重要原因。混合下的資料治理未來將是企業不得不考慮的問題。

基於混合雲的資料治理模式,將將國家標準、行業標準的資料資源,形成公共資料資源池,部署在公有云端,並透過API介面服務提供出來供企業呼叫。每一個API介面可以看做是一個DSaaS服務,為了讓公共資料資源池應用最大化,可以透過OpenAPI將資料開放,以供更多的應用開發者使用。對於企業而言,其資料治理的本質是提升資料質量,既然公有云有了高質量的標準資料,那麼這一部分資料是完全可以引用到企業內部中使用的,使得公有云標準資料資源融合到企業的資料治理中來,一方面降低了企業資料管理維護的成本,另一方面提升了企業資料的可靠性。

5、大資料架構的資料治理體系

在大資料時代,資料分散在整個企業中。它是結構化的、非結構化的、半結構化的和各種其他格式。隨著可用資料的數量、種類和速度都在以驚人的速度持續增長。此外,資料來源不在需要管理的團隊的控制之下。企業面臨著兩個緊迫的挑戰:如何發現這些資料中的可操作的洞察力,以及如何保護它。這兩個挑戰直接取決於資料治理的能力。

大資料環境下,如何實現資料的高效治理。以上是某電信公司的大資料治理架構,資料治理平臺包含了元資料管理、資料質量管理、主資料管理、資料標準管理和資料安全管理。透過資料治理平臺定義大資料平臺的資料結構、質量規則和資料標準,實現大資料平臺的資料管控和治理。同時,大資料平臺的分析結果也可以反哺資料治理平臺,形成更多的可信賴資料服務。大資料平臺與資料治理平臺各模組之間的關係如下:

四、總結

資料架構設計定義是整體IT系統資產藍圖,為企業資料資產的管理和應用奠定基礎。資料架構支撐資料的儲存、訪問、整合和分析,資料架構設計要不僅要考慮到相對靜態資料,如:元資料、資料模型、主資料、共享資料的標準化問題,還需要考慮相對動態的資料,如:交易資料、資料流轉、大資料、ETL、訪問應用和資料全生命週期的管控和治理。對於資料治理架構的設計,應緊密貼合行業特點和企業需求,設計符合企業需求和發展的資料架構,強化資料治理、資料全生命週期、資料安全等方面的管理,持續提升資料質量,保證企業的資料資產的可靠性,使資料成為引領企業戰略規劃和業務發展的核心競爭能力奠定堅實的基礎。

16
  • BSA-TRITC(10mg/ml) TRITC-BSA 牛血清白蛋白改性標記羅丹明
  • nginx反向代理配置去除字首