-
1 # 帆軟軟體
-
2 # 人月聊IT
資料治理和資料管理
簡單來說治理就是管理的管理。
管理你得遵循一定得標準規範體系,一定得流程,一定得組織角色分工,而這些內容就必須先透過資料治理定義清楚。管理只是根據資料治理規範體系去執行管理和監督得職責。
既管理執行得依據是治理規範體系。
如下圖:
資料中臺和資料湖這個要解釋清楚不太容易,因此我儘量做簡化。
資料湖一般是公有云服務商提出得一個概念,即企業得結構化,非結構化資料都可以全部採集和儲存到我這裡來。資料湖就是一個大得儲存站,這個儲存是分散式可無限擴充套件得,儲存過來得資料也不會去清洗和加工,儘量保持原樣。
在存過來後,資料湖再提供一些標準得開放介面給你使用資料,這些介面包括了查詢SQL類介面,計算引擎介面,流處理介面等。提供介面得目的也很簡單,你能夠方便得使用你儲存過來得資料。
資料湖得儲存一般是分散式物件儲存或分散式檔案儲存,即使你是結構化資料庫採集過來得資料,仍然會轉成統一的儲存方法,方便擴充套件。
資料中臺簡單來說企業共享資料能力下沉並對外開放。
資料中臺包括了底層資料技術平臺(可以是我們熟悉的大資料平臺能力),中間的資料資產層,上層的資料對外能力開放。
核心的資產層本身也分層,從最底層的貼源資料,到分域應用資料,再到上層的資料倉庫和資料標籤庫。而資料湖更多對應到資料中臺概念裡面的資料貼源層。
企業實際在建資料中臺的時候實際很少用資料湖這個概念。
兩者的對比對映如下:
資料中心對於資料中心這個詞,原來在BI系統應用裡面也經常出現。
但是現在資料中心一般特指IT基礎設施,大的公有云資料機房等,在BI系統或資料中臺裡面都很少用這個詞。即資料中心這個詞偏IT硬體基礎設施層面了。
比如下圖,一般指硬體和網路基礎設施架構了。
-
3 # 毒刺劍客
有了海量資料作為基礎,人們還需要動手進行資料整理,資料清洗,確保資料整齊,方便批次處理,同時植入對應的計算公式,把自己需要的資料模型提取出來。而這一過程就是所謂的資料管理,或者叫資料治理。
回覆列表
隨著資訊科技的不斷湧現和普及,業務發展加快了資料膨脹的速度,行業內衍生了較多的新名詞,如資料治理、資料管理、資料資源管理、資料資產管理等名詞的定義很多,概念容易混淆,本文對這些名詞術語及內涵進行系統的解析,便於讀者對資料相關的概念有全面的認識。
一、資料與資料管理1、資料
資料(Data)是指所有能輸入到計算機並被計算機程式處理的符號的介質的總稱,是用於輸入電子計算機進行處理,具有一定意義的數字、字母、符號和模擬量等的通稱,是組成資訊系統的最基本要素。
未來是智慧時代,企業的決策機制將發生巨大變化,誰最先擁抱資料,誰就擁有更多智慧,誰就擁有更強競爭力,大資料技術將會推動人類無所不知、無所不曉、無所不能,助力無所不能的是無所不包的資料,未來十年,只有擁抱資料技術才是唯一選擇。
2、資料管理
資料管理(Data Management)的概念是伴隨上世紀八十年代資料隨機儲存技術和資料庫技術的使用,計算機系統中的資料可以方便地儲存和訪問而提出的。
2015年,國際資料管理協會(DAMA,Data Management Association International)在DBMOK2.0知識領域將其擴充套件為11個管理職能,分別是資料架構、資料模型與設計、資料儲存與操作、資料安全(Data Security)、資料整合與互操作性、檔案和內容、參考資料和主資料(Master Data)、資料倉庫(Data Warehouse)和商務智慧(BI,Business Intelligence)、元資料(Metadata)、資料質量(Data quality)等。
資料管理(Data Management)是指透過規劃、控制與提供資料和資訊資產職能,包括開發、執行和監督有關資料的計劃、政策、方案、專案、流程、方法和程式,以獲取、控制、保護、交付和提高資料和資訊資產價值。
表1.各大機構對資料管理的定義一覽表機構名稱二、資料治理1、資料治理的定義
資料治理(Data Governance)是一個正在不斷髮展的新興學科,與眾多新興學科一樣,目前資料治理存在多種定義,各大機構對資料治理的定義,如下表所示:
表2. 各大機構對資料治理的定義一覽表2、狹義的資料治理
狹義的資料治理的驅動力最早源自兩個方面:
(1)內部風險管理的需要,包括:財務做假、敏感資料涉密、資料質量差影響關鍵決策等。
(2)為了滿足外部監管和合規的需要,比如薩班斯-奧克斯利法案、巴塞爾I/巴塞爾協議、健康保險流通與責任法案(HIPAA)等。
但隨著全球越來越多的企業瞭解到資訊資產的重要性和價值,在過去幾年中,資料治理的目標也在發生些轉變。除滿足監管和風險管理外,如何透過資料治理來建立業務價值備受關注。
3、廣義的資料治理
廣義的資料治理是對資料資產管理行使權力和控制的活動集合(規劃、監控和執行),指導其他資料管理職能如何執行,在高層次上執行資料管理制度。組織為實現資料資產價值最大化所開展的一系列持續工作過程,明確資料相關方的責權、協調資料相關方達成資料利益一致、促進資料相關方採取聯合資料行動,資料治理與資料管理的關係如下圖所示:
圖1.資料治理與資料管理關係資料治理的全過程:
從範圍來講,資料治理涵蓋了從前端事務處理系統、後段業務資料庫到終端的資料分析,從源頭到終端再回到源頭形成一個閉環負反饋系統(控制理論中趨穩的系統),從目的來講,資料治理就是對資料的獲取、處理、使用進行監督(監管就是我們在執行層面對資訊系統的負反饋),而監管的職能主要透過五個方面的執行力來保證——發現、監督、控制、溝通、整合。
資料治理的目標:共同保證“正確的資訊,以正確的形式,在正確的時候,交付給正確的人”。
3、資料治理的重要性
高質量的資料對任何企業都是戰略性資產,隨著企業推進數字化轉型的程序,有效資料正迅速成為一個關鍵的業務差異,但要使資料具有價值,需確保資料的可信任、安全性、可訪問性、準確性、共享性和及時性。資料治理有助於增強企業靈活性以最小化決策相關成本和風險,特別在數字經濟中,資料治理比以往任何時候都顯得尤為重要。
缺乏企業高層領導的支援、系統間的資料壁壘和整個治理專案缺乏明確的流程和資料模板、資料所有權和問責機制不清等因素是導致專案失敗或者治理結果不理想的主要原因。涉及到企業中所有跨功能和跨業務的決策機制。資料治理具有戰略性、長期性、艱鉅性、系統性、持續企業內部資料環境最佳化治理工作,因此資料治理是一個漫長而持續的過程,沒有一針頂破天的訣竅,也沒有立竿見影的捷徑,要避免對資料治理工作粗淺的認識。
三、資料資源管理資料資源管理(Data Resource Management)是應用資料庫管理、資料倉庫等資訊系統技術和其他資料管理工具,完成組織資料資源管理任務,滿足企業資訊需求的管理活動。
資料資源管理(Data Resource Management)是應用資訊科技和軟體工具完成組織資料資源管理採用檔案處理方法,在這種方法中,資料根據特定的組織應用程式的處理要求被組織成特定的資料記錄檔案,只能以特定的方式進行訪問。這種方法在為現代企業提供流程管理、組織管理資訊時顯得過於麻煩,成本過高並且不夠靈活。因此出現了資料庫管理辦法,它可以解決檔案處理系統存在的問題。
全業務域資料資源中心為企業提供完整的資料中心解決方案,提升企業管理和運營效率,實現資料採集管理、標準規範管理、元資料管理、主資料管理、資料協同與追溯管理、排程管理,資料反捕、BI決策分析等,透過體系化的資料資源管理中心的建設,可有效打通企業內部之間的資料流通渠道,解決企業管理資訊化在資料層面的核心問題,形成橫向整合、縱向貫通的高效、有序的資訊流,發揮資料資訊的基礎支撐作用,滿足企業對資訊和資料的需求,幫助企業解決資料整合和共享、盤活資料資產和有效規避資訊孤島等問題。
四、資料資產與資料資產管理1、資料資產的定義
資料資產(Data Asset)是指由企業擁有或者控制的,能夠為企業帶來未來經濟利益的,以物理或電子的方式記錄的資料資源,如檔案資料、電子資料等。在企業中,並非所有的資料都構成資料資產,資料資產是能夠為企業產生價值的資料資源。
2、資料資產的屬性
資料資產具有無形資產的屬性,從這個角度出發,我們可以發現數據資產主要有以下特性:無消耗性、增值性、依附性、價值易變性、戰略性。
無消耗性:資料資產的每次使用只需要花費很低的成本,不會因為使用頻率的增加而磨損、消耗,與其他傳統無形資產有相似性。增值性:企業透過穩定發展,會促使資料資產在原有的基礎上,資料規模和資料維度的不斷積累,整體價值進一步提升。依附性:與其他無形資產類似,資料資產不能獨立發揮作用,其發揮作用和效應往往依附於相應的軟體、硬體。價值易變性:資料資產時刻受到資料容量、資料時效程度、應用場景等因素的影響,與其他無形資產相比,其價值更易發生變化。戰略性:一切資料業務化,一切業務資料化,具有戰略性。3、資料資產的屬性
資料資產管理(Data Asset Management)是指規劃、控制和提供資料及資訊資產的一組業務職能,包括開發、執行和監督有關資料的計劃、政策、方案、專案、流程、方法和程式,從而控制、保護、交付和提高資料資產的價值。資料資產管理需要充分融合業務、技術和管理,以確保資料資產保值增值。
資料資產管理(Data Asset Management)一般來說包括統籌規劃、管理實施、稽核檢查和資產運營四個主要階段,貫穿資料採集、儲存、應用和銷燬整個生命週期全過程。企業管理資料資產就是對資料進行全生命週期的資產化管理,促進資料在“內增值,外增效”兩方面的價值變現,同時控制資料在整個管理流程中的成本消耗。
圖2.資料資產管理過程資料資產管理(Data Asset Management)包括兩個重要方面,一是資料資產管理的核心管理職能;二是確保這些管理職能落地實施的保障措施,包括戰略規劃、組織架構、制度體系等。
五、資料管理、資料資產管理與資料資產管理內涵的演進資料管理、資料資源管理與資料資產管理有著密切關係和關聯,但隨著現代數字技術的高速發展,三者在內涵、側重、延伸等方面存在差異。
圖3.資料管理、資料資源管理與資料資產管理的關係1、資料資產內涵
在資料資產化的大背景下,資料資產管理是在資料管理基礎上的進一步發展,可以視作資料管理的升級版,主要區別在以下三個方面:
一是資料管理的視角不同,資料資產管理強調資料是一種資產,基於資料資產的價值、成本、收益開展全生命週期的管理。
二是管理職能有所不同,資料資產管理包含資料模型、元資料、資料質量、參考資料和主資料、資料安全等傳統資料管理職能,同時整合資料架構、資料儲存與操作等內容,將資料標準管理納入管理職能,並針對當下應用場景、平臺建設情況,增加了資料價值管理職能。
三是管理要求有所升級,在“資料資源管理轉向資料資產管理”的理念影響下,相應的組織架構和管理制度也有所變化,需要有更專業的管理隊伍和更細緻的管理制度來確保資料資產管理的流程性、安全性和有效性。
2、三者的關係
資料管理指利用計算機硬體和軟體技術對資料進行有效的收集、儲存、處理和應用的過程。資料管理目標:在於充分有效地發揮資料的作用。資料資源管理致力於發展處理企業資料生命週期的適當的建構、策略、實踐和程式。資料資源目標:去尋找手段,以有效的控制資料資源,並提升資料資源的利用率。資料資產管理的核心思路是把資料物件作為一種全新的資產形態,並且以資產管理的標準和要求來加強相關體制和手段。從經濟角度,滿足對資產運營的各類管理要求。3、資料資產管理的三個關鍵變革
資料與企業裝置、軟體、人才一樣成為企業的重要資產,可以從多個角度和多個層面為企業帶來價值收益。資料資產管理除了包含傳統以資料質量提升為目標的資料治理外,還包括挖掘資料價值的資料運營。資料資產管理不能僅僅依靠資訊部門開展,需要企業自上而下各個部門之間的分工協作。小結本文對資料、資料管理、資料治理、資料資源管理、資料資產管理等內涵作了詳細說明,便於讀者更好的理解和掌握資料領域相關概念,最後總結兩點:
一、資料資源將成為戰略資產,而有效的資料治理才是資料資產形成的必要條件。
二、有效的資料治理是一個持續性的過程,也是逐步實現資料價值的過程。所以資料治理是企業資訊化的基石,資料資產是企業戰略發展的核心價值,資料管理為企業賦能。(鳴謝:蔡春久先生給予專業指導)