“企業數字化轉型的關鍵技術與問題”系列推文七:
企業數字化轉型的必由之路:數字治理
當前,以雲計算、大資料、人工智慧等新興技術引領的新一代科技革命正在飛速開展,以此為契機數字技術正廣泛應用於現代經濟活動中,成為推動經濟增長的重要途徑,產業數字化成為數字經濟發展的重要組成部分。在2020年這個“十三五”規劃的收官之年與“十四五”規劃的謀劃之年,各行業紛紛圍繞“新基建”、“數字化轉型”進行全方位、戰略性佈局。
一、什麼是數字治理?
在大資料時代,資料治理對所有擁有大量資料的公司來說都是一個巨大的挑戰。沒有資料,公司就缺乏資料的支援來做決定。然而,隨著資料越來越多,在很多情況下也增加了資料管理的成本,這確實使資料產生了價值,但發現如何管理分散在不同地方的資料,並有效地將資料進行組織則成了一個令人頭疼的問題。
如果企業不能夠使用資料,那它就不是資產,而成為了成本。也正因為如此,資料治理和資料管理對企業來說變得越來越重要。
企業資料治理是一套持續改善的管理機制,通常包括組織架構、政策制度、技術工具、資料標準、作業流程、監督及考核等多個方面,涉及的IT技術主題眾多,包括資料體系、管理體系、平臺建設、資料管控等多個方面。
二、企業為什麼要數字治理
即使一個公司有宏偉的願景和雄心勃勃的目標,每個人也很難朝著同一個方向努力。大型而複雜的組織充滿了混亂。在開始實施戰略目標的時候,著眼於全域性的領導者會集中精力把願景變成現實,而不同意願景的管理者會忽略它。一些部門行動太慢;一些部門在沒有充分考慮規章、安全、組織風險的情況下,輕率行事,給企業帶來風險;有些部門會把資源浪費在重複甚至相互矛盾的任務上。
數字化治理可以確保企業在正確的方向上採取行動,將所有員工的各種想法匯聚成協調一致的驅動力,帶動數字化轉型願景的落地實施。
適當的數字治理不僅可以防範風險,還可以激發新的數字能力。行動電話應用程式、協作網路、互聯產品和社交媒體等技術為營銷、製造和使用者服務帶來了新的機遇。由於使用者和員工的雙重需求,業務週期變得越來越快。治理能力可以幫助公司更快地實現新的解決方案,處理安全問題、遵從性問題和傳統的系統整合問題;幫助企業獲得更完整的使用者和執行條件,更有效地協作,使企業規章制度更好地執行。
例如,使用者需要更好的體驗,資料分析需要更完整的資料,但很多企業很難整合分散的資料資源。事實上,資料整合是建立數字化服務的最大挑戰。數字大家憑藉治理能力,為實施數字化建立統一的平臺,使之涵蓋新型使用者體驗、工廠自動化和先進的分析能力等。
隨著公司的全球化擴張,企業越發需要跨地域、部門和專業進行有效協作。如果員工不遵守公司規章、而採取自己的方式協作時,就會激發潛在的安全、法律和整合問題。企業也可以運用治理能力制定和強化管理策略,指出哪種協作是合適的,並開發監測工具監測違規行為
調查顯示,數字化水平高的公司可以更好地治理數字化活動。透過評測一系列綜合指標,包括職能清晰度、戰略一致性、跨部門協作、 KPI使用以及數字化轉型路線圖等,結果顯示,數字大家的得分比其他企業高出51%,彰顯出對採取何種轉型措施、如何成功實施這些舉措有著更清晰的認知。
三、資料治理如何為數字化轉型提供基礎支撐
1、資料治理能夠避免資料湖成為“資料黑洞”
資料湖是按儲存原始資料格式的資料儲存,旨在任何資料可以以最原始的形態儲存,可是結構化或者非結構化資料,以確保資料在使用時可以不丟失任何細節。採用Hadoop大資料技術生態體系以構建大資料平臺,所有的實時資料和批次資料,都彙總到資料湖當中,然後從湖中取相關資料用於機器學習或者資料分析。大規模捕獲各種新舊型別的多源異構原始資料,並按需進行資料轉換,形成多樣化應用。
然而,資料湖的完美理念卻面臨著諸多問題,企業的業務是實時在變化的,這代表著沉積在資料湖中的資料定義、資料格式實時都在發生的轉變,企業的大型資料湖對企業資料治理(Data Governance)提升了更高的要求。大部分使用資料湖的企業在資料真的需要使用的時候,往往因為資料湖中的資料質量太差而無法最終使用,資料無法訪問、難以檢索,成為只進不出的 “資料黑洞”。
為避免資料湖淪為“資料黑洞”,須實現資料目錄、標準、質量、安全、共享的統一管理,開展相關的資料治理活動:
首先,基於元資料資訊,為資料湖構建企業級資料資源目錄,對入湖資料進行編目分類、建立索引,以便迅速查詢、定位、獲取所需資料資源;其次,進行資料血緣分析和影響分析,構建資料全維關係圖譜,對資料流向從源頭到目的地之間追蹤資訊的視覺化表示,實現對資料資源流轉的清晰掌握和資料流通全流程的監控;基於資料資源目錄,劃分資料安全等級和共享型別,以此為基礎進行使用者角色的訪問控制、身份驗證、授權,資料脫敏規則設計以及靜態和動態資料加密,以提高資料湖的安全與隱私性。
2、資料治理是人工智慧的基石
資料治理與人工智慧
在人工智慧時代,資料不再是程式程式碼的附屬物。資料從本質上已經成為構建演算法的原始碼和生成演算法結果的核心驅動。基於大量的資料,透過“自適應和自學習”演算法“訓練”它。因此,資料質量的好壞決定了演算法的優劣及其魯棒性;此外,在進行人工智慧工作時,資料共享和資料安全也是需要考慮的因素。資料治理在人工智慧工作中可以發揮以下關鍵作用:
①保證制度流程:
在人工智慧發展的過程中,聯合資料治理組織制定和釋出系統,程式和規範,配合人工智慧技術的發展,明確各部門和專案團隊(人工智慧專案團隊,資料治理專案,資料平臺專案團隊)和業務系統專案團隊,等等)的職責分工;
②保障資料安全:
在人工智慧工作的發展過程中,需要採取一系列的資料安全保護措施,如私人資料的符合性確認和檢查、敏感資料的脫敏、安全訪問控制、防洩漏措施等。為AI應用結果的資料安全性和合規性奠定基礎;
透過資料治理團隊協助協調資料資源、資料治理團隊清楚地理解資料資源的儲存位置,集中式的管理部門,並能促進企業內部資料資源的共享,並協助人工智慧團隊迅速獲得所需的基本資料資源;
④高質量資料輸入:
資料治理團隊根據AI團隊的資料質量需求和業務規則,對輸入的資料資源進行資料質量檢查,根據需要出具資料質量評估報告,給出資料質量健康度評分,發現數據質量問題,快速制定資料質量改進方案。
四、經邦企業級資料治理整體解決方案
經邦推出了企業級資料治理整體解決方案,實施“一站式”全球資料治理,覆蓋所有功能區域的資料治理從資料資源目錄,目錄建設、標準的制定、質量改進、安全管理資料共享和應用程式協助建立資料治理體系和指導企業內的各種特殊的治理活動。
經邦企業級資料治理解決方案框架
1、資料治理專業能力建設
企業級資料治理解決方案的核心要素是資料治理專業能力,包括資料標準管理、資料質量管理、資料資源目錄、資料安全管理、資料架構管理、資料共享和應用程式管理。應用知識圖、微服務、元資料收集、自然語言處理、大資料等技術,智慧整理企業資料資產,規範系統資料模型,支援資料標準構建,實現資料協同變更,控制細粒度敏感資訊,為企業提供深層次的資料價值。
2、資料治理平臺建設
經邦已形成了一套完整的方法,從資料治理諮詢、需求轉換,原型平臺實現,並迅速轉換資料治理專業功能由企業按需為平臺建設的需求,並將治理資料治理過程中生成的結果進行統一和管理透過平臺實現全景和視覺顯示的資料資源,同時為使用者提供資料質量評估、資料架構評估、資料能力評估、智慧檢索等多樣化服務。
資料治理平臺架構
3、資料治理工作機制建設
資料治理需要企業所有部門的參與,需要所有資源的協調。一是建立規範化的資料治理組織,共同推進資料治理。二是建立資料問責機制,解決“橫向超越邊緣,縱向無底洞”的共同突出問題。同時,高效的管理流程也是公司治理的強大動力。最後,需要建立資料執行機制,確保資料治理的有效發展。