首頁>技術>

意見,這就是為什麼在解鎖元資料的價值時上下文是關鍵的原因。

> Image courtesy of Shutterstock.

在過去的十年中,資料團隊越來越精通收集大量資料。儘管這有可能推動數字創新和更明智的決策,但它也使公司淹沒了他們無法理解或無法使用的資料。

渴望成為資料驅動型組織的組織常常看不到這些森林:沒有明確應用程式或用例的資料無非就是資料庫中的檔案或電子表格中的列。

近年來,我們看到了資料的興起:現在,公司正在收集越來越多的有關其資料的資料,即元資料。總的來說,對元資料的這種熱情對於業界來說是一個巨大的勝利。像dbt這樣的ETL解決方案使跟蹤和使用元資料變得容易,而云提供程式使元資料的互操作性在堆疊中的資料解決方案之間更加無縫。

不過,隨著我們越來越依賴元資料,重要的是要記住不要重複這些相同的錯誤。

更多元資料,更多問題

就像沒有上下文的資料只不過是一堆數字一樣,元資料本身也沒有用,只是有關其他資訊的更多資訊。隨心所欲地收集所有資料,但是如果沒有實際的用例,元資料將毫無意義。

例如,沿襲是一種元資料,可跟蹤資料管道中上游和下游依賴關係之間的關係。雖然令人印象深刻(霓虹色!節點!清晰的線條!),但沒有上下文的世系只是讓人眼前一亮,非常適合與高管進行演示–但是,老實說,沒有什麼其他的。

Lineage without a business use case is just an empty March Madness bracket

傳承的價值並非來自擁有它的簡單行為,而是在於它與特定用例或業務應用程式的相關性。

世系在哪裡真正有用?除了在精美的演示或PowerPoint簡報中看起來不錯之外,資料沿襲可以是瞭解以下內容的強大工具:

如何理解將影響消費者的資料更改並確定解決該用例的最佳措施

舉例來說,您想對特定欄位進行更改。如果沒有血統,您可能會盲目地進行更改-希望不會對下游產生影響(您:"手指越過,沒有下游消費者會對此更改感到驚訝!")。

透過使用欄位和表級別的沿襲,您可以檢視哪些特定的表,報告,最重要的是-使用這些資產的使用者-會受到此更改的影響。

資料資產損壞時如何解決問題的根本原因

在另一種情況下,您可能會在午夜時分瀏覽有關您的團隊應該在第二天早上呈現給執行人員的儀表板損壞的訊息。您需要一種快速的方法來了解上游發生了什麼,從而使您的Tableau圖完全無用。

但是,此問題的根本原因到底是什麼?您需要修復資料倉庫中的100,000個表中的哪一個?使用沿襲,您可以立即識別造成此資料停機的上游資產,並查明根本原因。

如何將損壞的資料的影響傳達給消費者

最後,我們說資料中斷(通常如此)-具體來說,ETL作業已完成,但此列中的資料現在為80%為空-本質上是無提示的故障。現在,您需要突出顯示此無提示故障如何影響此資料的使用者。

您如何知道將受到影響的人,並應被告知此事?沿襲提供了一種快速簡便的方法來傳達發生的情況和發生的位置,以便在解決問題時讓利益相關者保持瞭解。

歸根結底,沿襲和元資料可能對資料團隊和整個公司具有巨大的價值,但前提是直接將其應用於您的業務。

> When captured holistically and in the context of business applications, metadata has the potential to serve as a force multiplier for your entire company. Image courtesy of Barr Moses.

當從整體上和在業務應用程式上下文中捕獲元資料時,元資料有可能成為整個公司的力量倍增器。圖片由Barr Moses提供。

歸根結底,您的元資料(包括但不限於沿襲)應該比基本的"誰,什麼,在哪裡,何時,為什麼?"回答更多。關於您的資料。它應該使您的客戶(無論是內部還是外部)都能夠獲得最新,準確的答案,以回答與客戶的痛點和用例有關的問題,包括:

· 這個資料重要嗎?

· 這些資料代表什麼?

· 這些資料對我的利益相關者有用嗎?

· 我可以安全且合規的方式使用這些資料嗎?

· 這個問題的答案從哪裡來?

· 當我進行更改時,誰依賴該資產?

· 我們可以信任這些資料嗎?

許多資料團隊正試圖透過各種解決方案來回答這些問題,包括與建模和管道轉換工具,資料目錄,文件和沿襲掛鉤的API。

四種方法都能提供有關您資料的豐富見解,但它們缺少一項關鍵要素:將其應用於您的業務。

應用就是一切

沒有用例的元資料就像騎腳踏車的大象。有趣且令人印象深刻,但不是很有用(除非您正在馬戲團表演)。

元資料的真正威力在於我們在何處,何時何地使用它,尤其是如何將其應用於我們要解決的特定及時問題。

除了收集元資料和構建元資料解決方案之外,資料團隊還需要問自己:此元資料服務於什麼目的?如何應用它來解決實際和相關的客戶痛點?

就個人而言,我對元資料的未來感到無比興奮。透過正確的方法,應用的元資料可以成為用於資料可觀察性,資料治理和資料發現的強大工具,這是擁有準確,可靠和可信賴的資料的三個關鍵組成部分,可以為您的組織帶來幫助。

怎樣從元資料中獲得更多價值?接觸Barr Moses和蒙特卡洛團隊。

19
最新評論
  • BSA-TRITC(10mg/ml) TRITC-BSA 牛血清白蛋白改性標記羅丹明
  • BackTrack5滲透工具介紹第二部分