2021年3月24日,主題為《資料的世界,世界的資料》的星環科技2021春季新品釋出會在星環上海總部舉行。會上,星環科技一站式資料開發與治理平臺TranswarpDataStudio(以下簡稱TDS)正式釋出2.2版本,旨在透過資料的全生命週期管理能力,加速企業數字化建設程序。
星環科技在多年助力企業數字化轉型的實踐中發現,企業數字化建設發展過程中有兩個重要的方向,一個是底層資料型別、資料接入與計算方式要逐步多樣化,另一個則是資料應用能夠逐漸繁榮,從而實現資料和應用之間的正向反饋和相互促進迭代。這個過程中,根據對星環科技的行業客戶的大量觀察,雖然各個企業有不同的數字化發展的策略,但是總體上有遵循著階段化循序演進的規律,可以概括為資料統一化、資料資產化、資料業務化和資料生態化四個階段,而發展到每個階段企業都需要不同的資料管理能力來完成階段性建設目標。
在資料統一化階段,企業需要透過資料載入、同步、實時的資料接入、SQL開發以及任務排程管理等能力來構建資料倉庫或者資料湖;在資料資產化階段,企業需要構建血緣、標準、質量管理,以及資料資產目錄、模型管理等資料治理平臺,並能提供資料地圖的能力;在資料業務化階段,企業需要提供一套資料智慧與分析的解決方案;在資料生態化階段,企業需要構建資料交易共享平臺,其中包括資料共享交換、對資料安全的保護、隱私計算還有聯邦學習等能力。如果能結合以上四個階段,構建企業大資料能力並建設所有系統,企業就完成了資料價值演進的全過程。
隨著企業的資料型別和資料應用的增加,大量的資料會積累起來,因此資料資產化的工作就非常有挑戰性。未來更好的將資料升級為資產,企業一般需要開展資料開發和資料治理工作,這是一個組織管理加技術落地的工作,需要在一體化的資料治理方法論的指導下來落實每個有效的資料的質量提升、標準落地和業務級價值梳理。為了更好的幫助我們的企業使用者能夠更好的落地資料治理工作,新發布的TDS2.2能夠實質性的幫助使用者提升效率。TDS是一個集開發與治理為一體的一站式工具平臺,不僅在產品上實現了較為完整的覆蓋,更是將星環資料治理諮詢團隊的行業經驗和方法論沉澱在工具中,此外還結合機器學習技術來輔助專業人員可以更快的將各種治理工作自動化,因此TDS可以大幅度提升企業資料開發和治理的效率,加速企業數字化轉型程序。
TDS提供了完整的資料開發、資料治理、資料資產管理、資料標籤與服務、資料共享與交易等一系列資料全生命週期的處理工具,與TDS1.x相比,新版本新增了兩個子產品,一個是資料質量管理工具Governor,用於管理資料從獲取到消亡每個階段裡可能引發的資料質量問題;另一個是資料商城TranswarpForesight,它整合了TDS的資料服務開發工具Midgard和標籤開發工具StarViewer,為業務人員提供資料資產的檢索、下載、共享的能力,結合著資料血緣幫助資料使用者、開發者和管理者做整體協同,構建其資料運營能力。
除以上提到的四個工具之外,TDS的子產品還包括:面向資料庫SQL程式開發者的桌面整合開發環境Waterdrop、網頁版的團隊協作的SQL開發環境SQLBook、視覺化的ETL開發工具Transporter、資料計算任務的排程平臺Workflow、資料視覺化工具Pilot、資料API的開發與管理工具Midgard以及資料資產管理工具軟體Catalog。
值得關注的是,TDS不僅能夠支援基於星環平臺的大資料開發與治理,同時也可以管理各種關係資料庫和主流大資料平臺,用於企業級的資料治理和資料資產平臺的建設。
今天,星環科技一站式資料開發與治理平臺TDS,迎來了全新的2.2版本。經過多個版本的不斷迭代,TDS以功能更全面、效能更出色的姿態與大家見面,在TDS的助力之下,企業資料平臺的建設效率將會大幅度提升,業務使用者與資料資產的打通也將更加徹底,最終實現資料與業務的結合。新版本的TDS具備以下四個核心能力:
核心能力一:資料聯邦
TDS透過資料聯邦技術實現了資料的統一管理和服務,實現了三個統一:
第一、統一的資料門戶,資料商城TranswarpForesight整合各平臺數據產品做對外的資料共享與交換;
第二、統一的資料API服務能力,資料服務開發工具Midgard產品能夠透過直連資料庫的方式,將資料庫的表或欄位資料直接釋出為服務API,並提供高併發的查詢能力;
第三、統一的技術元資料,資料資產目錄Catalog透過資料庫直連獲取技術元資料,透過補充異構資料庫資料血緣,展現完整的資料地圖和血緣分析。
與此同時,基於Inceptor的聯邦計算能力,TDS可實現統一的SQL計算和統一的資料治理。InceptorSQL引擎能夠實現跨異構資料平臺的SQL計算,支援多種關係型資料庫、異構大資料平臺以及MPP資料庫。TDSSQL開發工具SQLBook可以充分利用Inceptor的聯邦計算能力,承擔企業統一資料開發入口的角色:開發者提交的SQL任務能夠透過Inceptor的聯邦計算能力來統一處理,無需維護多個異構資料平臺的開發環境和開發入口。
核心能力二:智慧化資料治理能力
隨著當今ToB市場資料治理需求的高速增長,資料治理解決方案作為人力密集型專案的痛點也逐漸被放大。透過智慧化手段來緩解甚至解決該痛點的趨勢也隨之到來。星環TDS能夠提供結合專家規則與機器學習的智慧化資料治理能力。TDS首先自動識別資料資產,然後對識別到的資料資產進行自動分類,最後自動監控資料資產動態,實現了對資料資產的智慧編目;同時專業諮詢團隊構建的行業知識庫,透過智慧演算法自動提煉知識,形成行業智慧模型,能夠向用戶智慧的推薦資料質量規則、資料標準貫標,有效解決人力瓶頸;最後還支援智慧發現敏感資料,保護資料資產的合規性。
核心能力三:優秀的團隊協作能力
企業的大資料開發普遍缺少軟體工程的整體管控流程,隨著業務複雜性提高、開發團隊越來越多、程式碼與模型版本混亂,導致後期維護成本越來越高,而星環TDS能夠幫助企業構建大資料智慧化開發平臺,提供全程圖形化操作、知識規則庫、開發協同、安全管控以及版本管理能力,實現大資料全流程開發、測試、上下線的線上化,並完成全平臺的資料訂閱與跨平臺資料推送等資料中臺服務,構建資料應用的完整DevOps體系。
核心能力四:分散式架構的設計,最大可支援PB級別的資料平臺建設工作
TDS的排程工具Workflow利用分散式排程引擎,最大可支援百萬級別任務排程的生產需求;TDS的資料整合工具Transporter用ELT代替傳統的ETL,充分利用了星環底層大資料平臺的計算能力,能夠避免傳統ETL工具本身的計算瓶頸;資料服務開發工具Midgard透過Hyperbase提供的高併發API,以及雲作業系統TCOSIngress提供的高效能API閘道器,都可以達到單節點2萬QPS的優秀效能表現;資料資產目錄Catalog基於分散式圖資料庫,支援百億級資料操作的儲存與分析。同時精確到欄位級別的血緣分析能力,能夠實時感知和追蹤平臺內的資料變化。
目前,星環科技一站式資料開發與治理平臺TranswarpDatastudio(TDS),透過資料的全生命週期管理、資料聯邦、智慧化資料治理等能力,已經為多個大型企業客戶數字化轉型提供落地方案,降低了企業大資料開發的技術門檻,並提升了企業資料開發效率。未來,星環將繼續透過大資料核心技術為企業賦能,助力企業加速數字化轉型。