首頁>歷史>

數據中臺主要功能是進行數據分析,擔負公司產品的數據分析工作,數據中臺對數據的採集、存儲、打通、使用。如何進行數據中心的開發保證數據使用。數據中臺的開發流程有哪些?如下圖數據中臺開發流程所示:一個指標從口徑的確認到上線、迭代都要經歷圖示的這些過程:

數據中臺開發流程一共有11個步驟:業務口徑梳理、技術口徑梳理、原型設計和評審、模型設計、數據開發、後端開發、前端開發、聯調、測試、上線、迭代。接下來我們分析這些步驟都是做什麼的:

一、業務口徑梳理

由數據中臺產品經理來主導,產品經理提出該指標的產品/運營負責人溝通,要問清楚這個指標有什麼用、給誰用、業務流程是什麼,還要確定指標定義、統計週期、計算方式等。開發指標都要考慮開發這個指標的性價比:投入人力、資源是否值得。

二、技術口徑梳理

由模型設計師主導,首先, 模型設計師需要理解數據指標涉及的業務邏輯,還需要理解指標定義、統計週期、計算方式等。模型設計師需要與產品線的開發人員一起梳理數據指標涉及的表結構和字段,要精確到字段級別,在確定好這些字段後,就能初步判定這個指標在技術層面能不能統計,如果不能統計,告知產品經理∶①目前這個階段還沒法計算相關指標,②做了哪些功能後才能計算這些指標。

三、原型設計和評審

由產品經理主導,基於運營的需求設計原型,在原型設計完後,要經過內部評審和外部評審。在內部評審中,產品經理要召集數據中臺的架構師、模型設計師、數據開發工程師、後端開發工程師、前端開發工程師、UI設計師、測試工程師,說明整個功能的價值和詳細的業務流程、操作流程,確保大家理解一致。

四、模型設計

由數據中臺的模型設計師主導,一般會採用分層建模的方式對數據進行更加科學的組織與存儲。模型一般分為5層,分別為ODS層(操作數據層)、DIM層(維度數據層)、DWD層(明細數據層)、DWS層(彙總數據層)、ADS層(應用數據層),這是業界對於數據分層的常用的模型。模型設計工程師要清楚地知道數據來源於哪裡、要怎麼存儲。

五、數據開發

由數據開發工程師主導,首先,數據開發工程師要和模型設計師確定技術口徑,明確計算的指標都來自哪些業務系統。接著,數據開發工程師通過數據同步工具將數據同步到ODS層,並一層層地彙總,從ODS層到DWD層,再到DWS層,直到最後把可以直接服務應用的數據填充到ADS層。另外,大數據開發工程的一個比較重要的工作就是設置調度任務—簡單來講就是配置指標在什麼時候計算。

六、後端開發

後端開發主導,對產品經理的需求文檔中的功能,將接口數據輸出給前端工程師,對外提供服務的數據存儲在ADS 層,後端開發工程師一般是基於ADS層的數據將數據封裝成對外服務的接口,後端開發工程師一方面要和數據開發工程師溝通好ADS層數據的存儲結構,另一方面需要和產品經理溝通產品的功能、性能方面的問題,以便為使用者提供更好的用戶體驗。

七、前端開發

由前端開發工程師主導,在原型設計出來後,產品經理會讓UI設計師基於產品功能原型設計UI,在功能界面最終定型後,UI設計師會給前端開發工程師提供切圖,前端開發工程師基於UI的切圖做前端頁面的開發。

八、聯調

大數據開發、前端、後端一起參與,在歷史數據的基礎上承擔數據準確性的校驗,前端開發工程師和後端開發工程師負責解決用戶操作的相關問題,保證不出現低級的錯誤。

九、測試

由測試工程師主導,在完成原型評審後,測試工程師就要開始寫測試用例,哪些是開發人員自測通過後才能交上來測試的內容、哪些是開發人員要再次自測驗證的內容,都需要在測試用例文檔上寫清楚。在最終測試沒問題後,進行試用,如果在試用中發現數據準確性的問題則需要再進行一輪測試,以驗證數據。

十、上線

運維工程師會配合數據中臺的前端開發工程師、後端開發工程師將最新的版本更新到服務器中,重要的指標,再次進行內部驗證,保證數據的準確性。

十一、迭代

數據指標上線後,隨著公司業務的變化,指標的口徑可能也會有所變動,所以也要定期盤點已有的指標,如果指標有變化,需要不斷迭代,保證指標的準確性。

3
最新評論
  • 毛新宇妻子劉濱:剪了短髮,嫵媚成熟,戴上口罩也遮不住高顏值
  • 孔子“論語”所說的基本思想就是仁學,相關於古代的禮樂文化