摘要：華為雲FusionInsight MRS的大資料存算分離解決方案，實現資源價值最大化，儲存與計算資源全面雲化、靈活配置、彈性伸縮，降本增效。

在大資料、雲計算、5G、AI等技術日新月異，數字經濟加速發展的背景下，資料成為新的生產資料，數字化轉型成為政企高速發展的關鍵。作為數字化轉型的先行者，金融行業利用大資料平臺進行客戶體驗提升、精準營銷等業務。這些大資料平臺在金融行業業務中發揮著至關重要的作用，但龐大的資料量也給他們帶來了新的挑戰，企業在大資料平臺的建設及擴容方面每年均保持著一定規模的投入，降本增效的矛盾在發展過程中進一步被放大；海量資料驅動業務敏捷響應，傳統大資料平臺從建設到落地的長週期，不利於業務的高速發展；平臺建成後，維護、升級、擴容均以叢集為單位，管理離散，操作繁重。

傳統大資料平臺建設採用存算一體的架構建設，在進行擴容時計算、儲存資源會同步擴充，在部分場景下造成了資源冗餘，利用率偏低。基於此，中國工商銀行（以下簡稱工行）聯合華為雲FusionInsight MRS落地大資料存算分離解決方案，實現資源價值最大化，儲存與計算資源全面雲化、靈活配置、彈性伸縮，降本增效。

工行大資料平臺批次業務普遍採用存算一體架構，原始資料、資料表、匯出資料均儲存在本地HDFS，在現網部分批次叢集中，CPU利用率50%，而儲存利用率超過70%。

工行採用了華為雲FusionInsight MRS大資料存算分離方案，實現了大資料平臺與OBS物件儲存服務的對接，將原有的HDFS資料無縫遷移到OBS上。在保證效能的前提下，實現了計算與儲存獨立按需擴容，輕鬆應對業務浪湧，提升資源整體利用率。

大資料存算分離演進示意圖

此次實踐不僅實現了計算與儲存資源的按需擴容，還在儲存、計算和易用性方面做到了最優。

儲存方面，工行原有大資料平臺使用HDFS儲存資料，1:3的備份方式使得較多儲存空間被消耗，華為獨有的Flex-EC技術可將副本率降低至1:1.25，儲存資源最佳化提升2.4倍。在雲端儲存效能上，單流效能達到300MB/s，為業界的3倍+。

計算方面，華為雲基於存算分離的大資料解決方案進行軟硬體垂直最佳化，充分利用自研處理器的高併發能力，提供晶片級的全棧自主最佳化能力，使用華為自研的作業系統EulerOS、華為JDK及資料加速層，充分釋放硬體算力，為大資料計算提供高算力輸出，實現高性價比。在效能相當情況下，端到端的大資料解決方案成本下降。

易用性方面，華為雲OBS實現了原生POSIX語義，並補充了Append，hFlush/hSync、HDFS垃圾桶機制，rename原子操作效能，大幅領先業界同類產品。這些都使得使用者可以平滑、無感知的從原有平臺切換到存算分離平臺。

傳統大資料平臺的群部署，依賴 “硬體->作業系統->組網->大資料平臺”的部署模式，部署週期以周粒度計算，並涉及多個業務部門協同操作。針對擴容、業務遷移和後期運維，也是“一叢集一方案”的操作模式，工作量大，物料和人工成本都偏高。

工行聯合華為雲部署的存算分離大資料解決方案，全面相容主流的大資料生態，100%相容開源原生介面，結合周邊豐富的資料及應用遷移工具，基於MRS WrapperFS的特性，提供OBS的翻譯能力，相容HDFS到OBS的平滑遷移，快速完成大資料平臺的平滑遷移至存算分離架構，整個遷移過程做到“程式碼0修改，業務0中斷”。

雲端叢集快速發放特性，可以實現小時級叢集發放，提升效率數10倍，同時具備後臺、前臺和API介面三種任務提交模式，快速對接業務。針對後期擴容、運維場景，透過統一的運維管理平臺， 對多個大資料叢集進行集中運維管理，並能夠實現資源的彈性伸縮和靈活擴容。

中國工商銀行大資料平臺全面構建在IaaS雲之上，本次華為與工行聯合創新藉助新一代華為雲底座進行存算分離架構試點工作，全面驗證了全新架構下的產品功能、技術水平和效能狀況，全方位評估存算分離架構的優缺點，總結經驗，積累技術實力，為後續工行大資料平臺演進至下一代“存算分離”與“存算一體”協同混合架構打下堅實基礎，併為金融業大資料平臺架構轉型提供成熟解決方案。

本次存算分離實踐順利實施標誌著工行首次完成大資料體系由存算一體架構向“存算分離”與“存算一體”協同混合架構的轉型工作，全新的架構具有效能與成本最優，兼具靈活性、雲化集約管維的特點，能夠有效地支撐中國銀行業智慧化轉型，同時為全國金融同業大資料平臺架構轉型實施提供參考。