Kyligence Enterprise 平臺可提供在 PB 級資料集上亞秒級標準 SQL 查詢響應,同時支援網際網路級的高併發訪問;其的AI 增強型智慧分析引擎可透過學習使用者分析行為及資料特徵,自動完成資料模型的準備和最佳化,從而顯著提高資料工程師和分析師的工作效率。
中國銀行業: 資料賦能業務亟待智慧技術最佳化指標治理
伴隨中國數字經濟迅速發展,數字金融已成為商業銀行數字化轉型的必然選擇。伴隨大小銀行均開始陸續採用人工智慧、大資料、雲計算等領域的核心技術,試圖將新技術深度植入到經營決策和金融服務流程,其過程並非一蹴而就。平安銀行是中國領先的“數字銀行”,其在嘗試利用資料賦能業務的過程中,因使用者使用資料門檻面臨數項挑戰:
資料治理難 – 銀行在業務使用的過程中使用的資料在時效性、一致性、完整性等方面存在疏漏。在獲取了海量使用者資料的前提下,其中可能包含了眾多無效資訊,例如空值、過期未更新資料、格式不統一等問題。
資料協同難 - 在集團推行數字化戰略的過程中,內部每個專業子公司也在積極進行數字化戰略轉型。由於銀行工作中業務量大,工作繁瑣,細分業務過多,資料的處理被按不同的模式處理,導致各部門間的溝通協同成本升高的同時降低了資料的可用性。
工具使用難 – 平安銀行僅零售業務就有近200名的資料開發和報表開發人員,同時,業務部門大量員工在均在使用都用資料做Excel、彙報或片區的通告,工作繁瑣,且效率存在侷限。
數字金融智慧應用案例解析:以Kyligence助力平安銀行打造指標平臺為例
Kyligence Enterprise 是Kyligence(跬智)基於Apache Kylin 的構建人工智慧增強型大資料管理和分析平臺,提供在 PB 級資料集上亞秒級標準 SQL 查詢響應,同時支援網際網路級的高併發訪問,助力業務使用者快速發現海量資料中的業務價值,驅動商業決策。針對平安銀行在簡化使用者使用資料門檻的目標,跬智基於其Kyligence Enterprise協助平安銀行打造了“潘多拉指標平臺”。
一、 核心引擎
Kyligence Enterprise 的AI 增強型智慧分析引擎可透過學習使用者分析行為及資料特徵,自動完成資料模型的準備和最佳化,從而顯著提高資料工程師和分析師的工作效率。平臺擁有三大核心功能:
統一資料檢視與多樣介面 – Kyligence Enterprise 平臺可為分析師和業務使用者提供統一的、經過整合及最佳化的全域性資料檢視。透過 SQL、MDX 及 Rest API 等多種介面,無縫對接各類主流 BI 產品,業務使用者可以繼續使用自己習慣的 BI 產品。
資料入口豐富 - Kyligence 可以對接豐富的資料來源,支援從多種資料儲存系統載入資料,並進行統一管理和加速,如關係型資料庫、MPP 資料庫、資料湖、雲等。Kyligence 還提供智慧的查詢路由能力,根據查詢場景選擇最合適的索引和執行引擎。
AI增強引擎協助資料分析 – 基於增強型OLAP引擎(Online Analytical Processing),利用機器學習技術從 SQL 歷史、查詢模式和分析師行為中智慧識別和推薦資料加速模型。
二、元件化架構
潘多拉指標平臺以指標這個企業最核心、最重要的資料資產為切入點,採用Kyligence Enterprise引擎對平臺進行模組化開發。其具體功能元件可分為:
指標應用 - 負責實現指標卡片,指標看板,智慧預警,歸因分析等BI+AI功能;
構建服務 - 負責把指標歸口到某個模型,並進行資料加工;
監控服務 - 負責監控構建任務的狀態、資源的使用率,以及資料治理等場景支援;
元資料模組 - 負責管理指標相關的元資料。
三、核心功能
潘多拉指標平臺的產品架構則主要分為需求接入、指標管理和指標應用三層。由於平臺建設目標主要是為業務需求服務,其關鍵“需求接入”層負責接入各業務線提出的需求,同時對相應指標的匹配、識別、建立、追蹤進行一站式管理。
在指標管理層中,系統對不同類別的資料包括元資料、指標資料、派生指標資料進行分類處理,且應用和管理接入不同的子系統,實現資料需求的全生命週期管理,資料初步處理時進行多維度的評估,利用AI演算法結合歷史指標資料自動計算實際場景預警閾值,並提供查詢功能,完成業務指標的管理之後接入視覺化、客群分析、指標分析等元件,快速挖掘不同場景下的資料價值,定位業務問題並歸因,節省人力,提升工作效率。
四、應用效果
透過建立潘多拉指標平臺,平安銀行成功打通了資料和應用。相較傳統的報表開發方式,使用指標平臺的整體交付效率至少提升了250%,同時,銀行顯著提升了叢集資源的整體利用率。透過規範的定義和自動化的檢測流程,指標平臺減少重複性指標的開發,保證指標口徑的一致性,使得企業的核心指標得到高度的複用。