Extraction-Transformation-Loading的縮寫,中文名稱為資料提取、轉換和載入。 ETL工具有:OWB(Oracle Warehouse Builder)、ODI(Oracle Data Integrator)、Informatic PowerCenter、Trinity、AICloudETL、DataStage、Repository Explorer、Beeload、Kettle、DataSpider
目前,ETL工具的典型代表有:Informatica、Datastage、OWB、微軟DTS、Beeload、Kettle……
開源的工具有eclipse的etl外掛。cloveretl.
資料整合:快速實現ETL
ETL的質量問題具體表現為正確性、完整性、一致性、完備性、有效性、時效性和可獲取性等幾個特性。而影響質量問題的原因有很多,由系統整合和歷史資料造成的原因主要包括:業務系統不同時期系統之間資料模型不一致;業務系統不同時期業務過程有變化;舊系統模組在運營、人事、財務、辦公系統等相關資訊的不一致;遺留系統和新業務、管理系統資料整合不完備帶來的不一致性。
實現ETL,首先要實現ETL轉換的過程。它可以集中地體現為以下幾個方面:
1、空值處理:可捕獲欄位空值,進行載入或替換為其他含義資料,並可根據欄位空值實現分流載入到不同目標庫。
2、規範化資料格式:可實現欄位格式約束定義,對於資料來源中時間、數值、字元等資料,可自定義載入格式。
3、拆分資料:依據業務需求對欄位可進行分解。例,主叫號 861082585313-8148,可進行區域碼和電話號碼分解。
4、驗證資料正確性:可利用Lookup及拆分功能進行資料驗證。例如,主叫號861082585313-8148,進行區域碼和電話號碼分解後,可利用Lookup返回主叫閘道器或交換機記載的主叫地區,進行資料驗證。
5、資料替換:對於因業務因素,可實現無效資料、缺失資料的替換。
6、Lookup:查獲丟失資料 Lookup實現子查詢,並返回用其他手段獲取的缺失欄位,保證欄位完整性。
7、建立ETL過程的主外來鍵約束:對無依賴性的非法資料,可替換或匯出到錯誤資料檔案中,保證主鍵唯一記錄的載入。
Extraction-Transformation-Loading的縮寫,中文名稱為資料提取、轉換和載入。 ETL工具有:OWB(Oracle Warehouse Builder)、ODI(Oracle Data Integrator)、Informatic PowerCenter、Trinity、AICloudETL、DataStage、Repository Explorer、Beeload、Kettle、DataSpider
目前,ETL工具的典型代表有:Informatica、Datastage、OWB、微軟DTS、Beeload、Kettle……
開源的工具有eclipse的etl外掛。cloveretl.
資料整合:快速實現ETL
ETL的質量問題具體表現為正確性、完整性、一致性、完備性、有效性、時效性和可獲取性等幾個特性。而影響質量問題的原因有很多,由系統整合和歷史資料造成的原因主要包括:業務系統不同時期系統之間資料模型不一致;業務系統不同時期業務過程有變化;舊系統模組在運營、人事、財務、辦公系統等相關資訊的不一致;遺留系統和新業務、管理系統資料整合不完備帶來的不一致性。
實現ETL,首先要實現ETL轉換的過程。它可以集中地體現為以下幾個方面:
1、空值處理:可捕獲欄位空值,進行載入或替換為其他含義資料,並可根據欄位空值實現分流載入到不同目標庫。
2、規範化資料格式:可實現欄位格式約束定義,對於資料來源中時間、數值、字元等資料,可自定義載入格式。
3、拆分資料:依據業務需求對欄位可進行分解。例,主叫號 861082585313-8148,可進行區域碼和電話號碼分解。
4、驗證資料正確性:可利用Lookup及拆分功能進行資料驗證。例如,主叫號861082585313-8148,進行區域碼和電話號碼分解後,可利用Lookup返回主叫閘道器或交換機記載的主叫地區,進行資料驗證。
5、資料替換:對於因業務因素,可實現無效資料、缺失資料的替換。
6、Lookup:查獲丟失資料 Lookup實現子查詢,並返回用其他手段獲取的缺失欄位,保證欄位完整性。
7、建立ETL過程的主外來鍵約束:對無依賴性的非法資料,可替換或匯出到錯誤資料檔案中,保證主鍵唯一記錄的載入。