回覆列表
  • 1 # IT技術管理那些事兒

    資料倉庫,是為企業所有級別的決策制定過程,提供所有型別資料支援的戰略集合。它是單個數據儲存,出於分析性報告和決策支援目的而建立。既然要獲取全部資料,必然涉及到多系統,各型別資料庫的對接問題,還有資料抽取、整理的問題。

    這時候ETL工具的作用就集中體現出來了,資料的抽取、轉換、載入直到供人們去分析使用,ETL就是資料抽取、轉換、載入的過程。

    有些地方可能選擇的是ELT,先載入在轉換。對數倉來說,ETL首先要考慮業務需求,最後資料落地模型,要體現某種主題。

    然後從資料來源考慮哪些欄位是可以用的,在進行ETL。現在ETL工具很多,所以程式設計能力很難在這方面體現出來,對於公司來說,更看重的是ETL的思路。通俗的想,資料倉庫就像大水池,給水池蓄水需要泵和水管,那ETL就是承擔泵和水管的功能。

  • 2 # 帆軟軟體

    為什麼會出現資料倉庫?沒有資料倉庫時,我們需要直接從業務資料庫中取資料來做分析,雖然可以用於分析,但需要做很多額外的調整,在我看來,主要有以下幾個問題:結構複雜,資料髒亂,難以理解,缺少歷史,大規模查詢緩慢。

    然後資料倉庫就出現了,各種資料都有結構、有規模地在一起,做決策更有一套。

    什麼是ETL?簡單來說,如果把資料分析類比成做菜,ETL相當於備菜。

    資料倉庫是單個數據儲存,出於分析性報告和決策支援目的而建立。既然要獲取全部資料,必然涉及到多系統,各型別資料庫的對接問題,還有資料抽取、整理的問題。

    這時候ETL工具的作用就集中體現出來了,資料的抽取、轉換、載入直到供人們去分析使用。

    通俗的想,資料倉庫就像大水池,給水池蓄水需要泵和水管,那ETL就是承擔泵和水管的功能。

  • 3 # EmacserVimer

    一句話,ETL工具作用不限於資料倉庫(DW),但在資料倉庫生成資料並體現其價值時ETL工具必不可少。

    現在是盛行大資料包裝的時代,周遭的人耳濡目染也瞭解一二。於公司層面而言,有前瞻性思維的已經初有成效;想用大資料噱頭來宣傳自己的,會讓其使用者認為他家產品是高大上存在。所以大資料背景下ETL方向的工程師很吃香,幾乎稍有體量的網際網路技術公司都會發布ETL工程師的招聘職位,工資視工作經驗而定。

    以個人經歷來講,ETL工具就是將從業務處理資料集、外部資料來源和資料儲存介質產生的元資料上按需求規則抽取資料,然後根據提供靈活的定製規則來清洗資料,之後將控制好質量的資料轉換,最終按照預先定義好的模型,將資料載入到資料倉庫。

    有的公司使用ETL工具將萃取出來的資料僅限內部使用,但是也有一些公司會根據自身在行業優勢和業務的平面資料沉澱提供可訂製化資料服務,然後透過統一API平臺根據平臺授權,將資料倉庫的資料透過工廠模式的方法對外提供不同維度資料,從而產生資料價值。通常ETL工具萃取出來的資料是從資料的大時間跨或使用者的大基數資料中提取,從而具有預判和預估價值。

    ETL工具有很多,例如Kettle、DataPipeline、Informatica和Talend都是比較知名ETL工具。但是有些工具也能作為ETL或ELT工具。就好ELK體系中的logstash,可以用它來統一對應用程式日誌進行收集管理,提供強大的日誌管理功能。大資料能手Hadoop生態圈中的kafka也可能充當ETL工具,充當資料通道。

    ETL與BI的結合越來越流行,這是對大體量公司自身質量提升重要一環。BI透過合理、高效的分析和處理,為決策者提供可靠的決策依據。兩者相輔相成,作用不可忽視。

  • 中秋節和大豐收的關聯?
  • 除遊戲以外,手機還有什麼有趣的或者好玩的軟體App?