回覆列表
  • 1 # 聶永真

      一、大資料視覺化是什麼

      資料視覺化要根據資料的特性,如時間資訊和空間資訊等,找到合適的視覺化方式,例如圖表(Chart)、圖(Diagram)和地圖(Map)等,將資料直觀地展現出來,以幫助人們理解資料,同時找出包含在海量資料中的規律或者資訊。資料視覺化是大資料生命週期管理的最後一步,也是最重要的一步。

      

      資料視覺化起源於圖形學、計算機圖形學、人工智慧、科學視覺化以及使用者介面等領域的相互促進和發展,是當前計算機科學的一個重要研究方向,它利用計算機對抽象資訊進行直觀的表示,以利於快速檢索資訊和增強認知能力。資料視覺化系統並不是為了展示使用者的已知的資料之間的規律,而是為了幫助使用者透過認知資料,有新的發現,發現這些資料所反映的實質。

      

      二、大資料視覺化的基本概念

      1) 資料空間。由n維屬性、m個元素共同組成的資料集構成的多維資訊空間。

      2) 資料開發。利用一定的工具及演算法對資料進行定量推演及計算。

      3) 資料分析。對多維資料進行切片、塊、旋轉等動作剖析資料,從而可以多角度多側面的觀察資料。

      4) 資料視覺化。將大型集中的資料透過圖形影象方式表示,並利用資料分析和開發工具發現其中未知資訊。

      三、大資料視覺化的實施

      大資料視覺化的實施是一系列資料的轉換過程,如下圖所示:

      

      我們有原始資料,透過對原始資料進行標準化、結構化的處理,把它們整理成資料表。將這些數值轉換成視覺結構(包括形狀、位置、尺寸、值、方向、色彩、紋理等),透過視覺的方式把它表現出來。例如將高中低的風險轉換成紅黃藍等色彩,數值轉換成大小。將視覺結構進行組合,把它轉換成圖形傳遞給使用者,使用者透過人機互動的方式進行反向轉換,去更好地瞭解資料背後有什麼問題和規律。

      

      從技術上來說,大資料視覺化的實施步驟主要有四項:需求分析,建設資料倉庫/資料集市模型,資料抽取、清洗、轉換、載入(ETL),建立視覺化分析場景。

      1) 需求分析

      需求分析是大資料視覺化專案開展的前提,要描述專案背景與目的、業務目標、業務範圍、業務需求和功能需求等內容,明確實施單位對視覺化的期望和需求。包括需要分析的主題、各主題可能檢視的角度、需要發現企業各方面的規律、使用者的需求等內容。

      2) 建設資料倉庫/資料集市的模型

      資料倉庫/資料集市的模型是在需求分析的基礎上建立起來的。資料倉庫/資料集市建模除了資料庫的ER建模和關係建模,還包括專門針對資料倉庫的維度建模技術。維度建模的關鍵在於明確下面四個問題:

      哪些維度對主題分析有用?

      如何使用現有資料生成維表?

      用什麼指標來“度量”主題?

      如何使用現有資料生成事實表?

      3) 資料抽取、清洗、轉換、載入(ETL)

      資料抽取是指將資料倉庫/集市需要的資料從各個業務系統中抽離出來,因為每個業務系統的資料質量不同,所以要對每個資料來源建立不同的抽取程式,每個資料抽取流程都需要使用介面將元資料傳送到清洗和轉換階段。

      資料清洗的目的是保證抽取的原資料的質量符合資料倉庫/集市的要求並保持資料的一致性。

      資料轉換是整個ETL過程的核心部分,主要是對原資料進行計算和放大。資料載入是按照資料倉庫/集市模型中各個實體之間的關係將資料載入到目標表中。

      4) 建立視覺化場景

      建立視覺化場景是對資料倉庫/集市中的資料進行分析處理的成果,使用者能夠藉此從多個角度檢視企業/單位的運營狀況,按照不同的主題和方式探查企業/單位業務內容的核心資料,從而作出更精準的預測和判斷。

      四、大資料視覺化的挑戰

      大資料視覺化面臨的挑戰主要指視覺化分析過程中資料的呈現方式,包括視覺化技術和資訊視覺化顯示。大資料視覺化的方法迎接了四個“V”的挑戰,同時這也是4個機遇。

      體量(Volume):使用資料量很大的資料集開發,並從大資料中獲得意義。

      多源(Variety):開發過程中需要儘可能多的資料來源。

      高速(Velocity):企業不用再分批處理資料,而是可以實時處理全部資料。

      質量(Value):不僅為使用者建立有吸引力的資訊圖和熱點圖,還能透過大資料獲取意見,創造商業價值。

      

      五、大資料視覺化的發展趨勢

      大資料時代,大規模、高緯度、非結構化資料層出不窮,要將這樣的資料以視覺化形式完美的展示出來, 傳統的顯示技術已很難滿足這樣的需求。而高分高畫質大螢幕拼接視覺化技術正是為解決這一問題而發展起來的, 它具有超大畫面、純真彩色、高亮度、高解析度等顯示優勢, 結合資料實時渲染技術、GIS空間資料視覺化技術,實現資料實時圖形視覺化、場景化以及實時互動,讓使用者更加方便地進行資料的理解和空間知識的呈現,可應用於指揮監控、視景模擬及三維互動等眾多領域。

  • 中秋節和大豐收的關聯?
  • 豬細小病毒病症狀是怎樣的?