-
1 # IT人劉俊明
-
2 # 囚徒289
雲計算與大資料概述
雲計算(cloud computing)是基於網際網路的相關服務的增加、使用和交付模式,通常涉及透過網際網路來提供動態易擴充套件且經常是虛擬化的資源。雲是網路、網際網路的一種比喻說法。過去在圖中往往用雲來表示電信網,後來也用來表示網際網路和底層基礎設施的抽象。狹義雲計算指IT基礎設施的交付和使用模式,指透過網路以按需、易擴充套件的方式獲得所需資源;廣義雲計算指服務的交付和使用模式,指透過網路以按需、易擴充套件的方式獲得所需服務。這種服務可以是IT和軟體、網際網路相關,也可是其他服務。它意味著計算能力也可作為一種商品透過網際網路進行流通。
大資料(big data),或稱海量資料,指的是所涉及的資料量規模巨大到無法透過目前主流軟體工具,在合理時間內達到擷取、管理、處理、並整理成為幫助企業經營決策更積極目的的資訊。大資料的4V特點:Volume、Velocity、Variety、Veracity。
從技術上看,大資料與雲計算的關係就像一枚硬幣的正反面一樣密不可分。大資料必然無法用單臺的計算機進行處理,必須採用分散式計算架構。它的特色在於對海量資料的挖掘,但它必須依託雲計算的分散式處理、分散式資料庫、雲端儲存和虛擬化技術。
大資料管理,分散式進行檔案系統,如Hadoop、Mapreduce資料分割與訪問執行;同時SQL支援,以Hive+HADOOP為代表的SQL介面支援,在大資料技術上用雲計算構建下一代資料倉庫成為熱門話題。從系統需求來看,大資料的架構對系統提出了新的挑戰:
1、整合度更高。一個標準機箱最大限度完成特定任務。
2、配置更合理、速度更快。儲存、控制器、I/O通道、記憶體、CPU、網路均衡設計,針對資料倉庫訪問最優設計,比傳統類似平臺高出一個數量級以上。
3、整體能耗更低。同等計算任務,能耗最低。
4、系統更加穩定可靠。能夠消除各種單點故障環節,統一一個部件、器件的品質和標準。
5、管理維護費用低。資料藏的常規管理全部整合。
6、可規劃和預見的系統擴容、升級路線圖。
雲計算與大資料的關係
簡單來說:雲計算是硬體資源的虛擬化,而大資料是海量資料的高效處理。雖然從這個解釋來看也不是完全貼切,但是卻可以幫助對這兩個名字不太明白的人很快理解其區別。當然,如果解釋更形象一點的話,雲計算相當於我們的計算機和作業系統,將大量的硬體資源虛擬化後在進行分配使用。
可以說,大資料相當於海量資料的“資料庫”,通觀大資料領域的發展我們也可以看出,當前的大資料發展一直在向著近似於傳統資料庫體驗的方向發展,一句話就是,傳統資料庫給大資料的發展提供了足夠大的空間。
大資料的總體架構包括三層:資料儲存,資料處理和資料分析。資料先要透過儲存層儲存下來,然後根據資料需求和目標來建立相應的資料模型和資料分析指標體系對資料進行分析產生價值。
而中間的時效性又透過中間資料處理層提供的強大的平行計算和分散式計算能力來完成。三者相互配合,這讓大資料產生最終價值。
不看現在雲計算發展情況,未來的趨勢是:雲計算作為計算資源的底層,支撐著上層的大資料處理,而大資料的發展趨勢是,實時互動式的查詢效率和分析能力,借用Google一篇技術論文中的話:“動一下滑鼠就可以在妙極操作PB級別的資料”,確實讓人興奮不能止。
-
3 # 滿目山河空念遠
雲計算與大資料概述
雲計算(cloud computing)是基於網際網路的相關服務的增加、使用和交付模式,通常涉及透過網際網路來提供動態易擴充套件且經常是虛擬化的資源。雲是網路、網際網路的一種比喻說法。過去在圖中往往用雲來表示電信網,後來也用來表示網際網路和底層基礎設施的抽象。狹義雲計算指IT基礎設施的交付和使用模式,指透過網路以按需、易擴充套件的方式獲得所需資源;廣義雲計算指服務的交付和使用模式,指透過網路以按需、易擴充套件的方式獲得所需服務。這種服務可以是IT和軟體、網際網路相關,也可是其他服務。它意味著計算能力也可作為一種商品透過網際網路進行流通。
大資料(big data),或稱海量資料,指的是所涉及的資料量規模巨大到無法透過目前主流軟體工具,在合理時間內達到擷取、管理、處理、並整理成為幫助企業經營決策更積極目的的資訊。大資料的4V特點:Volume、Velocity、Variety、Veracity。
從技術上看,大資料與雲計算的關係就像一枚硬幣的正反面一樣密不可分。大資料必然無法用單臺的計算機進行處理,必須採用分散式計算架構。它的特色在於對海量資料的挖掘,但它必須依託雲計算的分散式處理、分散式資料庫、雲端儲存和虛擬化技術。
大資料管理,分散式進行檔案系統,如Hadoop、Mapreduce資料分割與訪問執行;同時SQL支援,以Hive+HADOOP為代表的SQL介面支援,在大資料技術上用雲計算構建下一代資料倉庫成為熱門話題。從系統需求來看,大資料的架構對系統提出了新的挑戰:
1、整合度更高。一個標準機箱最大限度完成特定任務。
2、配置更合理、速度更快。儲存、控制器、I/O通道、記憶體、CPU、網路均衡設計,針對資料倉庫訪問最優設計,比傳統類似平臺高出一個數量級以上。
3、整體能耗更低。同等計算任務,能耗最低。
4、系統更加穩定可靠。能夠消除各種單點故障環節,統一一個部件、器件的品質和標準。
5、管理維護費用低。資料藏的常規管理全部整合。
6、可規劃和預見的系統擴容、升級路線圖。
雲計算與大資料的關係
簡單來說:雲計算是硬體資源的虛擬化,而大資料是海量資料的高效處理。雖然從這個解釋來看也不是完全貼切,但是卻可以幫助對這兩個名字不太明白的人很快理解其區別。當然,如果解釋更形象一點的話,雲計算相當於我們的計算機和作業系統,將大量的硬體資源虛擬化後在進行分配使用。
可以說,大資料相當於海量資料的“資料庫”,通觀大資料領域的發展我們也可以看出,當前的大資料發展一直在向著近似於傳統資料庫體驗的方向發展,一句話就是,傳統資料庫給大資料的發展提供了足夠大的空間。
大資料的總體架構包括三層:資料儲存,資料處理和資料分析。資料先要透過儲存層儲存下來,然後根據資料需求和目標來建立相應的資料模型和資料分析指標體系對資料進行分析產生價值。
而中間的時效性又透過中間資料處理層提供的強大的平行計算和分散式計算能力來完成。三者相互配合,這讓大資料產生最終價值。
不看現在雲計算發展情況,未來的趨勢是:雲計算作為計算資源的底層,支撐著上層的大資料處理,而大資料的發展趨勢是,實時互動式的查詢效率和分析能力,借用Google一篇技術論文中的話:“動一下滑鼠就可以在妙極操作PB級別的資料”,確實讓人興奮不能止。
回覆列表
從技術的角度來說,雲計算和大資料並不分家,所謂的大資料平臺就是雲計算技術的延伸。雲計算的幾個關鍵特點是多使用者、虛擬化、分散式儲存和分散式計算,其中分散式儲存和分散式計算也是大資料平臺的關鍵技術,所以從技術的角度來說,大資料是雲計算的一個技術延伸,大資料本身更像是一個“管理概念”而不像是“技術描述”。
雲計算的核心是服務,而服務也正是網際網路的核心內容之一,隨著服務的發展必然會產生大量的資料,這些資料來自於網際網路的各個角落,有個人資料也有行業資料,更有物聯網系統帶來的非結構化資料,這些資料就構成了大資料的基礎。
大資料的一系列技術都是圍繞資料展開的,而這些資料正是來自於雲計算平臺,所以從這個角度來說,不是大資料一定要有云計算,而是雲計算產生了大資料,沒有云計算平臺作為服務支援,大資料就無從談起了。
從整合網際網路領域的技術分佈來看,往往從事雲計算服務的公司也是大資料技術的提供者和推動者,比如亞馬遜、谷歌、阿里等公司。所以,大資料是離不開雲計算的,但是隨著大資料產業鏈的不斷髮展,很多做資料分析細分業務的公司也在逐漸從雲計算業務中剝離出來,這也是行業發展的一個必然結果。從這個角度來看,未來雲計算與大資料的關係更像是一種上下游的合作關係,雲計算提供儲存服務,而大資料則提供分析服務。
未來,隨著大資料的不斷髮展,雲計算的重要程度將逐漸提升,大資料和雲計算也必將互相推動、共同發展。
如果有大資料方面的問題,也可以諮詢我。