-
1 # IT人劉俊明
-
2 # 囚徒289
雲計算(cloud computing)是基於網際網路的相關服務的增加、使用和交付模式,通常涉及透過網際網路來提供動態易擴充套件且經常是虛擬化的資源。雲是網路、網際網路的一種比喻說法。過去在圖中往往用雲來表示電信網,後來也用來表示網際網路和底層基礎設施的抽象。狹義雲計算指IT基礎設施的交付和使用模式,指透過網路以按需、易擴充套件的方式獲得所需資源;廣義雲計算指服務的交付和使用模式,指透過網路以按需、易擴充套件的方式獲得所需服務。這種服務可以是IT和軟體、網際網路相關,也可是其他服務。它意味著計算能力也可作為一種商品透過網際網路進行流通。
大資料(big data),或稱海量資料,指的是所涉及的資料量規模巨大到無法透過目前主流軟體工具,在合理時間內達到擷取、管理、處理、並整理成為幫助企業經營決策更積極目的的資訊。大資料的4V特點:Volume、Velocity、Variety、Veracity。
從技術上看,大資料與雲計算的關係就像一枚硬幣的正反面一樣密不可分。大資料必然無法用單臺的計算機進行處理,必須採用分散式計算架構。它的特色在於對海量資料的挖掘,但它必須依託雲計算的分散式處理、分散式資料庫、雲端儲存和虛擬化技術。
大資料管理,分散式進行檔案系統,如Hadoop、Mapreduce資料分割與訪問執行;同時SQL支援,以Hive+HADOOP為代表的SQL介面支援,在大資料技術上用雲計算構建下一代資料倉庫成為熱門話題。從系統需求來看,大資料的架構對系統提出了新的挑戰:
1、整合度更高。一個標準機箱最大限度完成特定任務。
2、配置更合理、速度更快。儲存、控制器、I/O通道、記憶體、CPU、網路均衡設計,針對資料倉庫訪問最優設計,比傳統類似平臺高出一個數量級以上。
3、整體能耗更低。同等計算任務,能耗最低。
4、系統更加穩定可靠。能夠消除各種單點故障環節,統一一個部件、器件的品質和標準。
5、管理維護費用低。資料藏的常規管理全部整合。
6、可規劃和預見的系統擴容、升級路線圖。
-
3 # 滿目山河空念遠
雲計算(cloud computing)是基於網際網路的相關服務的增加、使用和交付模式,通常涉及透過網際網路來提供動態易擴充套件且經常是虛擬化的資源。雲是網路、網際網路的一種比喻說法。過去在圖中往往用雲來表示電信網,後來也用來表示網際網路和底層基礎設施的抽象。狹義雲計算指IT基礎設施的交付和使用模式,指透過網路以按需、易擴充套件的方式獲得所需資源;廣義雲計算指服務的交付和使用模式,指透過網路以按需、易擴充套件的方式獲得所需服務。這種服務可以是IT和軟體、網際網路相關,也可是其他服務。它意味著計算能力也可作為一種商品透過網際網路進行流通。
大資料(big data),或稱海量資料,指的是所涉及的資料量規模巨大到無法透過目前主流軟體工具,在合理時間內達到擷取、管理、處理、並整理成為幫助企業經營決策更積極目的的資訊。大資料的4V特點:Volume、Velocity、Variety、Veracity。
從技術上看,大資料與雲計算的關係就像一枚硬幣的正反面一樣密不可分。大資料必然無法用單臺的計算機進行處理,必須採用分散式計算架構。它的特色在於對海量資料的挖掘,但它必須依託雲計算的分散式處理、分散式資料庫、雲端儲存和虛擬化技術。
大資料管理,分散式進行檔案系統,如Hadoop、Mapreduce資料分割與訪問執行;同時SQL支援,以Hive+HADOOP為代表的SQL介面支援,在大資料技術上用雲計算構建下一代資料倉庫成為熱門話題。從系統需求來看,大資料的架構對系統提出了新的挑戰:
1、整合度更高。一個標準機箱最大限度完成特定任務。
2、配置更合理、速度更快。儲存、控制器、I/O通道、記憶體、CPU、網路均衡設計,針對資料倉庫訪問最優設計,比傳統類似平臺高出一個數量級以上。
3、整體能耗更低。同等計算任務,能耗最低。
4、系統更加穩定可靠。能夠消除各種單點故障環節,統一一個部件、器件的品質和標準。
5、管理維護費用低。資料藏的常規管理全部整合。
6、可規劃和預見的系統擴容、升級路線圖。
-
4 # 末清72
雲計算與大資料概述
雲計算(cloud computing)是基於網際網路的相關服務的增加、使用和交付模式,通常涉及透過網際網路來提供動態易擴充套件且經常是虛擬化的資源。雲是網路、網際網路的一種比喻說法。過去在圖中往往用雲來表示電信網,後來也用來表示網際網路和底層基礎設施的抽象。狹義雲計算指IT基礎設施的交付和使用模式,指透過網路以按需、易擴充套件的方式獲得所需資源;廣義雲計算指服務的交付和使用模式,指透過網路以按需、易擴充套件的方式獲得所需服務。這種服務可以是IT和軟體、網際網路相關,也可是其他服務。它意味著計算能力也可作為一種商品透過網際網路進行流通。
大資料(big data),或稱海量資料,指的是所涉及的資料量規模巨大到無法透過目前主流軟體工具,在合理時間內達到擷取、管理、處理、並整理成為幫助企業經營決策更積極目的的資訊。大資料的4V特點:Volume、Velocity、Variety、Veracity。
從技術上看,大資料與雲計算的關係就像一枚硬幣的正反面一樣密不可分。大資料必然無法用單臺的計算機進行處理,必須採用分散式計算架構。它的特色在於對海量資料的挖掘,但它必須依託雲計算的分散式處理、分散式資料庫、雲端儲存和虛擬化技術。
大資料管理,分散式進行檔案系統,如Hadoop、Mapreduce資料分割與訪問執行;同時SQL支援,以Hive+HADOOP為代表的SQL介面支援,在大資料技術上用雲計算構建下一代資料倉庫成為熱門話題。從系統需求來看,大資料的架構對系統提出了新的挑戰:
1、整合度更高。一個標準機箱最大限度完成特定任務。
2、配置更合理、速度更快。儲存、控制器、I/O通道、記憶體、CPU、網路均衡設計,針對資料倉庫訪問最優設計,比傳統類似平臺高出一個數量級以上。
3、整體能耗更低。同等計算任務,能耗最低。
4、系統更加穩定可靠。能夠消除各種單點故障環節,統一一個部件、器件的品質和標準。
5、管理維護費用低。資料藏的常規管理全部整合。
6、可規劃和預見的系統擴容、升級路線圖。
雲計算與大資料的關係
簡單來說:雲計算是硬體資源的虛擬化,而大資料是海量資料的高效處理。雖然從這個解釋來看也不是完全貼切,但是卻可以幫助對這兩個名字不太明白的人很快理解其區別。當然,如果解釋更形象一點的話,雲計算相當於我們的計算機和作業系統,將大量的硬體資源虛擬化後在進行分配使用。
可以說,大資料相當於海量資料的“資料庫”,通觀大資料領域的發展我們也可以看出,當前的大資料發展一直在向著近似於傳統資料庫體驗的方向發展,一句話就是,傳統資料庫給大資料的發展提供了足夠大的空間。
大資料的總體架構包括三層:資料儲存,資料處理和資料分析。資料先要透過儲存層儲存下來,然後根據資料需求和目標來建立相應的資料模型和資料分析指標體系對資料進行分析產生價值。
而中間的時效性又透過中間資料處理層提供的強大的平行計算和分散式計算能力來完成。三者相互配合,這讓大資料產生最終價值。
不看現在雲計算發展情況,未來的趨勢是:雲計算作為計算資源的底層,支撐著上層的大資料處理,而大資料的發展趨勢是,實時互動式的查詢效率和分析能力,借用Google一篇技術論文中的話:“動一下滑鼠就可以在妙極操作PB級別的資料”,確實讓人興奮不能止。
-
5 # 北新
大資料(big data),指無法在一定時間範圍內用常規軟體工具進行捕捉、管理和處理的資料集合,是需要新處理模式才能具有更強的決策力、洞察發現力和流程最佳化能力的海量、高增長率和多樣化的資訊資產。大資料的5V特點(IBM提出):Volume(大量)、Velocity(高速)、Variety(多樣)、Value(低價值密度)、Veracity(真實性),平臺有hadoop
回覆列表
這是一個非常好的問題,作為一名IT領域的科研教育工作者,我來回答一下。
首先,大資料和雲計算未來在工業網際網路時代都將發揮出越來越重要的作用,所以當前不論是選擇學習大資料還是雲計算,未來的發展空間都比較大。
從技術體系結構上來看,大資料和雲計算都以分散式儲存和分散式計算為基礎,只不過各自的關注點有所不同,大資料的關注點在於資料的價值化,而云計算的關注點則在於為使用者提供算力服務,根據不同使用者的需求,雲計算能夠提供IaaS、PaaS和SaaS三大類服務。
大資料的技術體系緊緊圍繞資料的價值化來展開,包括資料採集、資料分析、資料應用和資料安全等等,涉及到的崗位主要包括大資料開發崗位、大資料分析崗位和大資料運維崗位,目前這些崗位的崗位附加值還是比較高的。
大資料開發崗位需要重點學習程式語言知識和大資料平臺知識,而大資料分析崗位則需要重點學習統計學知識和機器學習知識,所以如果數學基礎比較紮實,可以重點考慮一下大資料領域的相關崗位。
雲計算當前的落地應用情況還是比較不錯的,很多企業都是藉助於雲計算來開啟工業網際網路的大門,當前雲計算也逐漸開始從IaaS向PaaS和SaaS覆蓋,雲計算的全棧化和智慧化將是一個比較明顯的發展趨勢。
從崗位需求情況來看,雲計算未來的崗位需求潛力依然非常大,未來雲計算與行業領域的結合會釋放出大量的創新點,所以當前學習雲計算相關技術也是不錯的選擇。