-
1 # 淵渟澤匯i
-
2 # 視界雲科技
Hadoop & Spark
首先二者均不是屬於產品類別，理解為生態系統或者也有人將其稱為“大資料通用處理平臺”也是可以的，這種稱呼也更為準確
Hadoop是由Apache基金會所開發的分散式系統基礎架構
Hadoop主要包括：
Hadoop分散式檔案系統：一個分散式的、面向塊的、不可更新的、高度伸縮性的、可執行在叢集中普通硬碟上的檔案系統
MapReduce框架：一個基本的在叢集中一組標準硬體上執行的分散式計算框架
YARN ：Hadoop生態叢集中預設的資源管理器
Hive ：構建在MapReduce框架之上的類SQL查詢引擎
Hbase：基於HDFS的鍵值對儲存系統為Hadoop提供了聯機事務處理(OLTP)能力
圖片參自：中國大資料
Spark而言是專為大規模資料處理而設計的快速通用的計算引擎，實際上現階段其還不夠成熟
Spark主要包括：
Spark Core ：用於通用分散式資料處理的引擎
Spark Sql ：執行在Spark上的SQL查詢語句支援一系列SQL函式和HiveQL
Spark Streaming：基於spark的微批處理引擎
MLlib：構建在spark之上的機器學習庫
圖片參自：中國大資料
三劍客：IaaS 、PaaS、SaaS其實就是雲計算的三類分層服務：
基礎設施在最下端：Infrastructure-as-a-Service(IaaS)
平臺在中間：Platform-as-a-Service(PaaS)
軟體在頂端：Software-as-a-Service(SaaS)
IaaS ：Infrastructure as a Service
基礎設施即服務
把計算基礎(伺服器、網路技術、儲存和資料中心空間)作為一項服務提供給客戶。它也包括提供作業系統和虛擬化技術、來管理資源。消費者透過Internet可以從完善的計算機基礎設施獲得服務。
PaaS：Platform as a Service
平臺即服務
PaaS實際上是指將軟體研發的平臺作為一種服務，供應商提供超過基礎設施的服務，一個作為軟體開發和執行環境的整套解決方案，即以SaaS的模式提交給使用者。因此，PaaS也是SaaS模式的一種應用。但是，PaaS的出現可以加快SaaS的發展，尤其是加快SaaS應用的開發速度。
SaaS：Software as a Service
軟體即服務
是一種交付模式，其中應用作為一項服務託管，透過Internet提供給使用者;幫助客戶更好地管理它們的IT專案和服務、確保它們IT應用的質量和效能，監控它們的線上業務。
雲計算：Cloud Computing當需要的時候，扭開水龍頭，水就來了，我只需要操心交水費就是了！
當你需要用一個軟體時，你不用跑去電腦城，開啟應用商店，它就下載下來了，你只需要交錢就是了；
當你想看書的時候，你不用跑去書城，只需要開啟閱讀軟體，找到這樣的一本書，在手機上閱讀；
當你想聽音樂的時候，你不用再跑去音像店苦苦找尋CD光碟，開啟音樂軟體，就能聆聽音樂；
雲計算，像在每個不同地區開設不同的自來水公司，沒有地域限制，優秀的雲軟體服務商，向世界每個角落提供軟體服務——就像天空上的雲一樣，不論你身處何方，只要你抬頭，就能看見！
“雲計算”的五大特點：
1.大規模、分散式 2.虛擬化 3.高可用性和擴充套件性 4.按需服務，更加經濟 5.安全
“雲計算”已經深深植入到我們生活中的點點滴滴，平時常用的那些APP或網站，基本都離不開“雲計算”作為背後的強大服務和技術支援，如剁手黨愛恨交加的淘寶、京東，社交痴迷黨的微信、微博等等。於此同時，越來越多的企業機構乃至政務部門，開始使用基於雲的平臺服務，生活因“雲計算”正在發生著革命性的變革和改變！ -
3 # 桃花原記
我來總結一下這幾個概念。
總地來說，狹義的Hadoop 也就是最初的版本：只有HDFS Map Reduce
後續出現很多儲存，計算，管理 框架。
Hadoop Map Reduce 和 Spark 可以比較，因為他們都是大資料分析的計算框架。
Spark 有很多行元件，功能更強大，速度更快。
以上這些都是大資料處理的工具。
什麼是雲計算？再說雲計算之前，我們說為什麼需要"雲"呢？
這個原因是大資料的出現。
那什麼是大資料呢？
我們原來軟體處理的資料都是一些結構化的資料。比如說學生成績。工廠生產的物料資訊。公司的銷售情況。資料的都是有一定格式的。
而我們現在多媒體的發展。除了有資料的資訊。還有，語音，影片，圖片。種類很多。
另外就是數量巨大。現在我們自媒體，每個人每天都可以發很多資訊。依靠單臺計算機來處理這些資訊讀取，處理，儲存是不夠的。後續有巨型機。硬體效能很高的機器。但是這種機器非常昂貴。
所以雲計算出現了。它可以把非常多的普通的計算機結合起來。這樣整個算力就可以擴大了。
一系列的技術來把這些普通的計算機整合。處理大資料。對這些大資料的處理技術就是雲計算。所以我們看到很多公司建立了自己的資料中心雲計算中心。自己使用的同時來對外提供服務。
比如阿里雲，百度雲，騰訊雲這些。其他公司就不需要自己的資料中心。把自己的資料接入雲中心，使用雲計算處理。成本低。處理能力強大。
雲計算能幹什麼呢？很顯然，我們剛才提到的對大資料的處理。
我們發現今年來，雲計算能做更多的事情。因為機器學習資料探勘的出現。把這些技術和雲計算的功能結合起來。又產生了很多的應用。
比如預測的功能。消費者消費行為的精準預測。精準營銷。比如你在網上買了一個尿不溼。他會問，你要不要奶瓶和奶粉？
還有我們人臉識別的機器學習。這麼多的資料在進行人臉識別的計算的時候，是透過雲計算實現的。
以AI機器學習這些演算法。都是透過雲計算出來的功能。雲計算就是分散式計算是一個手段。當各種演算法機器學習與雲計算相互結合的時候。就出現了很多的應用。
舉個具體的例子你用你的信用卡消費時候。會有經常消費的記錄，比如說哪家店？地址在哪兒？
如果某天在國外發生了一筆消費。你就會接收到通知。問，你是不是有異常消費，是不是卡丟了？
這個速度是非常快的。在你正常刷卡的時候，每筆消費都會後臺有監視。那麼所有使用者的刷卡記錄都要實時監視。用幾臺大型機是解決不了的。用更多的大型機成本高。所以銀行就會選擇使用雲計算這些低成本的機器。
再舉個例子新冠疫情爆發。你的行為路線。你的消費資料。更多的關於你的個人資訊。透過大資料的雲計算都能夠計算出來
…………………………………………
如題，連續半個月刷論壇，看資料（純自主，沒人指導），還是無法準確的理解上面幾個概念以及從屬關係。希望相關技術前輩可以指教一下，從而對整個產業鏈有一個清洗的宏觀認識。疑問1：Hadoop和spark是不是搭載在雲計算上面的搜尋引擎？類似百度在Windows上面一樣？只不過Hadoop和spark又自帶的分析過程，只要輸入相關的操作命令即可，我這樣理解是對的嗎？疑問2：SaaS(按軟體)，PaaS（按平臺），IaaS（按構架）屬於雲計算的3個應用平臺，但我還是不太懂怎樣理解這個“平臺”的歸類標準，具體資料上面的解釋讀起來有困難，我不是計算機專業，希望可以得到通俗一點的解釋。疑問3：接著疑問2，例如如果按照SaaS去搭建企業自身的雲平臺，供應商只是提供軟體，那企業的資料就要儲存在供應商的後臺資料儲存伺服器，網際網路公司應該對資料都很敏感，這樣按照常人理解，不科學。疑問4：題主應屆生剛畢業進入IT行業做大型機的售前工作，拋開傳統的硬體服務領域，往雲平臺領域去推廣大型機是潛在的市場，因此現在不僅在努力學習計算機，作業系統等知識，還在學習雲計算，大資料領域知識，有點亂，希望前輩們指導指導。
回覆列表
雲計算
雲計算是一種按使用量付費的模式，這種模式提供可用的、便捷的、按需的網路訪問。透過雲計算，無需先期巨資投入硬體，再花大量時間來維護和管理這些硬體。與此相反，透過可配置的計算資源共享池（包括網路，伺服器，儲存，應用軟體，服務），可以精準配置所需的適當型別和規模的計算資源，可以根據需要訪問任意多的資源，而且只需按實際用量付費。
雲計算特徵 虛擬化：雲計算將傳統的計算、網路和儲存資源透過提供虛擬化、容錯和並行處理的軟體，轉化成可以彈性伸縮的服務。雲計算支援使用者在任意位置、使用各種終端獲取應用服務。
無所不在的網路訪問：藉助於不同的客戶端來透過標準的應用對網路訪問的可用能力。
經濟性：在達到同樣效能的前提下，組建一個超級計算機所消耗的資金很多，而云計算透過採用大量商業機組成叢集的方式，所需要的費用與之相比要少很多。
服務可計量：雲系統對服務型別透過計量的方法來自動控制和最佳化資源使用。資源的使用可被監測、控制以及對供應商和使用者提供透明的報告（即付即用的模式）。
SaaS
SaaS(Software as a Service; 軟體即服務）是一種基於網際網路提供軟體服務的應用模式。簡單地說，就是使用者不用再購買軟體，而是租用基於網際網路的軟體，來管理企業經營活動，且無需對軟體進行維護，服務提供商全權管理和維護軟體。對於許多企業來說，SaaS是採用先進技術的最好途徑，它消除了企業購買、構建和維護基礎設施和應用程式的需要，另外還可以獲得相關的增值服務。
服務形式 即訂即用：SaaS應用的安裝、部署和維護都是服務提供商的事情，使用者無需關心。當用戶需要使用軟體時，只需要在網上訂購相應的軟體服務，無需下載和安裝。更無需購買伺服器、作業系統和資料庫等應用軟體了,免去了前期的投入。 無需維護：SaaS應用的主要執行環境都託管在服務提供商的資料中心內，因此係統的維護、升級工作主要由服務提供商承擔。 按需使用：使用者在訂購時可以根據自身的實際需要增減數量，並按實際的使用情況支付費用。 隨時接入：SaaS應用的資料資料儲存在雲伺服器中，使用者只要能上網，隨時都可以用。
客戶價值 技術方面：企業無需再配備IT方面的專業技術人員，同時又能得到最新的技術應用，滿足企業對資訊管理的需求。 投資方面：企業只以相對低廉的“月費”方式投資，不用一次性投資到位，不佔用過多的營運資金，從而緩解企業資金不足的壓力；不用考慮成本折舊問題，並能及時獲得最新硬體平臺及最佳解決方案。
維護和管理方面：由於企業採取租用的方式來進行業務管理，不需要專門的維護和管理人員，也不需要為維護和管理人員支付額外費用。很大程度上緩解企業在人力、財力上的壓力，使其能夠集中資金對核心業務進行有效的運營。
PaaS
PaaS(Platform as a Service; 平臺即服務)是一種在雲計算時代提供相應的伺服器平臺或者開發環境作為服務的模式。透過PaaS使用者能將雲基礎設施部署與建立至客戶端，使用者不需要管理與控制雲基礎設施，包含網路、伺服器、作業系統或儲存，只需要控制上層的應用程式部署與應用代管。
舉個例子，如果把一個應用程式比作一棟房子的話，傳統的開發模式可能要從最基礎的砌磚開始做起，而PaaS平臺則可以提供一個已經構建好的毛坯房，開發者只需要在此基礎上根據實際需求進行水電、傢俱的“改裝裝修”，從而極大的縮短應用的開發週期。
PaaS平臺特點： ① 提供已經開發完成的功能模組“中介軟體”，縮短開發者開發週期； ② 節省本地開發硬體裝置採購與維護費用； ③ 基於Web的開發環境，方便不同開發者、工作室跨區域、跨空間協作； ④ PaaS平臺可為應用提供實時的管理與監控，開發者可透過具體數值觀察應用的執行狀態
透過加密的通訊和運營流程等技術手段加強對客戶資料的安全保障。對於傳輸中的資料，使用行業標準加密傳輸協議。對於靜態資料，提供靈活的加密方式以保證客戶資料的安全。
以上的資訊是我從東軟平臺雲（cloud.neusoft.com）官網上面瞭解到的，哈哈。按照我自己的理解，iass相當於買一套毛坯房，pass相當於自己租一套裝修好的房子，saas相當於租酒店吧。。這麼說是不是很通俗啦~