回覆列表
  • 1 # 範閒不是我

    ceph是一個分散式儲存的開源方案。

    hadoop是一個開源大資料平臺方案。大資料平臺中也有儲存的部分,一般是用hdfs。

  • 2 # 至聯雲IPFS

    雲計算的開發需要多種語言共同參與,HADOOP在雲計算產品中只是一個底層框架,適合做雲盤、分散式計算等底層業務。很少有一種雲產品只用一種開發語言解決所有問題的,語言只是工具,關鍵是要學會在不同的應用場景下,如何正確選擇合適的工具。雲產品的框架有很多,比如OpenStack是用Python寫的,Hadoop是用Java寫的。

    Ceph架構簡介及其特點

    Ceph簡介

    Ceph是一個統一的分散式儲存系統,設計初衷是提供較好的效能、可靠性和可擴充套件性。

    Ceph專案最早起源於Sage就讀博士期間的工作(最早的成果於2004年發表),並隨後貢獻給開源社群。在經過了數年的發展之後,目前已得到眾多雲計算廠商的支援並被廣泛應用。RedHat及OpenStack都可與Ceph整合以支援虛擬機器映象的後端儲存。

    Ceph特點

    高效能

    a. 摒棄了傳統的集中式儲存元資料定址的方案,採用CRUSH演算法,資料分佈均衡,並行度高。

    b.考慮了容災域的隔離,能夠實現各類負載的副本放置規則,例如跨機房、機架感知等。

    c. 能夠支援上千個儲存節點的規模,支援TB到PB級的資料。

    高可用性

    a. 副本數可以靈活控制。

    b. 支援故障域分隔,資料強一致性。

    c. 多種故障場景自動進行修復自愈。

    d. 沒有單點故障,自動管理。

    高可擴充套件性

    a. 去中心化。

    b. 擴充套件靈活。

    c. 隨著節點增加而線性增長。

    特性豐富

    a. 支援三種儲存介面:塊儲存、檔案儲存、物件儲存。

    b. 支援自定義介面,支援多種語言驅動。

    Hadoop簡介及其特點

    Hadoop是一個由Apache基金會所開發的分散式系統基礎架構。使用者可以在不瞭解分散式底層細節的情況下,開發分散式程式。充分利用叢集的威力進行高速運算和儲存。Hadoop實現了一個分散式檔案系統(Hadoop Distributed File System),簡稱HDFS。

    HDFS有高容錯性的特點,並且設計用來部署在低廉的(low-cost)硬體上;而且它提供高吞吐量(high throughput)來訪問應用程式的資料,適合那些有著超大資料集(large data set)的應用程式。HDFS放寬了(relax)POSIX的要求,可以以流的形式訪問(streaming access)檔案系統中的資料。Hadoop的框架最核心的設計就是:HDFS和MapReduce。HDFS為海量的資料提供了儲存,而MapReduce則為海量的資料提供了計算。

    雲計算的開發語言多樣

    hadoop和雲計算是兩回事,HADOOP開發首選JAVA,次選C/C++或者Python雲計算就複雜了,不同的應用又不同額選擇。很少有一種雲產品只用一種開發語言解決所有問題的語言只是工具,關鍵是要學會在不同的應用場景下,如何正確選擇合適的工具。雲產品的框架有很多,比如OpenStack是用Python寫的,Hadoop是用Java寫的。

    HADOOP在雲計算產品中只是一個底層框架,適合做雲盤、分散式計算等底層業務。中間層和上層用什麼語言開發取決產品的特性和技術人員的技術特點。

  • 中秋節和大豐收的關聯?
  • 什麼是語言學反射功能?