首頁>Club>
大資料裡面常說要用到分散式儲存,該怎麼部署呢?
6
回覆列表
  • 1 # 雲匯天下Chainedbox

    Ceph的部署方式非常多,在瞭解如何部署之前,首先要確定選用的安裝方式:

    Ceph官網上提供了Installation(Quick)和Installation(Manual)2種安裝方式:

    Quick安裝,是使用ceph-deploy來部署。

    Manual安裝,是一步步手動的來部署Ceph叢集。操作相對繁瑣,但有助於加深對Monitor、MDS、OSD等角色的認識。

    除了將Ceph源同步到本地進行安裝外,還可以使用國內同步的Ceph源:

    網易映象源 http://mirrors.163.com/ceph

    阿里映象源 http://mirrors.aliyun.com/ceph

    中科大映象源 http://mirrors.ustc.edu.cn/ceph

    寶德映象源 http://mirrors.plcloud.com/ceph

    具體步驟,以Quick安裝下的ceph-deploy為例,

    準備repo:

    在所有ceph節點上準備源

    2.作業系統配置:

    在deploy節點上執行,配置deploy節點和其他ceph節點的無密碼訪問;啟用ceph monitor OSD埠,在所有ceph節點上執行;禁用Selinux,在所有ceph節點上執行;安裝ntp,在所有ceph節點上執行。

    3.部署ceph叢集:

    安裝ceph-deploy, 用ceph-deploy生成一個新的ceph叢集,叢集包括ceph配置檔案以及motinor的金鑰環;修改ceph配置檔案;在各節點上建立ceph monitor和OSD。

    在使用國內源時,不需要在repos裡增加相應的源,只需要設定環境變數,讓ceph-deploy可以使用國內源。其他的操作過程沒有區別。

  • 2 # 運維蟲子

    隨著大資料和openstack的火熱,分散式儲存ceph也隨之火起來了。下面我就說一下我所瞭解的ceph分散式儲存

    什麼是cephceph是一個 Linux PB 級分散式檔案系統。

    上面是書裡面關於ceph的介紹,從中也可以看出ceph的關注點:

    1.可輕鬆擴充套件到數 PB 容量

    2.對多種工作負載的高效能(每秒輸入/輸出操作[IOPS]和頻寬)

    3.高可靠性

    注:ceph是一種高可靠性的儲存,很多公司對ceph還是採取觀望的態度,但ceph的優勢特別大。ceph融合了現在的三大儲存體系,分別為物件儲存(RADOSGW)、塊儲存RDB以及 CephFS 檔案系統。

    物件儲存:也就是通常意義的鍵值儲存,其介面就是簡單的GET、PUT、DEL 和其他擴充套件,代表主要有 Swift 、S3 以及 Gluster 等;

    塊儲存:這種介面通常以 QEMU Driver 或者 Kernel Module 的方式存在,這種介面需要實現 Linux 的 Block Device 的介面或者 QEMU 提供的 Block Driver 介面,如 Sheepdog,AWS 的 EBS,青雲的雲硬碟和阿里雲的盤古系統,還有 Ceph 的 RBD(RBD是Ceph面向塊儲存的介面)。在常見的儲存中 DAS、SAN 提供的也是塊儲存;

    檔案儲存:通常意義是支援 POSIX 介面,它跟傳統的檔案系統如 Ext4 是一個型別的,但區別在於分散式儲存提供了並行化的能力,如 Ceph 的 CephFS (CephFS是Ceph面向檔案儲存的介面),但是有時候又會把 GlusterFS ,HDFS 這種非POSIX介面的類檔案儲存介面歸入此類。當然 NFS、NAS也是屬於檔案系統儲存

    ceph技術特性

    Ceph是加州大學的Sage的博士論文設計提到的新一代自由軟體分散式檔案系統。

    Sega當初設計的思想是以下四個方面:

    1.叢集可靠性

    2.叢集可擴充套件性

    3.資料安全性

    4.介面統一性

    透過上面的思想,最後轉變成現在ceph的特點:

    1.充分發揮儲存裝置自身的計算能力

    2.去除所有的中心點。(沒有中心點,也就意味著叢集當中損壞任意一臺伺服器,都對儲存叢集資料沒有任何影響,同時沒有中心點,將來擴容也不會有瓶頸)

    ceph快速安裝

    ceph有三種安裝方式,手動安裝,deploy快速安裝以及docker安裝。

    為了方便部署,我這裡採用了post-deply部署

    1.環境準備工作

    系統為centos7.4

    磁碟準備工作(磁碟倆塊,一塊系統,一塊作為ceph使用)

    配置hosts檔案

    配置免密登入

    關閉防火牆,selinux修改為disabled

    到這裡,基本上準備工作就完成了。

    2.部署ceph

    在master節點安裝RPM檔案

    建立新的叢集

    安裝ceph(這裡直接指定163的源,因為ceph.com可能會訪問不到)

    ceph-deploy install --release jewel --repo-url http://mirrors.163.com/ceph/rpm-jewel/el7 --gpg-url http://mirrors.163.com/ceph/keys/release.asc master ceph-1 ceph-2 ceph-3

    初始化節點

    ceph-deploy mon create-initial

    檢視叢集狀態(在節點上檢視)利用ceph -s來檢視

    注:我這裡ceph-1安裝的時候,伺服器出問題了,所以報錯了,但是步驟是沒問題的。

    至於容器部署的話,我之前問答裡面做過一次openstack搭建的回答,那裡面有。

  • 中秋節和大豐收的關聯?
  • 脖子落枕了好久還沒好怎麼辦?