-
1 # 雲匯天下Chainedbox
-
2 # 運維蟲子
隨著大資料和openstack的火熱,分散式儲存ceph也隨之火起來了。下面我就說一下我所瞭解的ceph分散式儲存
什麼是cephceph是一個 Linux PB 級分散式檔案系統。
上面是書裡面關於ceph的介紹,從中也可以看出ceph的關注點:
1.可輕鬆擴充套件到數 PB 容量
2.對多種工作負載的高效能(每秒輸入/輸出操作[IOPS]和頻寬)
3.高可靠性
注:ceph是一種高可靠性的儲存,很多公司對ceph還是採取觀望的態度,但ceph的優勢特別大。ceph融合了現在的三大儲存體系,分別為物件儲存(RADOSGW)、塊儲存RDB以及 CephFS 檔案系統。
物件儲存:也就是通常意義的鍵值儲存,其介面就是簡單的GET、PUT、DEL 和其他擴充套件,代表主要有 Swift 、S3 以及 Gluster 等;
塊儲存:這種介面通常以 QEMU Driver 或者 Kernel Module 的方式存在,這種介面需要實現 Linux 的 Block Device 的介面或者 QEMU 提供的 Block Driver 介面,如 Sheepdog,AWS 的 EBS,青雲的雲硬碟和阿里雲的盤古系統,還有 Ceph 的 RBD(RBD是Ceph面向塊儲存的介面)。在常見的儲存中 DAS、SAN 提供的也是塊儲存;
檔案儲存:通常意義是支援 POSIX 介面,它跟傳統的檔案系統如 Ext4 是一個型別的,但區別在於分散式儲存提供了並行化的能力,如 Ceph 的 CephFS (CephFS是Ceph面向檔案儲存的介面),但是有時候又會把 GlusterFS ,HDFS 這種非POSIX介面的類檔案儲存介面歸入此類。當然 NFS、NAS也是屬於檔案系統儲存
ceph技術特性
Ceph是加州大學的Sage的博士論文設計提到的新一代自由軟體分散式檔案系統。
Sega當初設計的思想是以下四個方面:
1.叢集可靠性
2.叢集可擴充套件性
3.資料安全性
4.介面統一性
透過上面的思想,最後轉變成現在ceph的特點:
1.充分發揮儲存裝置自身的計算能力
2.去除所有的中心點。(沒有中心點,也就意味著叢集當中損壞任意一臺伺服器,都對儲存叢集資料沒有任何影響,同時沒有中心點,將來擴容也不會有瓶頸)
ceph快速安裝
ceph有三種安裝方式,手動安裝,deploy快速安裝以及docker安裝。
為了方便部署,我這裡採用了post-deply部署
1.環境準備工作
系統為centos7.4
磁碟準備工作(磁碟倆塊,一塊系統,一塊作為ceph使用)
配置hosts檔案
配置免密登入
關閉防火牆,selinux修改為disabled
到這裡,基本上準備工作就完成了。
2.部署ceph
在master節點安裝RPM檔案
建立新的叢集
安裝ceph(這裡直接指定163的源,因為ceph.com可能會訪問不到)
ceph-deploy install --release jewel --repo-url http://mirrors.163.com/ceph/rpm-jewel/el7 --gpg-url http://mirrors.163.com/ceph/keys/release.asc master ceph-1 ceph-2 ceph-3
初始化節點
ceph-deploy mon create-initial
檢視叢集狀態(在節點上檢視)利用ceph -s來檢視
注:我這裡ceph-1安裝的時候,伺服器出問題了,所以報錯了,但是步驟是沒問題的。
至於容器部署的話,我之前問答裡面做過一次openstack搭建的回答,那裡面有。
回覆列表
Ceph的部署方式非常多,在瞭解如何部署之前,首先要確定選用的安裝方式:
Ceph官網上提供了Installation(Quick)和Installation(Manual)2種安裝方式:
Quick安裝,是使用ceph-deploy來部署。
Manual安裝,是一步步手動的來部署Ceph叢集。操作相對繁瑣,但有助於加深對Monitor、MDS、OSD等角色的認識。除了將Ceph源同步到本地進行安裝外,還可以使用國內同步的Ceph源:
網易映象源 http://mirrors.163.com/ceph
阿里映象源 http://mirrors.aliyun.com/ceph
中科大映象源 http://mirrors.ustc.edu.cn/ceph
寶德映象源 http://mirrors.plcloud.com/ceph
具體步驟,以Quick安裝下的ceph-deploy為例,準備repo:
在所有ceph節點上準備源
2.作業系統配置:
在deploy節點上執行,配置deploy節點和其他ceph節點的無密碼訪問;啟用ceph monitor OSD埠,在所有ceph節點上執行;禁用Selinux,在所有ceph節點上執行;安裝ntp,在所有ceph節點上執行。
3.部署ceph叢集:
安裝ceph-deploy, 用ceph-deploy生成一個新的ceph叢集,叢集包括ceph配置檔案以及motinor的金鑰環;修改ceph配置檔案;在各節點上建立ceph monitor和OSD。
在使用國內源時,不需要在repos裡增加相應的源,只需要設定環境變數,讓ceph-deploy可以使用國內源。其他的操作過程沒有區別。