一、 伺服器配置過程說明
首先需要現在伺服器上找一個節點裝window server，然後開始配置儲存陣列為RAID 5；然後建立Proxmox叢集以及KVM（也就是虛擬節點），在每個節點上安裝centos系統並下載Teamviewer；最後簡單講講Proxmox中節點備份與恢復。
二、 配置RAID：
1) 基本概念：
其實首先要知道RAID是什麼，它相當於是一個儲存模式，其實就是平常說起來很高大上的儲存陣列，是在window server上面做的，也就是機房的伺服器。一般機房預設是RAID 0，其實基本沒什麼改變，就是該有幾塊硬碟就用幾塊，不需要做額外的設定；但是這樣一來缺點也很明顯，因為一旦壞了那就只能自己和自己去哭了，沒有備份或者恢復機制。所以現在一般都做RAID 5，就是相當於會騰出一塊硬碟來做恢復與備份，用空間來換取整個叢集的安全，還是很划算的。步驟如下：
2)操作流程：
按照順序傻瓜操作向後點：硬體配置，配置嚮導——第一步，下一步——第1a步，清除外部配置，下一步——第2步，RAID0，下一步（這是為了清除最開始的時候預設RAID0配置）——第3步，協議：SAS，介質型別：HDD，加密功能：非加密，將磁碟全部選中，下一步——第4步，自動生成的引數，我的是：6517.00,1MB，自適應預讀；回寫，下一步——第5步，此步中要注意所有的物理磁碟都顯示出來了，否則就要返回關機重配，完成——成功！
三、 開始建立Proxmox叢集
1)基本概念：
這一步是為了能在上一步的基礎上（window server作業系統和RAID 5的儲存陣列）進一步安裝叢集，在叢集上分配節點，然後每個節點都可以分別分給不同的人來操作，這樣就是我們日常中操作的節點。步驟如下：
2) 操作流程：
a. 此時為無介面階段
方法一： 進入黑屏介面之後，先按F11，進入介面選擇UEFI，再選擇有DVD那一步的選項；再按F1，進入簡潔介面；BIOS-BOOT，進入介面；選擇DVD；選擇F2（此處有空白，3min）；reboot；等待等待等待，之後的就是安裝好之後的步驟···F1~~~
方法二： F12，然後PXE boot然後選擇DVD或者SLOT選項
b. 接著是有安裝介面的操作
同樣是傻瓜式操作向後點： 下一步—— country：China，TimeZone：Asia/Chongqing，KeyBoard Layout：US，English，下一步—— 此處引數由自己定，下一步——下一步—— 成功！
c. 傻瓜操作結束，開始命令列操作進行叢集搭建。 但是叢集搭建之前需要解決兩個問題：
1、vi編輯器過於不好用，下載vim： apt-get update； apt-get installvim；（然後在用vim編輯的時候看不到最上面就用shift+pageup向上調）
2、修改/etc/hosts與/etc/hostname中引數： 將二者中的PVE都改成每個ip對應的名字，eg：pve14之類的，這樣節點才能加進去。
d.開始叢集命令列操作：
1、建立叢集名字aciecluster：pvecm create aciecluster
2、登陸每個slave 節點，執行：pvecm add 192.168.2.104(主節點IP)
3、在主節點檢視狀態：pvecm nodes
4、登入：
http://192.168.2.104
e。出現問題：250節點加不進去
1、新增節點後面新增–force（是兩個橫線），命令變成：pvecm add 192.168.2.250；
2、再重啟叢集：重啟物理機；之後在客戶端命令重啟reboot
四、 建立KVM
1) 基本概念
其實KVM就是一個一個的虛擬節點，和虛擬機器差不多，只不過這是安裝在伺服器端的虛擬機器，安裝步驟如下。
2）安裝步驟
點選資料中心下想要建立節點的伺服器，然後在右上角有“建立VM”標誌——一般：點選之後給節點命名，給定VM ID，此處還可以改在其他的伺服器上建立節點——OS：點選右側Linux3.x/2.6kernel——CD/DVD：選第一個，匯入映象——硬碟：自己設定引數——CPU：自己設定引數——記憶體：自己設定引數——網路：自己設定引數——確認
五、 節點上CentOS 6.4系統安裝：
1) 注意事項：
a）ALT+F5是把螢幕縮小，大致能看到下一步的位置；之後的介面就看不到了，在看不到tab之後連按兩下就到了下一步
b) 第一個選skip；安裝系統，一路正常配置，直到介面：
2）安裝步驟：
use all space，review and modify partition layout，點選“next”——刪除所有分割槽後，建立兩個分割槽，其中一個為/boot（大小為200），另一個為/（點選“fill to maximum allowable size”，大小不用填寫，意為自動分配所有剩餘空間給它）—— Yes——next——Format——write changes to disk——next——點選minimal，next—— 完成後配置使用者資訊，歐了！
六、 配置IP並下載Teamviewer
上面的步驟基本上節點已經差不多了，就差IP了，配好IP後為了方便操作節點，每個節點上最好下載一個Teamviewer。步驟如下：
1、虛擬機器聯網（保證ip不變）：
1）首先改成NAT模式（虛擬機器——可移動裝置——網路介面卡——設定）
2）然後在IPv4裡面把ip設定成手動的，更改IP地址、子網掩碼、閘道器以及DNS，應用
2、 右上角小電腦變成disconnect的了，也就是說網路不能連線，而且ifconfig也找不到ip地址：
1）首先就是按照“1、”的步驟重新試一遍，其中要多注意一點就是他的物理地址要改成本機物理地址，就是ifconfig命令之後出來的那個本機地址（不是ip）
2）如果沒有ifconfig資訊，那麼就需要先設定網路為橋接模式，然後再將網路改回來NAT模式。
3、開始下載Teamviewer：
1）wget download.teamviewer.com/download/linux_teamviewer.rpm
2）yum install linux_teamviewer.rpm3）這裡就不用解壓了，直接就可以運行了，此時已經能用了，在Application-Internet中找到teamviewer，可以右鍵把它加到桌面上
4、設定開機自啟
1）在system-preference-startup Application 中設定
七、 Proxmox節點恢復與備份
自此為止，節點已經全部搞定了，然後之後就涉及到節點備份與恢復的問題，這裡會簡略講一下。
1) 備份：
選中【資料中心】，選擇【儲存】標籤，選中要新增支援的儲存，點選【編輯】，在【內容】的下拉選單中選上Backups。這裡的【最大備份數】必須大於等於1，其含義為當某個虛擬機器的備份檔案超過最大備份數時，再進行備份將會刪除時間最早的備份。這對後面要提到的自動備份計劃而言非常有用，可以省去我們人工刪除過時備份的麻煩。
PVE的備份檔案存在./dump資料夾中，根據備份時選擇的資料壓縮方式的不同，生成.vma.lo或者.vma.gz.為字尾的檔案，同時伴隨一個相關的.log日誌檔案。【Path/Target】為PVE備份資料夾所在的路徑，在本例中備份檔案將儲存在/var/lib/vz/dump資料夾中。
接下來我們就可以開始備份了。先選中【資料中心】，切換到【備份】標籤頁，點選【新增】，將出現【建立：備份計劃】對話方塊，可以選擇需要備份的節點，設定備份計劃於每週周幾的幾點開始，然後選擇需要進行備份的虛擬機器，設定資料壓縮方式與備份模式後即可。資料備份將於設定時間自動啟動。
2) 掛載磁碟將檔案複製出來：
步驟很簡單，就是先把硬碟插到你所在的伺服器物理機上，然後
1）下載ntfs驅動： apt-get update apt-get install ntfs-3g
2）建立掛載點資料夾： mkdir /mnt/windows
3）進入/dev/檢視行動硬碟資訊 fdisk -l
4）插入行動硬碟，再次在/dev目錄下執行檢視行動硬碟資訊 fdisk -l
5）比較兩次資訊，發現多出一個/dev/sda1，將sda1掛載到資料夾中： mount -t ntfs-3g /dev/sda1 /mnt/windows
6）進入目標資料夾（promox備份的檔案都在/var/lib/vz中） cd /var/lib/vz
7）將檔案複製到掛載硬碟中 cp -r(整個資料夾複製) dump /mnt/windows
8）解除掛載（相當於安全退出） umont /mnt/windowsd)
3）資料恢復：
同樣的上述掛載步驟，將所移出來的檔案放在/var/lib/vz/dump中，可以看到備份檔案以.vma.lzo為字尾。選中需要使用的備份檔案，點選【恢復】，將彈出【Restore VM】對話方塊，可以設定儲存位置與VM ID，點選【恢復】即可開始恢復。有意思的是，這裡的VM ID除了可以設定成原有的虛擬機器ID，將備份檔案恢復並覆蓋該虛擬機器外，還可以設定成新的ID，將備份檔案生成其他的與備份虛擬機器一模一樣的虛擬機器。至此，伺服器雜七雜八的配置完畢，如果有需要還會再進行補充的。
問題解決：1、節點關不掉以及開不了（命令查詢去官網檢視）
1）204節點開不了：索性就不開了，將pve、pve14、pve15全部關掉，這樣就剩下那個關不掉的節點了。
2）205節點關不掉：關閉的時候會報錯，報錯資訊是節點因為克隆被鎖住了，用命令列將節點斷開連線，然後再關掉。 qm unlink 205 -force qm unlock 205 qm destory 205 -skiplock
一、 伺服器配置過程說明
首先需要現在伺服器上找一個節點裝window server，然後開始配置儲存陣列為RAID 5；然後建立Proxmox叢集以及KVM（也就是虛擬節點），在每個節點上安裝centos系統並下載Teamviewer；最後簡單講講Proxmox中節點備份與恢復。
二、 配置RAID：
1) 基本概念：
其實首先要知道RAID是什麼，它相當於是一個儲存模式，其實就是平常說起來很高大上的儲存陣列，是在window server上面做的，也就是機房的伺服器。一般機房預設是RAID 0，其實基本沒什麼改變，就是該有幾塊硬碟就用幾塊，不需要做額外的設定；但是這樣一來缺點也很明顯，因為一旦壞了那就只能自己和自己去哭了，沒有備份或者恢復機制。所以現在一般都做RAID 5，就是相當於會騰出一塊硬碟來做恢復與備份，用空間來換取整個叢集的安全，還是很划算的。步驟如下：
2)操作流程：
按照順序傻瓜操作向後點：硬體配置，配置嚮導——第一步，下一步——第1a步，清除外部配置，下一步——第2步，RAID0，下一步（這是為了清除最開始的時候預設RAID0配置）——第3步，協議：SAS，介質型別：HDD，加密功能：非加密，將磁碟全部選中，下一步——第4步，自動生成的引數，我的是：6517.00,1MB，自適應預讀；回寫，下一步——第5步，此步中要注意所有的物理磁碟都顯示出來了，否則就要返回關機重配，完成——成功！
三、 開始建立Proxmox叢集
1)基本概念：
這一步是為了能在上一步的基礎上（window server作業系統和RAID 5的儲存陣列）進一步安裝叢集，在叢集上分配節點，然後每個節點都可以分別分給不同的人來操作，這樣就是我們日常中操作的節點。步驟如下：
2) 操作流程：
a. 此時為無介面階段
方法一： 進入黑屏介面之後，先按F11，進入介面選擇UEFI，再選擇有DVD那一步的選項；再按F1，進入簡潔介面；BIOS-BOOT，進入介面；選擇DVD；選擇F2（此處有空白，3min）；reboot；等待等待等待，之後的就是安裝好之後的步驟···F1~~~
方法二： F12，然後PXE boot然後選擇DVD或者SLOT選項
b. 接著是有安裝介面的操作
同樣是傻瓜式操作向後點： 下一步—— country：China，TimeZone：Asia/Chongqing，KeyBoard Layout：US，English，下一步—— 此處引數由自己定，下一步——下一步—— 成功！
c. 傻瓜操作結束，開始命令列操作進行叢集搭建。 但是叢集搭建之前需要解決兩個問題：
1、vi編輯器過於不好用，下載vim： apt-get update； apt-get installvim；（然後在用vim編輯的時候看不到最上面就用shift+pageup向上調）
2、修改/etc/hosts與/etc/hostname中引數： 將二者中的PVE都改成每個ip對應的名字，eg：pve14之類的，這樣節點才能加進去。
d.開始叢集命令列操作：
1、建立叢集名字aciecluster：pvecm create aciecluster
2、登陸每個slave 節點，執行：pvecm add 192.168.2.104(主節點IP)
3、在主節點檢視狀態：pvecm nodes
4、登入：
http://192.168.2.104
(主節點IP):8006e。出現問題：250節點加不進去
1、新增節點後面新增–force（是兩個橫線），命令變成：pvecm add 192.168.2.250；
2、再重啟叢集：重啟物理機；之後在客戶端命令重啟reboot
四、 建立KVM
1) 基本概念
其實KVM就是一個一個的虛擬節點，和虛擬機器差不多，只不過這是安裝在伺服器端的虛擬機器，安裝步驟如下。
2）安裝步驟
點選資料中心下想要建立節點的伺服器，然後在右上角有“建立VM”標誌——一般：點選之後給節點命名，給定VM ID，此處還可以改在其他的伺服器上建立節點——OS：點選右側Linux3.x/2.6kernel——CD/DVD：選第一個，匯入映象——硬碟：自己設定引數——CPU：自己設定引數——記憶體：自己設定引數——網路：自己設定引數——確認
五、 節點上CentOS 6.4系統安裝：
1) 注意事項：
a）ALT+F5是把螢幕縮小，大致能看到下一步的位置；之後的介面就看不到了，在看不到tab之後連按兩下就到了下一步
b) 第一個選skip；安裝系統，一路正常配置，直到介面：
2）安裝步驟：
use all space，review and modify partition layout，點選“next”——刪除所有分割槽後，建立兩個分割槽，其中一個為/boot（大小為200），另一個為/（點選“fill to maximum allowable size”，大小不用填寫，意為自動分配所有剩餘空間給它）—— Yes——next——Format——write changes to disk——next——點選minimal，next—— 完成後配置使用者資訊，歐了！
六、 配置IP並下載Teamviewer
上面的步驟基本上節點已經差不多了，就差IP了，配好IP後為了方便操作節點，每個節點上最好下載一個Teamviewer。步驟如下：
1、虛擬機器聯網（保證ip不變）：
1）首先改成NAT模式（虛擬機器——可移動裝置——網路介面卡——設定）
2）然後在IPv4裡面把ip設定成手動的，更改IP地址、子網掩碼、閘道器以及DNS，應用
2、 右上角小電腦變成disconnect的了，也就是說網路不能連線，而且ifconfig也找不到ip地址：
1）首先就是按照“1、”的步驟重新試一遍，其中要多注意一點就是他的物理地址要改成本機物理地址，就是ifconfig命令之後出來的那個本機地址（不是ip）
2）如果沒有ifconfig資訊，那麼就需要先設定網路為橋接模式，然後再將網路改回來NAT模式。
3、開始下載Teamviewer：
1）wget download.teamviewer.com/download/linux_teamviewer.rpm
2）yum install linux_teamviewer.rpm3）這裡就不用解壓了，直接就可以運行了，此時已經能用了，在Application-Internet中找到teamviewer，可以右鍵把它加到桌面上
4、設定開機自啟
1）在system-preference-startup Application 中設定
七、 Proxmox節點恢復與備份
自此為止，節點已經全部搞定了，然後之後就涉及到節點備份與恢復的問題，這裡會簡略講一下。
1) 備份：
選中【資料中心】，選擇【儲存】標籤，選中要新增支援的儲存，點選【編輯】，在【內容】的下拉選單中選上Backups。這裡的【最大備份數】必須大於等於1，其含義為當某個虛擬機器的備份檔案超過最大備份數時，再進行備份將會刪除時間最早的備份。這對後面要提到的自動備份計劃而言非常有用，可以省去我們人工刪除過時備份的麻煩。
PVE的備份檔案存在./dump資料夾中，根據備份時選擇的資料壓縮方式的不同，生成.vma.lo或者.vma.gz.為字尾的檔案，同時伴隨一個相關的.log日誌檔案。【Path/Target】為PVE備份資料夾所在的路徑，在本例中備份檔案將儲存在/var/lib/vz/dump資料夾中。
接下來我們就可以開始備份了。先選中【資料中心】，切換到【備份】標籤頁，點選【新增】，將出現【建立：備份計劃】對話方塊，可以選擇需要備份的節點，設定備份計劃於每週周幾的幾點開始，然後選擇需要進行備份的虛擬機器，設定資料壓縮方式與備份模式後即可。資料備份將於設定時間自動啟動。
2) 掛載磁碟將檔案複製出來：
步驟很簡單，就是先把硬碟插到你所在的伺服器物理機上，然後
1）下載ntfs驅動： apt-get update apt-get install ntfs-3g
2）建立掛載點資料夾： mkdir /mnt/windows
3）進入/dev/檢視行動硬碟資訊 fdisk -l
4）插入行動硬碟，再次在/dev目錄下執行檢視行動硬碟資訊 fdisk -l
5）比較兩次資訊，發現多出一個/dev/sda1，將sda1掛載到資料夾中： mount -t ntfs-3g /dev/sda1 /mnt/windows
6）進入目標資料夾（promox備份的檔案都在/var/lib/vz中） cd /var/lib/vz
7）將檔案複製到掛載硬碟中 cp -r(整個資料夾複製) dump /mnt/windows
8）解除掛載（相當於安全退出） umont /mnt/windowsd)
3）資料恢復：
同樣的上述掛載步驟，將所移出來的檔案放在/var/lib/vz/dump中，可以看到備份檔案以.vma.lzo為字尾。選中需要使用的備份檔案，點選【恢復】，將彈出【Restore VM】對話方塊，可以設定儲存位置與VM ID，點選【恢復】即可開始恢復。有意思的是，這裡的VM ID除了可以設定成原有的虛擬機器ID，將備份檔案恢復並覆蓋該虛擬機器外，還可以設定成新的ID，將備份檔案生成其他的與備份虛擬機器一模一樣的虛擬機器。至此，伺服器雜七雜八的配置完畢，如果有需要還會再進行補充的。
問題解決：1、節點關不掉以及開不了（命令查詢去官網檢視）
1）204節點開不了：索性就不開了，將pve、pve14、pve15全部關掉，這樣就剩下那個關不掉的節點了。
2）205節點關不掉：關閉的時候會報錯，報錯資訊是節點因為克隆被鎖住了，用命令列將節點斷開連線，然後再關掉。 qm unlink 205 -force qm unlock 205 qm destory 205 -skiplock