-
1 # 挨踢攻城獅
-
2 # 峻昇好物
隨著計算機技術的不斷髮展,分散式海量資料儲存的可靠性研究成為科學界關注焦點。海量資料加劇了網路動態變化,不可抗力和硬體失效等因素造成資料損壞、資料丟失和資料摧毀等情況。從而分散式資料儲存系統的可靠性面臨著巨大挑戰。如何高效的評估和增強儲存系統的可靠性,是分散式儲存技術迫切需要改善和解決的問題。本文從如何提供高效評估和增強分散式資料儲存服務的角度出發,基於分散式儲存在可靠性方面的成果進行深入研究分析和總結的基礎上,對分散式資料儲存系統關於系統可靠性評估與增強技術手段兩方面進行細緻研究,取得以下成果:(1)主要研究投票演算法對系統可靠性的評估,分析比較Majority Rule、Random Dictator、Random Troika三種投票演算法在系統可靠性評估方面的優缺點。基於單個節點可靠性變化和節點逐個失效的情況下進行比較投票演算法對系統可靠性的影響。透過模擬實驗表明,隨著單個節點的可靠性提升,Majority Rule投票演算法具有一定的優勢。當節點可靠性處在較低水平時,Random Dictator投票演算法具有優勢。Random Troika演算法介於Majority Rule和Random Dictator之間。(2)對系統遭受攻擊時,研究資源分配對系統可靠性的影響。主要研究介於系統防禦策略和蓄意攻擊者之間的系統可靠性。防禦者保證系統可靠性不僅可以採取投票演算法,還可以利用防禦資源進行製造偽裝節點或者保護系統節點;攻擊者利用攻擊資源隨機選擇系統中某些簇中節點進行攻擊。系統可靠性在所有攻擊策略中遭受破壞最大時,選擇最優的防禦策略,提高系統的可靠性。透過建立模型,利用對策矩陣解決在給定的攻防資源下,選擇最優防禦策略應對攻擊策略,從而保證系統的可靠性。
-
3 # Geek視界
根據我所知道的回答一下這個問題。
增加資料儲存的可靠性有以下幾種方法:
資料備份RAID磁碟陣列私有云儲存資料備份資料備份中心可以考慮採用兩地三中心的結構,建立本地資料中心,本地備份中心,異地備份資料備份。
定期備份:定期將重要的資料進行備份。增量備份:只對更新的資料進行備份。完全備份:對資料進行完全備份,適用於首次備份。差異備份:僅對更新的,變化的資料進行備份。RAID磁碟陣列RAID利用磁碟陣列,多塊磁碟組合成磁碟陣列,儲存資料的同時,將校驗資料儲存在磁碟中,發生故障時,可以利用校驗資料恢復。
常見的幾種磁碟陣列是:
RAID0:至少兩塊磁碟,連續的資料分散儲存,對所有的磁碟同時讀寫,沒有校驗資料,磁碟的利用率最高,讀寫效能較好。用沒有冗餘資料,用於可靠性要求不高的日誌儲存,個人娛樂等。RAID1:一備一的備份,映象的方式儲存資料。可以用於快速恢復。成本高,磁碟利用率低。用於儲存重要的資料。RAID3:至少3塊磁碟,最後一塊磁碟存放校驗資料。故障時,可以利用校驗資料恢復。RAID5:類似RAID3,將校驗資料分別儲存在不同的磁碟。RAID10:結合了RAID0和RAID1的方式,陣列的讀寫速率高,備份能力強。私有云方式目前,雲技術已經非常成熟,雲技術設計之初就考慮了冗餘和可靠性。可以考慮搭建私有云平臺,增加資料的可靠性。推薦使用開源的openstack搭建企業私有云系統。企業私有云系統搭建,初期投資比較大,後期的穩定性和可靠性比較高。總結這裡介紹了三種增加資料可靠性的方法,從投入成本來看,構建raid磁碟陣列<資料備份<搭建私有云。可以根據自己的實際需求,使用價效比高的方案。
-
4 # 混世狂徒
想要保證儲存的可靠,必須採用異地多備份機制。
打比方:
磁碟損壞,可以透過RAID保障,但是如果同時壞了好幾塊,RAID就無法保證資料健在了;
那麼我可以雙機熱備,多買幾套儲存裝置,同時儲存同一份資料,但是如果放到了同一個機櫃或是同一趟電源供電,這個機櫃哪天意外斷電導致磁碟裝置損壞,資料同樣無法保障;
不同電源供電,分佈在不同機櫃儲存資料,如果機房失火、大地震,一切蕩然無存;
異地多備份,你的資料備份分別位於中國南方、北方、乃至國外資料中心,而且各資料中心均採用不同電源,不同機櫃,不同儲存裝置進行多備份。那麼除非全球性超強病毒入侵、地球毀滅,不然這就是迄今為止最可靠的資料儲存方式了。
-
5 # Weiqp
常用的儲存平臺推薦使用NAS,硬碟組合方式推薦RAID5,如果預算允許的話,還可以採用雙機備份,這樣資料安全性就非常非常的高了。
RAID5的好處是硬碟壞一塊也是可以恢復資料的,雙機互備的話,資料損壞的危險性又降低了很多。
NAS的話,儘量採用多盤位的,盤位越多raid5的容錯性越高。
-
6 # 智慧化弱電圈
我是做智慧化弱電的,我將結合影片監控的儲存方案,針對如何儲存資料可靠性這個問題做個簡單分享:
1、影片監控儲存方案演變①最開始模擬時代,儲存是採用DVR,DVR對影片攝像頭進行錄影,錄音,控制,儲存方案架構簡單,資料不可靠;
②網路時代,誕生了網路硬碟錄影機,但儲存方式絲毫未變,還是傳統的DAS解決方案
④雲端儲存,透過叢集技術應用,將網路中大量各種不同型別儲存裝置透過軟體集合起來協同工作,共同對外提供資料儲存和業務訪問功能的系統;
2、儲存方案特點從最開始DVR/NVR儲存逐步演變到CVR和雲端儲存,儲存方案也由最開始的不可靠,不穩定性,擴充套件性差,資料安全性低,逐步升級到可靠,穩定,擴充套件性,安全性高的雲端儲存解決方案;
-
7 # BitMan
何為可靠性
對於儲存裝置和服務,保證資料可用、不丟失,構成其可靠性。對於服務廠商,DUDL(Data Unavailable, Data Lost)率是衡量產品可靠性的重要指標。比如Amazon物件儲存S3號稱“設計目的是在指定年度內為物件提供99.999999999% 的永續性和 99.99% 的可用性。”就是說每百億物件才可能有一個物件資料丟失,每年服務不可用時間少於一小時。
資料可靠性都是針對具體問題所採用的解決方案,比如:
單機RAID資料防丟失,磁碟陣列的某塊損壞時,透過對資料進行備份或者進行差錯檢驗實現資料恢復。資料恢復過程中會出現資料不可用。RAID往往需要硬體-RAID卡-支援。
分散式儲存之多副本或糾刪碼通常預設情況下,Ceph中資料會存放在三個不同節點的三個不同的OSD上;讀取到其中一份即為成功。然而,相同資料需要三倍空間,於是出現了糾刪碼方式,透過糾刪碼,可以採用N+M的方式,講一份資料切分成N份,再透過演算法計算出M個檢驗資料,即使丟失N+M中的一部分資料,仍舊可以計算而來。通常,糾刪碼用於冷資料,多副本用於較熱資料。
分散式儲存之跨Zone或多地容災所謂Zone,可以理解為一個區域內伺服器的集合,比如機房內一個機架,不同Zone應該進行獨立供電,Zone之間互為複製。一個Zone的毀滅並不會導致資料丟失或者不可用;透過對應的其它Zone仍舊可以正常操作資料。同理,多地提供了更大範圍內的容災,即使某機房斷電,別的地區機房依舊可以提供服務。這種方案將對資料一致性提出更高的要求,這是後話了。
總結綜上,不難看出,基本方法論有二,一為備份、二為差錯檢驗與恢復。
-
8 # 浪潮圈
儲存安全需要注意兩方面,首先,資料的儲存安全,使用光儲存介質對長期儲存資料,可有效防止資料篡改且能長期保留資料,還支援資料加密保證資料安全。其次,資料的可用性安全,使用物件儲存進行資料共享和匯聚,有效保證資料安全共享。資料基礎設施主要面臨的四大挑戰——服務永遠線上、資料永不丟失、效能永無止境和容量永遠不夠——它們分別強調要注重服務價值、資料安全、極致效能、儲存容量。在安全方面,在資料採集、傳輸、儲存、處理、交換(共享/使用)、銷燬的生命週期中,浪潮儲存透過通訊安全、應用安全、系統安全、資料安全四個層面進行資料防護,從許可權、病毒、漏洞等方面讓儲存產品成為資料堡壘。
回覆列表
儲存平臺一般分為三種,DAS、NAS、SAN,目前指的儲存平臺一般為SAN和NAS居多,其中SAN被稱為儲存區域網路,NAS為網路儲存區域,如果想保證資料儲存的可靠性可以從幾個方面入手,第一儲存控制器的可靠性,一般都採用雙控制器來實現主備或者雙活,第二,磁碟陣列,通常情況可採用RAID 5的方式來實現,至少三塊硬碟,其中允許一塊硬碟出現故障,如果對於儲存可靠性要求較高的情況下可以採用RAID 1,它是採用完全映象的方式但同時也最浪費磁碟可用空間,假如四塊硬碟做RAID 1,其中可用空間只有兩塊硬碟的容量,另外兩塊作為映象備份,如同時要求可靠性和效能的話可以採用RAID 0+1,但是此種方式也同樣消耗一半的硬碟容量來做備份,第三,兩臺儲存裝置做雙機熱備或者雙活部署,第四,在基礎設施方面比如供電(雙路電源)、溫溼度等保證裝置在一個理想的環境下進行工作,第五,對於資料內容需進行備份,可以採用LAN-free或者Server-free方式進行,第六,如果對於資料中心可靠性要求特別高,建議採用兩地三中心的部署方式,這樣基本上資料的可靠性就不會出現太大的問題,謝謝