“ 為期兩天的Distributed Cloud|2020全球分散式雲大會,為5G商用時代的到來,在新一輪雲計算技術變革的關口,呈現出分散式雲生態全景,影響2021年分散式雲戰略科技趨勢,共享新商業引擎,共尋億萬級蒼穹,開創未來新篇。”
在12月18日下午的“分散式儲存論壇”上,希捷科技資深解決方案工程師李蓁帶來《希捷科技軟硬體創新助力分散式儲存發展》為題的主題演講。演講中,李蓁分享希捷科技在分散式儲存上關於軟體、硬體的創新。
今年10月,Filecoin主網上線。李蓁認為,這對於分散式儲存行業,對於希捷科技而言,毫無疑問是非常重要的一年。今年12月,希捷科技將第一個鐳射熱輔助硬碟送樣,這對於希捷科技來說行之有效的產品創新。
那儲存是以什麼樣的方式對資料進行儲存的呢?李蓁認為企業的資料中心基本設施軟體,無論是IPFS,還是其他去中心化儲或集中式儲存所要解決的問題。到硬體底層這部分,怎麼樣降低發一個TB資料儲存的成本,要依賴於儲存器件每TB成本的降低。熱輔助硬碟開始送樣,意味著機械硬碟的創新開始進入新的時代。隨著熱輔助硬碟開始批次發貨,預計到2025年之間,機械硬碟會以年化複合增長率35%的速率開始容量的增加。
李蓁介紹,以前機械硬碟容量的增加非常簡單,每年增加2個TB,隨著基數的增加,每年增加2個TB,相當於增速在下降。但有了熱輔助後,希捷科技可以維持這個增速,確保行業夥伴們在構建新一代分散式儲存基礎設施的時候,能夠享有更低的TCO。
對於IPFS或是Filecoin而言,怎麼去高效可靠的儲存資料?每個儲存服務的提供商必須要考慮高效和可靠性。今年9月28日,希捷科技上線了自己的儲存軟體,叫CORTX。
CORTX是什麼樣的架構呢?李蓁講解道:“說到物件儲存,我們的第一反應是Ceph,但Ceph經過20年的迭代發展,到現在超過24個大版本。在任何一個雲服務廠家的資料中心裡,只要是物件儲存,肯定能找到一個模改的版本。因此希捷在20年後推出物件儲存軟體,從使用者來說,解決了幾個重要的問題。”
李蓁介紹,無論是行業使用者,還是處在發展階段的使用者,匯入的機械硬碟比像谷歌、阿里、騰訊等使用者至少慢了兩代。如今,希捷科技的網際網路使用者已經開始在他們的生產環境裡匯入16T、18T,甚至更高的容量點。希捷科技基於硬體,從硬碟這層開始做垂直的硬體整合,閉環了從硬體到軟體,幫助使用者更高效、更可靠構建物件儲存環境。
李蓁舉例介紹,物件儲存的Ceph作為20年前研發的產品,研發時並沒有考慮到硬碟會進入20TB的儲存容量級別時代。李蓁發現,很多使用者把Ceph搭建起來後,要切換更高容量點的硬碟時,需要嘗試使用更大容量硬碟降低TCO,這時使用者會面臨很多挑戰,例如,硬碟不管是多少容量點,效能、吞吐量始終停留在200多兆,IOPS始終在200—400之間。而且隨著容量的增大,每一個TB對應的效能就要下降,這時因為檔案離散度分佈增加,相同規格的伺服器效能會降低了。因此,希捷科技研發的CORTX儲存軟體,專為這樣的使用者提供了透過使用大容量機械硬碟降低TCO的儲存,不需要自己在儲存軟體上做很多調整,直接在希捷科技的環境裡使用超大容量的機械硬碟。
如今,Ceph現有的跨網路節點實現的糾刪碼都會出現一個問題,當硬碟容量很大時,資料重建效率很低。希捷科技有一個指南,使用者現用的糾刪碼達到比較理想的重建效率時,每個GB記憶體要對應一個TB的硬碟容量。當一個節點容量膨脹的情況下,到底要在伺服器和上配多少DRAM,來保證糾刪碼重建的效率?李蓁介紹,希捷透過自研的晶片,提升糾刪碼重建的效率,整個可靠性提升了至少10倍,而資料重構的時間降低1/10。李蓁在演講中展示一張圖表,清楚地將CORTX跟現主流的物件軟體對應的優勢展現了出來。
除此之外,CORTX物件儲存軟體是直接對裸盤進行操作,不需要檔案系統,因此檔案訪問的效率會得到極大的提升,效能會增加。CORTX跟希捷科技的硬體做了解耦,現在所有的IPFS裝置都是執行在X86架構的機器上,但希捷的CORTX軟體和硬體解耦之後,可以執行在ARM架構的CPU上。李蓁表示,這對使用者來說,從整個CPU架構的選型上會有更多的彈性。
李蓁展開介紹道,CORTX軟體和硬體解耦讓使用者在選擇的時候,沒有讀取的放大。它本身對於機器人學習和人工智慧有更友好的特點,可以在資料上標資料。例如,無人車需要對採集回來的影片資料做標註,因此,之後的人工智慧可基於這些標註去進行學習,因此這也是軟體的特點。
最開始,希捷科技在內容實現的架構,是希捷科技的開源專案。但對於這繁瑣的流程,CORTX做了極大的簡化,如今實現直接訪問和直接儲存。
隨後,李蓁分享有關解決時空故障集中爆發問題的一篇論文,從可靠性上將CORTX與傳統資料保護技術做了比較。李蓁講解道:“橫軸是受影響的機架,縱軸是每個機架裡同時出現故障的硬碟數量,圓圈代表的是這個事件發生的機率。從圓圈的大小可以知道,在一個機架裡面同時發現多架硬碟故障,跟多個機架裡同時發現多個硬碟故障的機率是差不多的。這時,需要有更高容錯度的物件軟體來遮蔽故障集中爆發。”希捷科技透過結合硬體和軟體,可以實現把資料的可靠性在降低成本需求的前提下,可以做到更高級別,從而實現可靠性的提升。
演講最後,李蓁總結道:“CORTX實現的是全棧開源,包括其介面都是100%開源。希捷科技為幫助行業內使用者把超大容量機械硬碟在資料中心環境裡使用起來,幫助大家無縫銜接超大容量機械硬碟,在往應用層的創新和CORTX軟體上,可以給大家構建一個更高效、更低成本的物件儲存環境,方便大家在分散式儲存領域,以及它的生態裡面做出更大的貢獻。”