首頁>Club>
5
回覆列表
  • 1 # 國產優質動漫分享者

    提前做好預判,在資料海嘯來臨前做好估算,該擴容擴容,該升級的升級,估算可以從業務的多維度切入,例如:資料的周增長比,月增長比,qps,響應時間等等

  • 2 # 用心服務每位客戶

    資料量增長的速度有如一場海嘯,迅速地吞噬著全球資料中心的各種儲存裝置和器件,資料中心耗費巨資不斷購入大量儲存裝置,以便儘量去滿足不斷增長的資料量儲存需求,這給資料中心帶來了極大的成本壓力,降低了資料中心的盈利水平。資料海嘯已經成為每個資料中心不能迴避的問題,資料中心必須做出有效對策,才能不被資料海嘯打倒。

    資料中心建設規模在不斷擴大,增長速度長期不減,這和資料量的高速增長密不可分。如今,全球資料總量每十八個月就能翻番,這樣的增長速度是一件“可怕”的事情,遠超大家想象。若按照IDC的預測,到2025年,全球將會有163個ZB的資料,這個量相當於四個大西洋的海水,全球資料中心流量將增長3.3倍。資料量增長的速度有如一場海嘯,迅速地吞噬著全球資料中心的各種儲存裝置和器件,資料中心耗費巨資不斷購入大量儲存裝置,以便儘量去滿足不斷增長的資料量儲存需求,這給資料中心帶來了極大的成本壓力,降低了資料中心的盈利水平。資料海嘯已經成為每個資料中心不能迴避的問題,資料中心必須做出有效對策,才能不被資料海嘯打倒。那麼如何有效應對資料海嘯呢?本文給出了一些對症良方。

    表面上看資料量在高速增長,但很多資料從某些方面來講都是重複的、無用的,沒有利用價值,完全可以丟棄不用。在對資料進行儲存時,一定要進行過濾,阻止垃圾資料進入儲存裝置。很多資料還具有高度重複性,也許每個人都會收藏一部經典的電影《人鬼情未了》,並將這部電影放到資料中心裡個人的儲存空間儲存著,以便想看的時候直接登入上去播放看就可以了,這個電影絕大部分時間都是在資料中心的儲存裝置裡靜靜地存著,毫無意義還佔用巨大儲存空間。所以,資料中心可以只儲存一份這部電影,然後儲存無數個人使用者的資料鏈接,當人們需要看這部電影時,表面上看是點選了這部電影播放,後臺實際上只是一個數據連結,然後將儲存的一份電影向其播放,這將極大地減少資料的儲存空間,對於其它重複性的資料也可以如此實現。我們知道,一般一個應用軟體的使用時間在二十年,很多軟體其實已經很少有人訪問,存留下來的大量資料都變成了無用資料,資料中心要及時將這些資料清理掉,讓出儲存空間來,節約儲存裝置使用,資料中心的儲存資源是有限的,遲早有用完的這一天,這一天來得越晚,就越能給資料中心節省成本,帶來的是資料中心的優越競爭力。一些中間計算資料也佔用了臨時儲存空間,要及時清理掉。還有,對於這個資料中心來說,資料可能是有用的,透過大資料技術分析可以得到一些有用的東西,而這些資料中心對其它的資料來說可能是無用的,再怎麼分析也得不到有益結果,這些資料不妨直接刪除,不要再佔用資料中心儲存空間。其實,資料中心裡百分之九十的資料都可以說是無用資料,應及時清除。

    利用壓縮技術

    眾所周知,資料是可以壓縮的。我們在將資料儲存到儲存裝置之前,可以對資料進行壓縮,儘量減少佔用空間。資料壓縮技術在不斷進步,壓縮比越來越高,減緩了資料對儲存空間的消耗。壓縮技術有無失真壓縮和有失真壓縮,無失真壓縮主要是一些編碼演算法,比如子帶編碼,差分編碼,哈夫曼編碼等演算法;有失真壓縮主要是一些量化演算法,比如a率、u率、lloyds最優量化演算法。對於一些不重要的音訊、影片資源,適當地使用一些有失真壓縮技術,對資料的使用並沒有影響,還可以大大提升壓縮效果。對於一些本文檔案,即便是使用無失真壓縮,也可以將檔案縮減幾十倍,甚至上百倍。壓縮技術的普及使用,可以有效緩解資料儲存的壓力,要在資料中心裡推廣使用。當然,對那些訪問實時性較高的資料,並不適宜採用壓縮儲存,因為資料的解壓是需要時間的,壓縮比越高的資料解壓起來更加耗時,這樣在訪問這樣的壓縮資料時,需要更多的等待時間,降低了訪問效率,對於這樣的訪問不適合使用壓縮演算法儲存資料。壓縮技術也在不斷進步,解壓時間也在不斷縮短,這樣就能不斷擴大壓縮技術使用的廣泛性。

    擴容網路頻寬

    資料量越大,需要佔用的網路頻寬就越多。正是因為資料量的不斷攀升,我們就需要更高的頻寬,有些時候,甚至網路頻寬的高低已成為了影響資料中心業務部署發展最為關鍵的因素。網路頻寬越高,資料傳輸得越快,就可避免網路出現堵塞情況,影響到資料中心業務執行。資料中心網路設計要從簡,網路層級要少,設計扁平化的網路,從接入到核心出口一般就設計兩級,這樣網路中出現擁塞的點就少。網路流量模型不要設計成茶壺型的,口小肚大。要設計成圓筒形,出入口要大,這樣向資料中心裡裝的資料才夠快。擴容網路頻寬並不僅指網路出入口的地方,還要從網路整體上來進行規劃設計,包括連線伺服器和儲存側都要考慮,提高資料中心內架頂式交換機與伺服器網絡卡、儲存裝置之間的速度,避免出現大馬拉小車或者小馬拉大車的情況出現。

    隨著海量資料的到來,現有的資料中心儲存能力是遠遠不足的。資料中心要從多方面去迎接這次資料海嘯的到來。至少近十年,全球資料依然會保持高位增長態勢,資料海嘯給資料中心帶來了極大的儲存壓力。海量資料一直在高速增長,我們必須想辦法將其控制下來,未來的資料中心會在怎樣縮小海量資料上下功夫,不會任由資料海嘯擴張。資料中心除了從以上三個方面狙擊資料海嘯,還可以在提升儲存使用率、最佳化儲存資源分配、無效資料甄別能力、雲計算和大資料的應用等方面加大投入。這些都是應對資料海嘯很好的方法,需要在未來的資料中心中去應用和實踐。

  • 中秋節和大豐收的關聯?
  • 姓顧的取什麼名字好聽?