回覆列表
  • 1 # Lake說科技

    大資料時代,為何分層儲存技術不可或缺?

    個人認為,對資料使用分層儲存技術,是因為網際網路對於不同業務資料使用場景所導致的,針對不同資料進行分層儲存,滿足對的分層儲存,用在對的業務場景。比如對於某些需要經常使用到的資料,列如使用者方面資料,這部分資料雖然儲存在資料庫中,但由於業務需要為使用者展示其個人具體資訊,因此需要對資料庫請求比較頻繁,為了更快的將資料返回到使用者,這部分往往會被劃分為熱資料層。

    相對於那些使用較少的資料,純粹是為了儲存歷史資料。這部分的資料在儲存後幾乎不會在進行使用,所以這部分資料會被劃分到冷資料層。

    01熱資料由於經常使用,需要將其儲存到更快的儲存介質中

    熱資料的一個最大特點,就是業務系統或者軟體需要經常請求這部分資料,然後展示到軟體,供使用者進行瀏覽和檢視。所以這部分資料,從請求到資料返回,整體流程的時延要求非常低,比如毫秒級別,時間如果太久,就會影響到使用者的體驗。

    在資料庫訪問過程中,從磁碟到記憶體是一個非常耗時的地方。所以對於熱資料的訪問,一般會將熱資料儲存在SSD這種固態儲存介質中,這樣在資料從磁碟載入到記憶體時,整體過程的時間會降低,從而降低資料的訪問時延。

    當然,使用固態儲存介質的成本較高,所以需要對資料進行分層,到底哪些資料是熱資料。只將熱資料儲存在固態儲存介質中,既能夠降低資料訪問流程的時間消耗,也能夠減少全部資料都儲存在固態硬碟所帶來的成本。

    02冷資料一般由於業務使用非常少,只為了資料備份使用,一般使用廉價的儲存介質儲存

    冷資料,顧名思義,這部分業務資料使用的場景非常少,一般只是為了將該部分資料進行儲存,防止資料丟失。比如影片監控資料,這部分資料往往產生3、4天后,其資料就已經沒有什麼價值,所以這部分資料往往會選擇儲存在較為廉價的磁碟上,僅供數存檔保留,這部分資料可能永遠都不會使用。

    冷資料還有一個特點,就是這部分資料往往要比熱資料多。網際網路公司雖然每天線上業務都能夠產生大量的資料,但其中有很多資料是很難應用到業務場景的,只是為了能夠將資料進行備份,應對在將來的某些情況來進行使用,比如去恢復其他資料等等。這部分資料使用廉價儲存介質進行儲存,也更好的為公司降低成本。

    03冷熱資料分層,對於不同特點的資料,運維同學也更好維護

    熱資料敏感度較高,在較快的儲存介質上進行儲存,運維同學也會根據其業務特點,重點對這部分進行穩定性維護,所以這部分資料有問題時,其問題處理優先順序是最高的。運維同學也會將更多精力放在熱資料的維護上。

    對於冷資料而言,資料就沒有那麼重要的,這部分資料即使出了問題,運維同學無需那麼緊張著急。運維同學可以按照自己的節奏來進行處理。熱資料穩定重點保障,冷資料資料保證不丟,運維同學也能夠更好的安排自己的事情,優先的事,優先處理。

  • 中秋節和大豐收的關聯?
  • 捷安特atx690為什麼時間長車子就不好騎了?