回覆列表
  • 1 # 使用者7908724526493

    其實這是典型的大量圖片儲存與查詢的問題。

    這類的問題,需要考慮“儲存”與“查詢”的具體各自效能要求。

    儲存:插入的效能;

    查詢:查詢的效能,以及實時性。

    一:當效能沒什麼要求的情況下,單獨使用HDFS或者樓上說的FastDFS都是可以的,這種方式的優勢在於:邏輯的一致性,這樣的系統未來維護成本低。

    二:對效能和實時性有要求

    Hadoop + HBASE的解決方案

    這個方案中HBASE解決的是什麼問題?它解決的是:小檔案壓縮 + 點查的高效率問題。

    也就是說,利用HBASE的很多內部特性,你不再需要特殊考慮這些小檔案應該如何管理。內部機制就可以解決絕大部分問題。並且HBASE本身就是點查最好的幫手,效能絕對的快。

    HBASE的圖片處理程式碼,網上也很多了,給你付一篇Hadoop + HBASE的

    HBase實操 | 如何使用HBase儲存圖片

    樓上說的balance的問題,在你每天只有5G的資料量下,基本上不用太擔心。

    當然,如果對中國產感興趣,淘寶的TFS就是解決大量圖片問題的平臺,它本身的發展主要解決的問題是淘寶海量商品圖片儲存與查詢。

    揭秘淘寶286億海量圖片儲存與處理架構 - 鄭文亮 - 部落格園

  • 中秋節和大豐收的關聯?
  • 郭德綱告誡兒子的八句真言?