其實這是典型的大量圖片儲存與查詢的問題。
這類的問題,需要考慮“儲存”與“查詢”的具體各自效能要求。
儲存:插入的效能;
查詢:查詢的效能,以及實時性。
一:當效能沒什麼要求的情況下,單獨使用HDFS或者樓上說的FastDFS都是可以的,這種方式的優勢在於:邏輯的一致性,這樣的系統未來維護成本低。
二:對效能和實時性有要求
Hadoop + HBASE的解決方案
這個方案中HBASE解決的是什麼問題?它解決的是:小檔案壓縮 + 點查的高效率問題。
也就是說,利用HBASE的很多內部特性,你不再需要特殊考慮這些小檔案應該如何管理。內部機制就可以解決絕大部分問題。並且HBASE本身就是點查最好的幫手,效能絕對的快。
HBASE的圖片處理程式碼,網上也很多了,給你付一篇Hadoop + HBASE的
樓上說的balance的問題,在你每天只有5G的資料量下,基本上不用太擔心。
當然,如果對中國產感興趣,淘寶的TFS就是解決大量圖片問題的平臺,它本身的發展主要解決的問題是淘寶海量商品圖片儲存與查詢。
其實這是典型的大量圖片儲存與查詢的問題。
這類的問題,需要考慮“儲存”與“查詢”的具體各自效能要求。
儲存:插入的效能;
查詢:查詢的效能,以及實時性。
一:當效能沒什麼要求的情況下,單獨使用HDFS或者樓上說的FastDFS都是可以的,這種方式的優勢在於:邏輯的一致性,這樣的系統未來維護成本低。
二:對效能和實時性有要求
Hadoop + HBASE的解決方案
這個方案中HBASE解決的是什麼問題?它解決的是:小檔案壓縮 + 點查的高效率問題。
也就是說,利用HBASE的很多內部特性,你不再需要特殊考慮這些小檔案應該如何管理。內部機制就可以解決絕大部分問題。並且HBASE本身就是點查最好的幫手,效能絕對的快。
HBASE的圖片處理程式碼,網上也很多了,給你付一篇Hadoop + HBASE的
HBase實操 | 如何使用HBase儲存圖片樓上說的balance的問題,在你每天只有5G的資料量下,基本上不用太擔心。
當然,如果對中國產感興趣,淘寶的TFS就是解決大量圖片問題的平臺,它本身的發展主要解決的問題是淘寶海量商品圖片儲存與查詢。
揭秘淘寶286億海量圖片儲存與處理架構 - 鄭文亮 - 部落格園