Redis與Memcached的區別傳統MySQL+ Memcached架構遇到的問題 實際MySQL是適合進行海量資料儲存的，透過Memcached將熱點資料載入到cache，加速訪問，很多公司都曾經使用過這樣的架構，但隨著業務資料量的不斷增加，和訪問量的持續增長，我們遇到了很多問題：
1.MySQL需要不斷進行拆庫拆表，Memcached也需不斷跟著擴容，擴容和維護工作佔據大量開發時間。
2.Memcached與MySQL資料庫資料一致性問題。
3.Memcached資料命中率低或down機，大量訪問直接穿透到DB，MySQL無法支撐。
4.跨機房cache同步問題。 眾多NoSQL百花齊放，如何選擇 最近幾年，業界不斷湧現出很多各種各樣的NoSQL產品，那麼如何才能正確地使用好這些產品，最大化地發揮其長處，是我們需要深入研究和思考的問題，實際歸根結底最重要的是瞭解這些產品的定位，並且瞭解到每款產品的tradeoffs，在實際應用中做到揚長避短，總體上這些NoSQL主要用於解決以下幾種問題 1.少量資料儲存，高速讀寫訪問。此類產品透過資料全部in-momery 的方式來保證高速訪問，同時提供資料落地的功能，實際這正是Redis最主要的適用場景。 2.海量資料儲存，分散式系統支援，資料一致性保證，方便的叢集節點新增/刪除。 3.這方面最具代表性的是dynamo和bigtable 2篇論文所闡述的思路。前者是一個完全無中心的設計，節點之間透過gossip方式傳遞叢集資訊，資料保證最終一致性，後者是一箇中心化的方案設計，透過類似一個分散式鎖服務來保證強一致性,資料寫入先寫記憶體和redo log，然後定期compat歸併到磁碟上，將隨機寫最佳化為順序寫，提高寫入效能。 4.Schema free，auto-sharding等。比如目前常見的一些文件資料庫都是支援schema-free的，直接儲存json格式資料，並且支援auto-sharding等功能，比如mongodb。 面對這些不同型別的NoSQL產品,我們需要根據我們的業務場景選擇最合適的產品。 Redis適用場景，如何正確的使用 前面已經分析過，Redis最適合所有資料in-momory的場景，雖然Redis也提供持久化功能，但實際更多的是一個disk-backed的功能，跟傳統意義上的持久化有比較大的差別，那麼可能大家就會有疑問，似乎Redis更像一個加強版的Memcached，那麼何時使用Memcached,何時使用Redis呢? 如果簡單地比較Redis與Memcached的區別，大多數都會得到以下觀點：1 Redis不僅僅支援簡單的k/v型別的資料，同時還提供list，set，zset，hash等資料結構的儲存。2 Redis支援資料的備份，即master-slave模式的資料備份。3 Redis支援資料的持久化，可以將記憶體中的資料保持在磁碟中，重啟的時候可以再次載入進行使用。拋開這些，可以深入到Redis內部構造去觀察更加本質的區別，理解Redis的設計。在Redis中，並不是所有的資料都一直儲存在記憶體中的。這是和Memcached相比一個最大的區別。Redis只會快取所有的 key的資訊，如果Redis發現記憶體的使用量超過了某一個閥值，將觸發swap的操作，Redis根據“swappability = age*log(size_in_memory)”計 算出哪些key對應的value需要swap到磁碟。然後再將這些key對應的value持久化到磁碟中，同時在記憶體中清除。這種特性使得Redis可以 保持超過其機器本身記憶體大小的資料。當然，機器本身的記憶體必須要能夠保持所有的key，畢竟這些資料是不會進行swap操作的。同時由於Redis將記憶體 中的資料swap到磁碟中的時候，提供服務的主執行緒和進行swap操作的子執行緒會共享這部分記憶體，所以如果更新需要swap的資料，Redis將阻塞這個 操作，直到子執行緒完成swap操作後才可以進行修改。使用Redis特有記憶體模型前後的情況對比：VM off: 300k keys, 4096 bytes values: 1.3G usedVM on: 300k keys, 4096 bytes values: 73M usedVM off: 1 million keys, 256 bytes values: 430.12M usedVM on: 1 million keys, 256 bytes values: 160.09M usedVM on: 1 million keys, values as large as you want, still: 160.09M used當 從Redis中讀取資料的時候，如果讀取的key對應的value不在記憶體中，那麼Redis就需要從swap檔案中載入相應資料，然後再返回給請求方。 這裡就存在一個I/O執行緒池的問題。在預設的情況下，Redis會出現阻塞，即完成所有的swap檔案載入後才會相應。這種策略在客戶端的數量較小，進行 批次操作的時候比較合適。但是如果將Redis應用在一個大型的網站應用程式中，這顯然是無法滿足大併發的情況的。所以Redis執行我們設定I/O執行緒 池的大小，對需要從swap檔案中載入相應資料的讀取請求進行併發操作，減少阻塞的時間。如果希望在海量資料的環境中使用好Redis，我相信理解Redis的記憶體設計和阻塞的情況是不可缺少的。 補充的知識點：memcached和redis的比較1 網路IO模型 Memcached是多執行緒，非阻塞IO複用的網路模型，分為監聽主執行緒和worker子執行緒，監聽執行緒監聽網路連線，接受請求後，將連線描述字pipe 傳遞給worker執行緒，進行讀寫IO, 網路層使用libevent封裝的事件庫，多執行緒模型可以發揮多核作用，但是引入了cache coherency和鎖的問題，比如，Memcached最常用的stats 命令，實際Memcached所有操作都要對這個全域性變數加鎖，進行計數等工作，帶來了效能損耗。(Memcached網路IO模型) Redis使用單執行緒的IO複用模型，自己封裝了一個簡單的AeEvent事件處理框架，主要實現了epoll、kqueue和select，對於單純只有IO操作來說，單執行緒可以將速度優勢發揮到最大，但是Redis也提供了一些簡單的計算功能，比如排序、聚合等，對於這些操作，單執行緒模型實際會嚴重影響整體吞吐量，CPU計算過程中，整個IO排程都是被阻塞住的。 2.記憶體管理方面 Memcached使用預分配的記憶體池的方式，使用slab和大小不同的chunk來管理記憶體，Item根據大小選擇合適的chunk儲存，記憶體池的方式可以省去申請/釋放記憶體的開銷，並且能減小記憶體碎片產生，但這種方式也會帶來一定程度上的空間浪費，並且在記憶體仍然有很大空間時，新的資料也可能會被剔除，原因可以參考Timyang的文章：
http://timyang.net/data/Memcached-lru-evictions/
5.關於不同語言的客戶端支援 在不同語言的客戶端方面，Memcached和Redis都有豐富的第三方客戶端可供選擇，不過因為Memcached發展的時間更久一些，目前看在客戶端支援方面，Memcached的很多客戶端更加成熟穩定，而Redis由於其協議本身就比Memcached複雜，加上作者不斷增加新的功能等，對應第三方客戶端跟進速度可能會趕不上，有時可能需要自己在第三方客戶端基礎上做些修改才能更好的使用。 根據以上比較不難看出，當我們不希望資料被踢出，或者需要除key/value之外的更多資料型別時，或者需要落地功能時，使用Redis比使用Memcached更合適。 關於Redis的一些周邊功能 Redis除了作為儲存之外還提供了一些其它方面的功能，比如聚合計算、pubsub、scripting等，對於此類功能需要了解其實現原理，清楚地瞭解到它的侷限性後，才能正確的使用，比如pubsub功能，這個實際是沒有任何持久化支援的，消費方連線閃斷或重連之間過來的訊息是會全部丟失的，又比如聚合計算和scripting等功能受Redis單執行緒模型所限，是不可能達到很高的吞吐量的，需要謹慎使用。 總的來說Redis作者是一位非常勤奮的開發者，可以經常看到作者在嘗試著各種不同的新鮮想法和思路，針對這些方面的功能就要求我們需要深入瞭解後再使用。 總結： 1.Redis使用最佳方式是全部資料in-memory。 2.Redis更多場景是作為Memcached的替代者來使用。 3.當需要除key/value之外的更多資料型別支援時，使用Redis更合適。 4.當儲存的資料不能被剔除時，使用Redis更合適。
Redis與Memcached的區別傳統MySQL+ Memcached架構遇到的問題 實際MySQL是適合進行海量資料儲存的，透過Memcached將熱點資料載入到cache，加速訪問，很多公司都曾經使用過這樣的架構，但隨著業務資料量的不斷增加，和訪問量的持續增長，我們遇到了很多問題：
1.MySQL需要不斷進行拆庫拆表，Memcached也需不斷跟著擴容，擴容和維護工作佔據大量開發時間。
2.Memcached與MySQL資料庫資料一致性問題。
3.Memcached資料命中率低或down機，大量訪問直接穿透到DB，MySQL無法支撐。
4.跨機房cache同步問題。 眾多NoSQL百花齊放，如何選擇 最近幾年，業界不斷湧現出很多各種各樣的NoSQL產品，那麼如何才能正確地使用好這些產品，最大化地發揮其長處，是我們需要深入研究和思考的問題，實際歸根結底最重要的是瞭解這些產品的定位，並且瞭解到每款產品的tradeoffs，在實際應用中做到揚長避短，總體上這些NoSQL主要用於解決以下幾種問題 1.少量資料儲存，高速讀寫訪問。此類產品透過資料全部in-momery 的方式來保證高速訪問，同時提供資料落地的功能，實際這正是Redis最主要的適用場景。 2.海量資料儲存，分散式系統支援，資料一致性保證，方便的叢集節點新增/刪除。 3.這方面最具代表性的是dynamo和bigtable 2篇論文所闡述的思路。前者是一個完全無中心的設計，節點之間透過gossip方式傳遞叢集資訊，資料保證最終一致性，後者是一箇中心化的方案設計，透過類似一個分散式鎖服務來保證強一致性,資料寫入先寫記憶體和redo log，然後定期compat歸併到磁碟上，將隨機寫最佳化為順序寫，提高寫入效能。 4.Schema free，auto-sharding等。比如目前常見的一些文件資料庫都是支援schema-free的，直接儲存json格式資料，並且支援auto-sharding等功能，比如mongodb。 面對這些不同型別的NoSQL產品,我們需要根據我們的業務場景選擇最合適的產品。 Redis適用場景，如何正確的使用 前面已經分析過，Redis最適合所有資料in-momory的場景，雖然Redis也提供持久化功能，但實際更多的是一個disk-backed的功能，跟傳統意義上的持久化有比較大的差別，那麼可能大家就會有疑問，似乎Redis更像一個加強版的Memcached，那麼何時使用Memcached,何時使用Redis呢? 如果簡單地比較Redis與Memcached的區別，大多數都會得到以下觀點：1 Redis不僅僅支援簡單的k/v型別的資料，同時還提供list，set，zset，hash等資料結構的儲存。2 Redis支援資料的備份，即master-slave模式的資料備份。3 Redis支援資料的持久化，可以將記憶體中的資料保持在磁碟中，重啟的時候可以再次載入進行使用。拋開這些，可以深入到Redis內部構造去觀察更加本質的區別，理解Redis的設計。在Redis中，並不是所有的資料都一直儲存在記憶體中的。這是和Memcached相比一個最大的區別。Redis只會快取所有的 key的資訊，如果Redis發現記憶體的使用量超過了某一個閥值，將觸發swap的操作，Redis根據“swappability = age*log(size_in_memory)”計 算出哪些key對應的value需要swap到磁碟。然後再將這些key對應的value持久化到磁碟中，同時在記憶體中清除。這種特性使得Redis可以 保持超過其機器本身記憶體大小的資料。當然，機器本身的記憶體必須要能夠保持所有的key，畢竟這些資料是不會進行swap操作的。同時由於Redis將記憶體 中的資料swap到磁碟中的時候，提供服務的主執行緒和進行swap操作的子執行緒會共享這部分記憶體，所以如果更新需要swap的資料，Redis將阻塞這個 操作，直到子執行緒完成swap操作後才可以進行修改。使用Redis特有記憶體模型前後的情況對比：VM off: 300k keys, 4096 bytes values: 1.3G usedVM on: 300k keys, 4096 bytes values: 73M usedVM off: 1 million keys, 256 bytes values: 430.12M usedVM on: 1 million keys, 256 bytes values: 160.09M usedVM on: 1 million keys, values as large as you want, still: 160.09M used當 從Redis中讀取資料的時候，如果讀取的key對應的value不在記憶體中，那麼Redis就需要從swap檔案中載入相應資料，然後再返回給請求方。 這裡就存在一個I/O執行緒池的問題。在預設的情況下，Redis會出現阻塞，即完成所有的swap檔案載入後才會相應。這種策略在客戶端的數量較小，進行 批次操作的時候比較合適。但是如果將Redis應用在一個大型的網站應用程式中，這顯然是無法滿足大併發的情況的。所以Redis執行我們設定I/O執行緒 池的大小，對需要從swap檔案中載入相應資料的讀取請求進行併發操作，減少阻塞的時間。如果希望在海量資料的環境中使用好Redis，我相信理解Redis的記憶體設計和阻塞的情況是不可缺少的。 補充的知識點：memcached和redis的比較1 網路IO模型 Memcached是多執行緒，非阻塞IO複用的網路模型，分為監聽主執行緒和worker子執行緒，監聽執行緒監聽網路連線，接受請求後，將連線描述字pipe 傳遞給worker執行緒，進行讀寫IO, 網路層使用libevent封裝的事件庫，多執行緒模型可以發揮多核作用，但是引入了cache coherency和鎖的問題，比如，Memcached最常用的stats 命令，實際Memcached所有操作都要對這個全域性變數加鎖，進行計數等工作，帶來了效能損耗。(Memcached網路IO模型) Redis使用單執行緒的IO複用模型，自己封裝了一個簡單的AeEvent事件處理框架，主要實現了epoll、kqueue和select，對於單純只有IO操作來說，單執行緒可以將速度優勢發揮到最大，但是Redis也提供了一些簡單的計算功能，比如排序、聚合等，對於這些操作，單執行緒模型實際會嚴重影響整體吞吐量，CPU計算過程中，整個IO排程都是被阻塞住的。 2.記憶體管理方面 Memcached使用預分配的記憶體池的方式，使用slab和大小不同的chunk來管理記憶體，Item根據大小選擇合適的chunk儲存，記憶體池的方式可以省去申請/釋放記憶體的開銷，並且能減小記憶體碎片產生，但這種方式也會帶來一定程度上的空間浪費，並且在記憶體仍然有很大空間時，新的資料也可能會被剔除，原因可以參考Timyang的文章：
http://timyang.net/data/Memcached-lru-evictions/
Redis使用現場申請記憶體的方式來儲存資料，並且很少使用free-list等方式來最佳化記憶體分配，會在一定程度上存在記憶體碎片，Redis跟據儲存命令引數，會把帶過期時間的資料單獨存放在一起，並把它們稱為臨時資料，非臨時資料是永遠不會被剔除的，即便物理記憶體不夠，導致swap也不會剔除任何非臨時資料(但會嘗試剔除部分臨時資料)，這點上Redis更適合作為儲存而不是cache。 3.資料一致性問題 Memcached提供了cas命令，可以保證多個併發訪問操作同一份資料的一致性問題。 Redis沒有提供cas 命令，並不能保證這點，不過Redis提供了事務的功能，可以保證一串 命令的原子性，中間不會被任何操作打斷。 4.儲存方式及其它方面 Memcached基本只支援簡單的key-value儲存，不支援列舉，不支援持久化和複製等功能 Redis除key/value之外，還支援list,set,sorted set,hash等眾多資料結構，提供了KEYS 進行列舉操作，但不能在線上使用，如果需要列舉線上資料，Redis提供了工具可以直接掃描其dump檔案，枚舉出所有資料，Redis還同時提供了持久化和複製等功能。5.關於不同語言的客戶端支援 在不同語言的客戶端方面，Memcached和Redis都有豐富的第三方客戶端可供選擇，不過因為Memcached發展的時間更久一些，目前看在客戶端支援方面，Memcached的很多客戶端更加成熟穩定，而Redis由於其協議本身就比Memcached複雜，加上作者不斷增加新的功能等，對應第三方客戶端跟進速度可能會趕不上，有時可能需要自己在第三方客戶端基礎上做些修改才能更好的使用。 根據以上比較不難看出，當我們不希望資料被踢出，或者需要除key/value之外的更多資料型別時，或者需要落地功能時，使用Redis比使用Memcached更合適。 關於Redis的一些周邊功能 Redis除了作為儲存之外還提供了一些其它方面的功能，比如聚合計算、pubsub、scripting等，對於此類功能需要了解其實現原理，清楚地瞭解到它的侷限性後，才能正確的使用，比如pubsub功能，這個實際是沒有任何持久化支援的，消費方連線閃斷或重連之間過來的訊息是會全部丟失的，又比如聚合計算和scripting等功能受Redis單執行緒模型所限，是不可能達到很高的吞吐量的，需要謹慎使用。 總的來說Redis作者是一位非常勤奮的開發者，可以經常看到作者在嘗試著各種不同的新鮮想法和思路，針對這些方面的功能就要求我們需要深入瞭解後再使用。 總結： 1.Redis使用最佳方式是全部資料in-memory。 2.Redis更多場景是作為Memcached的替代者來使用。 3.當需要除key/value之外的更多資料型別支援時，使用Redis更合適。 4.當儲存的資料不能被剔除時，使用Redis更合適。