redis,memcache及mongodb特性與區別
1. Redis
是一個內存中的數據結構存儲系統,支持多種數據結構:包括string(字符串)、list(鏈表)、set(集合)、zset(sorted set --有序集合)和hash(哈希類型)。這些數據類型都支持push/pop、add/remove及取交集並集和差集及更豐富的操作,而且這些操作都是原子性的。數據支持持久化(RDB快照和AOF方式,默認是rdb方式存儲),並且支持主從模式(一主多從/一主一從)。
redis特性概述
- 支持多種數據結構,如 string(字符串)、 list(雙向鏈表)、dict(hash表)、set(集合)、zset(排序set)、hyperloglog(基數估算);
- 支持持久化操作,可以進行aof及rdb數據持久化到磁盤,從而進行數據備份或數據恢復等操作,較好的防止數據丟失的手段;
- 支持通過Replication進行數據複製,通過master-slave機制,可以實時進行數據的同步複製,支持多級複製和增量複製,master-slave機制是Redis進行HA的重要手段;
- 單線程請求,所有命令串行執行,併發情況下不需要考慮數據一致性問題;
- 支持pub/sub消息訂閱機制,可以用來進行消息訂閱與通知;
- 支持簡單的事務需求,但業界使用場景很少,並不成熟。
- Redis只能使用單線程,性能受限於CPU性能,故單實例CPU最高才可能達到5-6wQPS每秒(取決於數據結構,數據大小以及服務器硬件性能,日常環境中QPS高峯大約在1-2w左右);
- 支持簡單的事務需求,但業界使用場景很少,並不成熟,既是優點也是缺點;
- 支持(快照、AOF):依賴快照進行持久化,AOF增強了可靠性的同時,對性能有所影響;
- Redis在string類型上會消耗較多內存,可以使用dict(hash表)壓縮存儲以降低內存耗用;
- MC和Redis都是Key-Value類型,不適合在不同數據集之間建立關係,也不適合進行查詢搜索。比如redis的keys pattern這種匹配操作,對redis的性能是災難;
- Redis在2.0版本後增加了自己的VM特性,突破物理內存的限制;可以對key value設置過期時間(類似memcache);
- Redis事務支持比較弱,只能保證事務中的每個操作連續執行,
2. Memcached
是一個分佈式高速緩存系統用於動態Web應用以減輕數據庫負載。它通過在內存中緩存數據和對象來減少讀取數據庫的次數,從而提高動態、數據庫驅動網站的速度。Memcached基於一個存儲鍵/值對的hashmap。其守護進程(daemon )是用C寫的,但是客戶端可以用任何語言來編寫,並通過memcached協議與守護進程通信。
Memcached特性概述
- 使用物理內存作爲緩存區,可獨立運行在服務器上,每個進程最大內存爲2G。如果想緩存更多的數據,可以開闢更多的Memcache進程(不同端口)或者使用分佈式Memcache進行緩存。
- 使用K-V形式的方式來存儲數據,這是一種單索引的結構化數據組織形式,查詢的效率高
- 協議簡單:基於文本行的協議,直接通過telnet在Memcache服務器上進程存取數據操作,簡單 基於libevent高性能通信
- 內置的內存管理方式:使用stab Allcation進行內存管理,按照既定的內存,將內存切割成特定的長度來存儲相應的數據
- 分佈式:使用hash一致性算法,進行分佈式存儲數據,各個Memcache服務器之間互不通訊,各自獨立存取數據,不共享任何信息,服務器並不具有分佈式功能,分佈式部署取決於memcache客戶端
- 緩存策略:LRU到期失效策略,即在內存用完之後,服務器端會根據LRU策略,計算最近沒有使用過的數據,將其進行替換
3. Mongodb
MongoDB是一個基於分佈式文件存儲的數據庫。由C++語言編寫。旨在爲WEB應用提供可擴展的高性能數據存儲解決方案。
MongoDB是一個介於關係數據庫和非關係數據庫之間的產品,是非關係數據庫當中功能最豐富,最像關係數據庫的。它支持的數據結構非常鬆散,是類似json的bson格式,因此可以存儲比較複雜的數據類型。Mongo最大的特點是它支持的查詢語言非常強大,其語法有點類似於面向對象的查詢語言,幾乎可以實現類似關係數據庫單表查詢的絕大部分功能,而且還支持對數據建立索引。
Mongodb特性概述
- 適合大數據量的存儲,依賴操作系統VM做內存管理,喫內存也比較厲害,服務不要和別的服務在一起;
- 支持豐富的數據表達,索引,最類似關係型數據庫,支持的查詢語言非常豐富;
- 支持master-slave,replicaset(內部採用paxos選舉算法,自動故障恢復),auto sharding機制,對客戶端屏蔽了故障轉移和切分機制;
- 從1.8版本開始採用binlog方式支持持久化的可靠性;
- MongoDB不支持事務;
- MongoDB內置了數據分析的功能(mapreduce),其他不支持
Redis、Memcache、Mongodb區別(個人總結,歡迎大牛指點)
名稱 | Redis | Memcache | MongoDB |
---|---|---|---|
協議 | 類似於telnet | 文本協議 | bson,自定義二進制 |
數據結構 | 5種(string、list、set、zset、hash) | 1種Key-Value | 豐富的數據類型,接近關係型數據庫 |
可靠性 | 支持數據持久化(RDB\AOF) | 不支持 | 從1.8版本後,採用binlog方式(類似Mysql) 支持持久化 |
內存及存儲 | Redis2.0後支持虛擬內存特性(VM) 突破物理內存限制;數據可以設置時效性,類似於memcache | 內存存儲,LRU過期策略 | 適合大數據量存儲,依賴系統虛擬內存,採用鏡像文件存儲;內存佔用率比較高,官方建議獨立部署在64位系統 |
處理模式 | 單核單線程 | 多核多線程 | 多線程 |
可用性 | 依賴客戶端來實現分佈式讀寫;主從複製時,每次從節點重新連接主節點都要依賴整個快照,無增量複製;不支持auto sharding,需要依賴程序設定一致性hash機制 | 支持master-slave,replicatset(內部採用paxos選舉算法,自動故障恢復),auto sharding機制,對客戶端屏蔽了故障轉移和切片機制 | |
應用場景 | 較小數據量的性能和運算;適用於對讀寫效率要求都很高,數據處理業務複雜和對安全性要求較高的系統 | 動態系統中減輕數據庫負載,提升性能;做緩存,適合多讀少寫,大數據量的情況(如人人網大量查詢用戶信息、好友信息、文章信息等;用於在動態系統中減少數據庫負載,提升性能;做緩存,提高性能(適合讀多寫少,對於數據量比較大,可以採用sharding) | 主要解決海量數據的訪問效率問題 |