什麼是NoSQL?
NoSQL,指的是非關係型的數據庫。NoSQL有時也稱作Not Only SQL的縮寫,是對不同於傳統的關係型數據庫的數據庫管理系統的統稱。
NoSQL用於超大規模數據的存儲。(例如谷歌或Facebook每天爲他們的用戶收集萬億比特的數據)。這些類型的數據存儲不需要固定的模式,無需多餘操作就可以橫向擴展。
爲什麼使用NoSQL ?
今天我們可以通過第三方平臺(如:Google,Facebook等)可以很容易的訪問和抓取數據。用戶的個人信息,社交網絡,地理位置,用戶生成的數據和用戶操作日誌已經成倍的增加。我們如果要對這些用戶數據進行挖掘,那SQL數據庫已經不適合這些應用了, NoSQL數據庫的發展也卻能很好的處理這些大的數據。
常見的nosql
二、Redis,Memcache,MongoDb的特點
1.Redis
優點:
-
1.支持多種數據結構,如 string(字符串)、 list(雙向鏈表)、dict(hash表)、set(集合)、zset(排序set)、hyperloglog(基數估算)
-
2.支持持久化操作,可以進行aof及rdb數據持久化到磁盤,從而進行數據備份或數據恢復等操作,較好的防止數據丟失 的手段。
-
3.支持通過Replication進行數據複製,通過master-slave機制,可以實時進行數據的同步複製,支持多級複製和增量複製,master-slave機制是Redis進行HA的重要手段。
-
4.單線程請求,所有命令串行執行,併發情況下不需要考慮數據一致性問題。
-
5.支持pub/sub消息訂閱機制,可以用來進行消息訂閱與通知。
-
6.支持簡單的事務需求,但業界使用場景很少,並不成熟。
缺點:
-
1.Redis只能使用單線程,性能受限於CPU性能,故單實例CPU最高才可能達到5-6wQPS每秒(取決於數據結構,數據大小以及服務器硬件性能,日常環境中QPS高峯大約在1-2w左右)。
-
2.支持簡單的事務需求,但業界使用場景很少,並不成熟,既是優點也是缺點。
-
3.Redis在string類型上會消耗較多內存,可以使用dict(hash表)壓縮存儲以降低內存
-
耗用。
2.Memcache
優點:
-
1.Memcached可以利用多核優勢,單實例吞吐量極高,可以達到幾十萬QPS(取決於key、value的字節大小以及服務器硬件性能,日常環境中QPS高峯大約在4-6w左右)。適用於最大程度扛量。
-
2.支持直接配置爲session handle。
-
1只支持簡單的key/value數據結構,不像Redis可以支持豐富的數據類型。
-
2.無法進行持久化,數據不能備份,只能用於緩存使用,且重啓後數據全部丟失。
-
3.無法進行數據同步,不能將MC中的數據遷移到其他MC實例中。
-
4.Memcached內存分配採用Slab Allocation機制管理內存,value大小分佈差異較大時會造成內存利用率降低,並引發低利用率時依然出現踢出等問題。需要用戶注重value設計。
3.MongoDB
優點:
-
1.更高的寫負載,MongoDB擁有更高的插入速度。
-
2.處理很大的規模的單表,當數據表太大的時候可以很容易的分割表。
-
3.高可用性,設置M-S不僅方便而且很快,MongoDB還可以快速、安全及自動化的實現節點
-
(數據中心)故障轉移。
-
4.快速的查詢,MongoDB支持二維空間索引,比如管道,因此可以快速及精確的從指定位置
-
獲取數據。MongoDB在啓動後會將數據庫中的數據以文件映射的方式加載到內存中。如果內
-
存資源相當豐富的話,這將極大地提高數據庫的查詢速度。
-
5.非結構化數據的爆發增長,增加列在有些情況下可能鎖定整個數據庫,或者增加負載從而
-
導致性能下降,由於MongoDB的弱數據結構模式,添加1個新字段不會對舊錶格有任何影響,
-
整個過程會非常快速。
缺點:
-
1.不支持事務。
-
2.MongoDB佔用空間過大 。
-
3.MongoDB沒有成熟的維護工具。
三、Redis、Memcache和MongoDB的區別
1.性能
三者的性能都比較高,總的來講:Memcache和Redis差不多,要高於MongoDB。
2.便利性
-
memcache數據結構單一。
-
redis豐富一些,數據操作方面,redis更好一些,較少的網絡IO次數。
-
mongodb支持豐富的數據表達,索引,最類似關係型數據庫,支持的查詢語言非常豐富。
3,存儲空間
-
redis在2.0版本後增加了自己的VM特性,突破物理內存的限制;可以對key value設置過
-
期時間(類似memcache)。
-
memcache可以修改最大可用內存,採用LRU算法。
-
mongoDB適合大數據量的存儲,依賴操作系統VM做內存管理,吃內存也比較厲害,服務不要
-
和別的服務在一起。
4.可用性
-
redis,依賴客戶端來實現分佈式讀寫;主從複製時,每次從節點重新連接主節點都要依賴整
-
個快照,無增量複製,因性能和效率問題,所以單點問題比較複雜;不支持自動sharding,需
-
要依賴程序設定一致hash 機制。一種替代方案是,不用redis本身的複製機制,採用自己做
-
主動複製(多份存儲),或者改成增量複製的方式(需要自己實現),一致性問題和性能的權
-
衡。
-
Memcache本身沒有數據冗餘機制,也沒必要;對於故障預防,採用依賴成熟的hash或者環狀的算法,解決單點故障引起的抖動問題。
-
mongoDB支持master-slave,replicaset(內部採用paxos選舉算法,自動故障恢
-
復),auto sharding機制,對客戶端屏蔽了故障轉移和切分機制。
5.可靠性
-
redis支持(快照、AOF):依賴快照進行持久化,aof增強了可靠性的同時,對性能有所影
-
響。
-
memcache不支持,通常用在做緩存,提升性能。
-
MongoDB從1.8版本開始採用binlog方式支持持久化的可靠性。
6.一致性
-
Memcache 在併發場景下,用cas保證一致性。
-
redis事務支持比較弱,只能保證事務中的每個操作連續執行。
-
mongoDB不支持事務。
7.數據分析
mongoDB內置了數據分析的功能(mapreduce),其他兩者不支持。
8.應用場景
-
redis:數據量較小的更性能操作和運算上。
-
memcache:用於在動態系統中減少數據庫負載,提升性能;做緩存,提高性能(適合讀多寫
-
少,對於數據量比較大,可以採用sharding)。
-
MongoDB:主要解決海量數據的訪問效率問題。