目錄
1、緩存數據庫
NoSQL(NoSQL = Not Only SQL ),意即“不僅僅是SQL”,泛指非關係型的數據庫,隨着互聯網web2.0網站的興起,傳統的關係數據庫在應付web2.0網站,特別是超大規模和高併發的SNS類型的web2.0純動態網站已經顯得力不從心,暴露了很多難以克服的問題,而非關係型的數據庫則由於其本身的特點得到了非常迅速的發展。NoSQL數據庫的產生就是爲了解決大規模數據集合多重數據種類帶來的挑戰,尤其是大數據應用難題。
四大NoSQL數據庫
1、鍵值(Key-Value)存儲數據庫
這一類數據庫主要會使用到一個哈希表,這個表中有一個特定的鍵和一個指針指向特定的數據。Key/value模型對於IT系統來說的優勢在於簡單、易部署。但是如果DBA只對部分值進行查詢或更新的時候,Key/value就顯得效率低下了。如:Tokyo Cabinet/Tyrant, Redis, Voldemort, Oracle BDB.
2、列存儲數據庫
這部分數據庫通常是用來應對分佈式存儲的海量數據。鍵仍然存在,但是它們的特點是指向了多個列。這些列是由列家族來安排的。如:Cassandra, HBase, Riak.
3、文檔型數據庫
文檔型數據庫的靈感是來自於Lotus Notes辦公軟件的,而且它同第一種鍵值存儲相類似。該類型的數據模型是版本化的文檔,半結構化的文檔以特定的格式存儲,比如JSON。文檔型數據庫可 以看作是鍵值數據庫的升級版,允許之間嵌套鍵值。而且文檔型數據庫比鍵值數據庫的查詢效率更高。如:CouchDB, MongoDb
4、圖形(Graph)數據庫
圖形結構的數據庫同其他行列以及剛性結構的SQL數據庫不同,它是使用靈活的圖形模型,並且能夠擴展到多個服務器上。NoSQL數據庫沒有標準的查詢語言(SQL),因此進行數據庫查詢需要制定數據模型。許多NoSQL數據庫都有REST式的數據接口或者查詢API。 如:Neo4J, InfoGrid, Infinite Graph.
NoSQL數據庫在以下的這幾種情況下比較適用:
- 數據模型比較簡單;
- 需要靈活性更強的IT系統;
- 對數據庫性能要求較高;
- 不需要高度的數據一致性;
- 對於給定key,比較容易映射覆雜值的環境。
2、redis介紹
redis是一個key-value存儲系統。和Memcached類似,它支持存儲的value類型相對更多,包括string(字符串)、list(鏈表)、set(集合)、zset(sorted set --有序集合)和hash(哈希類型)。這些數據類型都支持push/pop、add/remove及取交集並集和差集及更豐富的操作,而且這些操作都是原子性的。在此基礎上,redis支持各種不同方式的排序。與memcached一樣,爲了保證效率,數據都是緩存在內存中。區別的是redis會週期性的把更新的數據寫入磁盤或者把修改操作寫入追加的記錄文件,並且在此基礎上實現了master-slave(主從)同步。
優點:
- 異常快速 : Redis是非常快的,每秒可以執行大約110000設置操作,81000個/每秒的讀取操作。
- 支持豐富的數據類型 : Redis支持最大多數開發人員已經知道如列表,集合,可排序集合,哈希等數據類型。
這使得在應用中很容易解決的各種問題,因爲我們知道哪些問題處理使用哪種數據類型更好解決。 - 操作都是原子的 : 所有 Redis 的操作都是原子,從而確保當兩個客戶同時訪問 Redis 服務器得到的是更新後的值(最新值)。
- MultiUtility工具:Redis是一個多功能實用工具,可以在很多如:緩存,消息傳遞隊列中使用(Redis原生支持發佈/訂閱),在應用程序中,如:Web應用程序會話,網站頁面點擊數等任何短暫的數據;
Redis安裝
wget http://download.redis.io/releases/redis-3.0.6.tar.gz
tar xzf redis-3.0.6.tar.gz
cd redis-3.0.6
make
啓動服務器
src/redis-server
啓動客戶端(查看 redis 是否還在運行)
src/redis-cli
127.0.0.1:6379> set foo bar //set key value
OK
127.0.0.1:6379> get foo //get value
"bar"
127.0.0.1:6379> set age 23
OK
127.0.0.1:6379> keys * //get all key
1) "age"
2) "foo"
127.0.0.1:6379> set age 25 ex 2 // 給age重新賦值並設置超時時間
OK
127.0.0.1:6379> get age
(nil)
3、Python操作Redis
I、python下安裝redis模塊
pip3 install redis
II、Redis API使用
(1)連接方式
操作模式
redis-py提供兩個類Redis和StrictRedis用於實現Redis的命令,StrictRedis用於實現大部分官方的命令,並使用官方的語法和命令,Redis是StrictRedis的子類,用於向後兼容舊版本的redis-py。
# Author: 73
import redis
r = redis.Redis(host="localhost", port="6379")
r.set('foo', 'bar')
print(r.get('foo'))
連接池
redis-py使用connection pool來管理對一個redis server的所有連接,避免每次建立、釋放連接的開銷。默認,每個Redis實例都會維護一個自己的連接池。可以直接建立一個連接池,然後作爲參數Redis,這樣就可以實現多個Redis實例共享一個連接池。
import redis
pool = redis.ConnectionPool(host="localhost", port="6379")
r = redis.Redis(connection_pool=pool)
r.set('foo2', 'bar2')
print(r.get('foo2'))
(2)操作
String 操作
redis中的String在內存中按照一個name對應一個value來存儲。如圖:
set(name, value, ex=None, px=None, nx=False, xx=False)
在Redis中設置值,默認,不存在則創建,存在則修改
參數:
ex,過期時間(秒)
px,過期時間(毫秒)
nx,如果設置爲True,則只有name不存在時,當前set操作才執行
xx,如果設置爲True,則只有name存在時,當前set操作才執行
setnx(name, value)
設置值,只有name不存在時,執行設置操作(添加)
setex(name, time, value)
# 設置值
# 參數:
# time,過期時間(數字秒 或 timedelta對象)
psetex(name, time_ms, value)
# 設置值
# 參數:
# time_ms,過期時間(數字毫秒 或 timedelta對象)
mset(*args, **kwargs)
批量設置值
如:
mset(k1='v1', k2='v2')
或
mget({'k1': 'v1', 'k2': 'v2'})
get(name)
獲取值
mget(keys, *args)
批量獲取
如:
mget('ylr', 'wupeiqi')
或
r.mget(['ylr', 'wupeiqi'])
getset(name, value)
設置新值並獲取原來的值
s
getrange(key, start, end)
# 獲取子序列(根據字節獲取,非字符)
# 參數:
# name,Redis 的 name
# start,起始位置(字節)
# end,結束位置(字節)
# 如: "張三李四" ,0-3表示 "張"
setrange(name, offset, value)
# 修改字符串內容,從指定字符串索引開始向後替換(新值太長時,則向後添加)
# 參數:
# offset,字符串的索引,字節(一個漢字三個字節)
# value,要設置的值
setbit(name, offset, value)
# 對name對應值的二進制表示的位進行操作
# 參數:
# name,redis的name
# offset,位的索引(將值變換成二進制後再進行索引)
# value,值只能是 1 或 0
# 注:如果在Redis中有一個對應: n1 = "foo",
那麼字符串foo的二進制表示爲:01100110 01101111 01101111
所以,如果執行 setbit(n1, 7, 1),則就會將第7位設置爲1,
那麼最終二進制則變成 01100111 01101111 01101111,即:"goo"
# 擴展,轉換二進制表示:
source = "foo"
for i in source:
num = ord(i)
print bin(num).replace('b','')
特別的,如果source是漢字怎麼辦?
答:對於utf-8,每一個漢字佔 3 個字節,那麼 "武沛齊" 則有 9個字節
對於漢字,for循環時候會按照 字節 迭代,那麼在迭代時,將每一個字節轉換 十進制數,然後再將十進制數轉換成二進制
getbit(name, offset)
# 獲取name對應的值的二進制表示中的某位的值 (0或1)
bitcount(key, start=None, end=None)
# 獲取name對應的值的二進制表示中 1 的個數
# 參數:
# key,Redis的name
# start,位起始位置
# end,位結束位置
bitop(operation, dest, *keys)
# 獲取多個值,並將值做位運算,將最後的結果保存至新的name對應的值
# 參數:
# operation,AND(並) 、 OR(或) 、 NOT(非) 、 XOR(異或)
# dest, 新的Redis的name
# *keys,要查找的Redis的name
# 如:
bitop("AND", 'new_name', 'n1', 'n2', 'n3')
# 獲取Redis中n1,n2,n3對應的值,然後講所有的值做位運算(求並集),然後將結果保存 new_name 對應的值中
strlen(name)
# 返回name對應值的字節長度(一個漢字3個字節)
incr(self, name, amount=1)
# 自增 name對應的值,當name不存在時,則創建name=amount,否則,則自增。
# 參數:
# name,Redis的name
# amount,自增數(必須是整數)
# 注:同incrby
incrbyfloat(self, name, amount=1.0)
# 自增 name對應的值,當name不存在時,則創建name=amount,否則,則自增。
# 參數:
# name,Redis的name
# amount,自增數(浮點型)
decr(self, name, amount=1)
# 自減 name對應的值,當name不存在時,則創建name=amount,否則,則自減。
# 參數:
# name,Redis的name
# amount,自減數(整數)
append(key, value)
# 在redis name對應的值後面追加內容
# 參數:
key, redis的name
value, 要追加的字符串
Hash 操作
hash表現形式上有些像pyhton中的dict,可以存儲一組關聯性較強的數據 , redis中Hash在內存中的存儲格式如下圖:
hset(name, key, value)
# name對應的hash中設置一個鍵值對(不存在,則創建;否則,修改)
# 參數:
# name,redis的name
# key,name對應的hash中的key
# value,name對應的hash中的value
# 注:
# hsetnx(name, key, value),當name對應的hash中不存在當前key時則創建(相當於添加)
hmset(name, mapping)
# 在name對應的hash中批量設置鍵值對
# 參數:
# name,redis的name
# mapping,字典,如:{'k1':'v1', 'k2': 'v2'}
# 如:
# r.hmset('xx', {'k1':'v1', 'k2': 'v2'})
hget(name,key)
# 在name對應的hash中獲取根據key獲取value
hmget(name, keys, *args)
# 在name對應的hash中獲取多個key的值
# 參數:
# name,reids對應的name
# keys,要獲取key集合,如:['k1', 'k2', 'k3']
# *args,要獲取的key,如:k1,k2,k3
# 如:
# r.mget('xx', ['k1', 'k2'])
# 或
# print r.hmget('xx', 'k1', 'k2')
hgetall(name)
# 獲取name對應hash的所有鍵值
hlen(name)
# 獲取name對應的hash中鍵值對的個數
hkeys(name)
# 獲取name對應的hash中所有的key的值
hvals(name)
# 獲取name對應的hash中所有的value的值
hexists(name, key)
# 檢查name對應的hash是否存在當前傳入的key
hdel(name,*keys)
# 將name對應的hash中指定key的鍵值對刪除
hincrby(name, key, amount=1)
# 自增name對應的hash中的指定key的值,不存在則創建key=amount
# 參數:
# name,redis中的name
# key, hash對應的key
# amount,自增數(整數)
hincrbyfloat(name, key, amount=1.0)
# 自增name對應的hash中的指定key的值,不存在則創建key=amount
# 參數:
# name,redis中的name
# key, hash對應的key
# amount,自增數(浮點數)
# 自增name對應的hash中的指定key的值,不存在則創建key=amount
hscan(name, cursor=0, match=None, count=None)
# Start a full hash scan with:
# HSCAN myhash 0
# Start a hash scan with fields matching a pattern with:
# HSCAN myhash 0 MATCH order_*
# Start a hash scan with fields matching a pattern and forcing the scan command to do more scanning with:
# HSCAN myhash 0 MATCH order_* COUNT 1000
# 增量式迭代獲取,對於數據大的數據非常有用,hscan可以實現分片的獲取數據,並非一次性將數據全部獲取完,從而放置內存被撐爆
# 參數:
# name,redis的name
# cursor,遊標(基於遊標分批取獲取數據)
# match,匹配指定key,默認None 表示所有的key
# count,每次分片最少獲取個數,默認None表示採用Redis的默認分片個數
# 如:
# 第一次:cursor1, data1 = r.hscan('xx', cursor=0, match=None, count=None)
# 第二次:cursor2, data1 = r.hscan('xx', cursor=cursor1, match=None, count=None)
# ...
# 直到返回值cursor的值爲0時,表示數據已經通過分片獲取完畢
hscan_iter(name, match=None, count=None)
# 利用yield封裝hscan創建生成器,實現分批去redis中獲取數據
# 參數:
# match,匹配指定key,默認None 表示所有的key
# count,每次分片最少獲取個數,默認None表示採用Redis的默認分片個數
# 如:
# for item in r.hscan_iter('xx'):
# print item
List 操作
redis中的List在在內存中按照一個name對應一個List來存儲。如圖:
lpush(name,values)
# 在name對應的list中添加元素,每個新的元素都添加到列表的最左邊
# 如:
# r.lpush('oo', 11,22,33)
# 保存順序爲: 33,22,11
# 擴展:
# rpush(name, values) 表示從右向左操作
lpushx(name,value)
# 在name對應的list中添加元素,只有name已經存在時,值添加到列表的最左邊
# 更多:
# rpushx(name, value) 表示從右向左操作
llen(name)
# name對應的list元素的個數
linsert(name, where, refvalue, value))
# 在name對應的列表的某一個值前或後插入一個新值
# 參數:
# name,redis的name
# where,BEFORE或AFTER
# refvalue,標杆值,即:在它前後插入數據
# value,要插入的數據
r.lset(name, index, value)
# 對name對應的list中的某一個索引位置重新賦值
# 參數:
# name,redis的name
# index,list的索引位置
# value,要設置的值
r.lrem(name, value, num)
# 在name對應的list中刪除指定的值
# 參數:
# name,redis的name
# value,要刪除的值
# num, num=0,刪除列表中所有的指定值;
# num=2,從前到後,刪除2個;
# num=-2,從後向前,刪除2個
lpop(name)
# 在name對應的列表的左側獲取第一個元素並在列表中移除,返回值則是第一個元素
# 更多:
# rpop(name) 表示從右向左操作
lindex(name, index)
在name對應的列表中根據索引獲取列表元素
lrange(name, start, end)
# 在name對應的列表分片獲取數據
# 參數:
# name,redis的name
# start,索引的起始位置
# end,索引結束位置
ltrim(name, start, end)
# 在name對應的列表中移除沒有在start-end索引之間的值
# 參數:
# name,redis的name
# start,索引的起始位置
# end,索引結束位置
rpoplpush(src, dst)
# 從一個列表取出最右邊的元素,同時將其添加至另一個列表的最左邊
# 參數:
# src,要取數據的列表的name
# dst,要添加數據的列表的name
blpop(keys, timeout)
# 將多個列表排列,按照從左到右去pop對應列表的元素
# 參數:
# keys,redis的name的集合
# timeout,超時時間,當元素所有列表的元素獲取完之後,阻塞等待列表內有數據的時間(秒), 0 表示永遠阻塞
# 更多:
# r.brpop(keys, timeout),從右向左獲取數據
brpoplpush(src, dst, timeout=0)
# 從一個列表的右側移除一個元素並將其添加到另一個列表的左側
# 參數:
# src,取出並要移除元素的列表對應的name
# dst,要插入元素的列表對應的name
# timeout,當src對應的列表中沒有數據時,阻塞等待其有數據的超時時間(秒),0 表示永遠阻塞
Set 操作
Set集合就是不允許重複的列表
sadd(name,values)
# name對應的集合中添加元素
scard(name)
# 獲取name對應的集合中元素個數
sdiff(keys, *args)
# 在第一個name對應的集合中且不在其他name對應的集合的元素集合
sdiffstore(dest, keys, *args)
# 獲取第一個name對應的集合中且不在其他name對應的集合,再將其新加入到dest對應的集合中
sinter(keys, *args)
# 獲取多個集合的交集
sinterstore(dest, keys, *args)
# 獲取多個name對應集合的交集,再講其加入到dest對應的集合中
sismember(name, value)
# 檢查value是否是name對應的集合的成員
smembers(name)
# 獲取name對應的集合的所有成員
smove(src, dst, value)
# 將某個成員從一個集合中移動到另外一個集合
spop(name)
# 從集合的右側(尾部)移除一個成員,並將其返回
srandmember(name, numbers)
# 從name對應的集合中隨機獲取 numbers 個元素
srem(name, values)
# 在name對應的集合中刪除某些值
sunion(keys, *args)
# 獲取多一個name對應的集合的並集
sunionstore(dest,keys, *args)
# 獲取多一個name對應的集合的並集,並將結果保存到dest對應的集合中
sscan(name, cursor=0, match=None, count=None)
sscan_iter(name, match=None, count=None)
# 同字符串的操作,用於增量迭代分批獲取元素,避免內存消耗太大
Sort Set 操作
有序集合,在集合的基礎上,爲每元素排序;元素的排序需要根據另外一個值來進行比較,所以,對於有序集合,每一個元素有兩個值,即:值和分數,分數專門用來做排序。
zadd(name, *args, **kwargs)
# 在name對應的有序集合中添加元素
# 如:
# zadd('zz', 1, 'n1', 2, 'n2')
# 或
# zadd('zz', n1=11, n2=22)
zcard(name)
# 獲取name對應的有序集合元素的數量
zcount(name, min, max)
# 獲取name對應的有序集合中分數 在 [min,max] 之間的個數
zincrby(name, value, amount)
# 自增name對應的有序集合的 name 對應的分數
r.zrange( name, start, end, desc=False, withscores=False, score_cast_func=float)
# 按照索引範圍獲取name對應的有序集合的元素
# 參數:
# name,redis的name
# start,有序集合索引起始位置(非分數)
# end,有序集合索引結束位置(非分數)
# desc,排序規則,默認按照分數從小到大排序
# withscores,是否獲取元素的分數,默認只獲取元素的值
# score_cast_func,對分數進行數據轉換的函數
# 更多:
# 從大到小排序
# zrevrange(name, start, end, withscores=False, score_cast_func=float)
# 按照分數範圍獲取name對應的有序集合的元素
# zrangebyscore(name, min, max, start=None, num=None, withscores=False, score_cast_func=float)
# 從大到小排序
# zrevrangebyscore(name, max, min, start=None, num=None, withscores=False, score_cast_func=float)
zrank(name, value)
# 獲取某個值在 name對應的有序集合中的排行(從 0 開始)
# 更多:
# zrevrank(name, value),從大到小排序
zrem(name, values)
# 刪除name對應的有序集合中值是values的成員
# 如:zrem('zz', ['s1', 's2'])
zremrangebyrank(name, min, max)
# 根據排行範圍刪除
zremrangebyscore(name, min, max)
# 根據分數範圍刪除
zscore(name, value)
# 獲取name對應有序集合中 value 對應的分數
zinterstore(dest, numkeys, keys, aggregate=None)
# 獲取兩個有序集合的交集,如果遇到相同值,則按照aggregate進行操作
# numkeys: 被進行操作的集合個數
# keys:集合
# aggregate的值爲: SUM MIN MAX
zunionstore(dest, numkeys, keys, aggregate=None)
# 獲取兩個有序集合的並集,如果遇到相同值,則按照aggregate進行操作
# numkeys: 被進行操作的集合個數
# keys:集合
# aggregate的值爲: SUM MIN MAX
zscan(name, cursor=0, match=None, count=None, score_cast_func=float)
zscan_iter(name, match=None, count=None,score_cast_func=float)
# 同字符串相似,相較於字符串新增score_cast_func,用來對分數進行操作
其它常用操作
delete(*names)
# 根據刪除redis中的任意數據類型
exists(name)
# 檢測redis的name是否存在
keys(pattern='*')
# 根據模型獲取redis的name
# 更多:
# KEYS * 匹配數據庫中所有 key 。
# KEYS h?llo 匹配 hello , hallo 和 hxllo 等。
# KEYS h*llo 匹配 hllo 和 heeeeello 等。
# KEYS h[ae]llo 匹配 hello 和 hallo ,但不匹配 hillo
expire(name ,time)
# 爲某個redis的某個name設置超時時間
rename(src, dst)
# 對redis的name重命名爲
move(name, db))
# 將redis的某個值移動到指定的db下
randomkey()
# 隨機獲取一個redis的name(不刪除)
type(name)
# 獲取name對應值的類型
scan(cursor=0, match=None, count=None)
scan_iter(match=None, count=None)
# 同字符串操作,用於增量迭代獲取key
(3)管道
redis-py默認在執行每次請求都會創建(連接池申請連接)和斷開(歸還連接池)一次連接操作,如果想要在一次請求中指定多個命令,則可以使用pipline實現一次請求指定多個命令,並且默認情況下一次pipline 是原子性操作。
import redis
pool = redis.ConnectionPool(host='10.211.55.4', port=6379)
r = redis.Redis(connection_pool=pool)
# pipe = r.pipeline(transaction=False)
pipe = r.pipeline(transaction=True)
pipe.set('name', 'alex')
pipe.set('role', 'sb')
pipe.execute()
(4)發佈訂閱
服務器
# Author: 73
import redis
class RedisHelper(object):
def __init__(self):
self.__conn = redis.Redis(host="localhost")
self.chan_sub = 'fm104.5'
self.chan_pub = 'fm104.5'
def public(self, msg):
self.__conn.publish(self.chan_pub, msg)
return True
def subscribe(self):
pub = self.__conn.pubsub() # 打開收音機
pub.subscribe(self.chan_sub) # 調頻道
pub.parse_response() # 準備接收
return pub
訂閱者
# Author: 73
from redishelper import RedisHelper
obj = RedisHelper()
redis_sub = obj.subscribe()
while 1:
msg = redis_sub.parse_response()
print(msg)
發佈者
from redishelper import RedisHelper
obj = RedisHelper()
obj.public('hello')
更多參見:
https://github.com/andymccurdy/redis-py/
http://doc.redisfans.com/