原創:小姐姐味道(微信公衆號ID:xjjdog),歡迎分享,轉載請保留出處。
這年頭,你看到的東西未必就是你認爲的東西。一個mysql協議的後面,可能是tidb;一個linux機器後面,可能是一個精簡的docker;你覺得xjjdog是個女的,但可能ta自己也不太清楚;而當你大呼php萬歲的時候,可能是研發人員和你開個玩笑,重寫了後綴,而後端用的卻是java。
大家都知道redis速度快,但它的容量和內存容量有關,很容易達到瓶頸。有些互聯網公司,直接使用redis作爲後端數據庫(在下佩服)。當業務量暴增,就面臨一個redis容量和價格的權衡問題。改業務代碼是來不及了,只好用一些持久化存儲 ,來模擬redis的一些數據結構。
redis支持近十種數據類型,最常用的有5種。string、hash、zset、set、list等。本文將針對幾種常見的數據結構,探討一下常用操作的模擬實現。
其實,我們所需要開發的,就是一個redis代理proxy。redis的客戶端,連接上我們的代理之後,會進行協議解析。解析出來的命令,將會被模擬,然後根據配置的路由,定位到相應的mysql中。
也就是你所使用的redis,其實使用mysql來存儲數據的。沒有rdb,也沒有aof。
Redis是文本協議
redis是文本協議,協議名稱叫做RESP。RESP 是 Redis 序列化協議的簡寫。它是一種直觀的文本協議,優勢在於實現異常簡單,解析性能極好。
如圖,Redis 協議將傳輸的結構數據,可以總結爲 5 種最小單元類型。每個單元結束時,統一加上回車換行符號\r\n 。
下面是幾個規則:
單行字符串 以 + 開頭;
多行字符串 以 $ 開頭,後跟字符串長度;
整數值 以 : 開頭,後跟整數的字符串形式;
錯誤消息 以 - 符號開頭;
數組 以 * 號開頭,後跟數組的長度;
比如,下面這個就是數組[9,9,6]的報文。
*3\r\n:9\r\n:9\r\n:6\r\n
所以這個協議的解析和拼裝,是非常簡單的。拿netty來說,就有codec-redis 模塊供我們使用。
實現:數據結構設計
在數據表的設計上,我們發現,kv和hash在效率上沒有什麼差別,因爲它能夠直接根據key定位到。
反倒是zset,由於有排序的功能,造成了很多操作的執行效率都不盡人意。
另外,由於我們不同的數據結構,是使用不同的表進行存儲的。所以刪除操作,要在每張表上都執行一遍。
kv設計
kv,即string,是redis裏最基本的數據類型。一個key對應一個value,string類型的值最大能存儲512MB。
設計專用的數據庫表rstore_kv
,其中,rkey是主鍵。
rkey varchar
val varchar
lastTime bigint
set操作
insert into rstore_kv("rkey","val","lastTime") values($1,$2,$3)
on duplicate key update set "val"=$2,"lastTime"=$3
get操作
select val from rstore_kv where "rkey" = $1
del操作
delete from rstore_kv where "rkey" = $1
exists操作
select count(*) as n from rstore_kv where "rkey" = $1
ttl操作
select lastTIme from rstore_kv where "rkey" = $1
hash設計
hash 是一個鍵值(key=>value)對集合。hash 特別適合用於存儲對象。
設計專用的數據庫表rstore_hash
,其中,rkey和hkey是聯合主鍵。
rkey varchar
hkey varchar
val varchar
lastTime bigint
hset操作
insert into rstore_hash("rkey","hkey","val","lastTime") values($1,$2,$3,$4)
on duplicate key update set "val"=$3,"lastTime"=$4
hget操作
select val from rstore_hash where "rkey" = $1 and "hkey" = $2
hgetall操作
select hkey,val from rstore_hash where "rkey" = $1
hdel操作
delete from rstore_hash where "rkey" = $1 and "hkey" = $2
del操作
delete from rstore_hash where "rkey" = $1
hlen,hexists操作
select count(*) as num from rstore_hash where "rkey" = $1
ttl操作
select max(lastTIme) from rstore_hash where "rkey" = $1
zset設計
Redis zset 和 set 一樣也是string類型元素的集合,且不允許重複的成員。不同的是每個元素都會關聯一個double類型的分數。redis正是通過分數來爲集合中的成員進行從小到大的排序。它的底層結構是跳躍表,效率特別高,但是會佔用大量內存。
設計專用的數據庫表rstore_zset
,其中,rkey和member是聯合主鍵。
rkey varchar
member varchar
score double
lastTime bigint
zadd操作
insert into rstore_zset("rkey","member","score","lastTime") values($1,$2,$3,$4) on duplicate key update update set "score"=$3,"lastTime"=$4
zscore操作
select score from rstore_zset where "rkey" = $1 and "member" = $2
zrem操作
delete from rstore_zset where "rkey" = $1 and "member" = $2"
zcard,exists操作
select count(*) as num from rstore_zset where "rkey" = $1
zcount操作
select count(*) as num from rstore_zset where "rkey" = $1 and score>=$2 and score<=$3
zremrangebyscore操作
delete from rstore_zset where "rkey" = $1 and score>=$2 and score<=$3
zrangebyscore操作
select member,score from rstore_zset
where "rkey" = $1 and score>=$2 and score<=$3 order by score asc,member asc
zrange操作
select member,score from rstore_zset
where "rkey" = $1 order by score asc offset $2 limit $3
zrank操作
select rank from (select member,rank() over (order by "score" asc, "lastTime" asc) as rank from rstore_zset where "rkey" = $1 ) m where m."member"= $2;
ttl操作
select max(lastTIme) from rstore_zset where "rkey" = $1
del操作
delete from rstore_zset where "rkey" = $1
set設計
Redis的Set是string類型的無序集合。
設計專用的數據庫表rstore_set
,其中,rkey和member是聯合主鍵。
rkey varchar
member varchar
lastTime bigint
sadd操作
insert into rstore_set("rkey","member","lastTime") values($1,$2,$3)
on duplicate key update update set "lastTime"=$3
scard操作
select count(*) as num from rstore_set where "rkey" = $1
sismember操作
select member from rstore_set where "rkey" = $1 and "member" = $2
smembers操作
select member from rstore_set where "rkey" = $1
srem操作
delete from rstore_set where "rkey" = $1 and "member" = $2
del操作
delete from rstore_set where "rkey" = $1
ttl操作
select max(lastTIme) from rstore_set where "rkey" = $1
End
本篇文章僅僅模擬了最常用數據結構的最常用功能,有很多很多功能是不支持的,比較明顯的就是分佈式鎖setnx等。所以這個proxy層的開發,要想做到ok,並不是那麼簡單。
同時,我們以一種模擬的視角,來看一下redis的數據結構,在關係型數據庫中的表現形式。這樣,更能夠加深我們對redis的認識,明白它存在的價值。
作者簡介:小姐姐味道 (xjjdog),一個不允許程序員走彎路的公衆號。聚焦基礎架構和Linux。十年架構,日百億流量,與你探討高併發世界,給你不一樣的味道。我的個人微信xjjdog0,歡迎添加好友,進一步交流。
近期熱門文章
《必看!java後端,亮劍誅仙》
後端技術索引,中肯火爆
《學完這100多技術,能當架構師麼?(非廣告)》
精準點評100多框架,幫你選型
《Linux上,最常用的一批命令解析(10年精選)》
CSDN發佈首日,1k贊。點贊率1/8。
《這次要是講不明白Spring Cloud核心組件,那我就白編這故事了》
用故事講解核心組件,包你滿意
《Linux生產環境上,最常用的一套“Sed“技巧》
最常用系列Sed篇,簡單易懂。Vim篇更加易懂。