Redis 7.0 源碼環境搭建與閱讀技巧

天下武功,無堅不摧,唯快不破!我的名字叫 Redis,全稱是 Remote Dictionary Server。

有人說,組 CP,除了要了解她外,還要給機會讓她瞭解你。

那麼,作爲開發工程師的你,是否願意認真閱讀此心法抓住機會來了解我,運用到你的系統中提升性能。

我遵守 BSD 協議,由意大利人 Salvatore Sanfilippo 使用 C 語言編寫的一個基於內存實現的鍵值型非關係(NoSQL)數據庫。

我是一個內存數據結構存儲、可作爲數據庫、緩存、消息隊列、流處理引擎,速度快是我的特點。

根據官方數據,Redis 的 QPS 可以達到約 100000(每秒請求數)。

我提供了 String(字符串)、Hashes(散列表)、Lists(列表)、Sets(無序集合)、Sorted Sets(可根據範圍查詢的排序集合)、Bitmap(位圖)、HyperLogLog、Geospatial (地理空間)和 Stream(流)等數據結構。

數據結構的使用技法和實現原理是你核心築基必經之路,好好修煉。

除此之外,我還具有主從複製、Lua 腳本、LRU 淘汰機制,事務和不同級別的磁盤持久化功能,並通過 Redis Sentinel(哨兵)和 Redis Cluster(Redis 集羣)實現高可用,這部分內容,重中之重,高手必備。

我還支持一些原子操作,支持異步複製實現快速非阻塞同步和自動重連,另外需要注意的是,推薦你在 Lunix /Unix 系統上部署,官方並沒有在 Windows 系統上構建安裝包。

1.1.1 Redis 能幹啥

程許媛:“Redis 你說了這麼多?你能幹啥?別王婆賣瓜,自賣自誇。”

緩存

這是我被使用的最多的場景,能極大提升應用程序的性能。當單個 MySQL 讀寫壓力比較大,場景是讀多寫少的時候,把熱點數據存儲在更快的存儲中,也就是 Redis。

讀取數據

  1. 先從緩存中讀取數據是否命中。
  2. 緩存未命中,則查詢數據庫獲取數據,並把數據寫到 Redis 中,讓後續讀取相同數據的請求命中緩存,最後把數據返回給調用者。
  3. 緩存命中,直接返回。

寫數據

至於修改數據,程序員想了很多方法去儘可能保證 Redis 與 MySQL 的數據一致性。

  • 先寫 MySQL 數據,再刪除 Redis 緩存數據。
  • 監聽 MySQL binlog 日誌,修改 Redis 數據。

排行榜

使用 MySQL 等關係型數據庫,非常麻煩,性能也差,而直接使用 Redis SortedSet 輕鬆搞定。

消息隊列

簡單消息隊列,在一些不需要高可靠,但是數據量大會給 MySQL 帶來非常大壓力的場景,比如:到貨通知、未讀消息、郵件發送之列的。程序員可以使用 Lists 或者 Stream 來實現一個隊列。

分佈式鎖

Redisson 這個框架,就是使用 Redis 弄出了一套分佈式鎖解決方案。

計數器

Redis 的命令都是原子性的,程序員可以輕鬆地利用 INCRDECR命令來構建計數器系統。

還有很多場景,我會在後面章節詳細道來,學完之後,我相信你定能築基鍛體,念頭通達,升職加薪。

千古無同局,葉底能否藏花,我們未來印證,願此心法能讓你學有所成,你來,我等着。

1.1.2 源代碼編譯

經過上一篇的 Redis 簡介,我相信你一定想繼續瞭解 Redis。本章節會通過源代碼編譯來安裝 Redis 7.0.5,讓你在自己的機器上搭建一套可以 Debug 的 Redis 7.0.5 源碼環境。

這也是後續原理分析的基礎,推薦你部署在 macOS 或者 Linux 上搭建,如果你是 Windows 環境,那就搞一個虛擬機在上面裝一個 Linux 系統,再繼續搭建 Redis 環境。

程許媛:“我的電腦是 mac OS 系統,你就用這個來演示吧。”

獲取源代碼

有兩種方式,第一種是從官網下載 Redis 源碼壓縮包,如圖 1-1 所示。

圖1-1

圖 1-1

將壓縮包解壓得到一個文件夾。

第二種方式,通過 git clone 獲取源碼。

從 Github 上,使用 git clone https://github.com/redis/redis.git指令下載,下載完成後你會得到如下文件。

圖 1-2

圖 1-2

進入 redis 目錄,使用 git checkout 切換到 7.0.5 這個 tag 。

gir checkout tags/7.0.5 -b 7.0.5

編譯 Redis

在編譯之前,需要安裝一些環境依賴,Redis 是 C 語言編寫的,所以還需要 gcc 編譯器。

執行 gcc -v判斷是否安裝了編譯器。

圖 1-3

圖 1-3

沒有安裝的話,使用如下指令安裝。

xcode-select --install

一切準備就緒,進入 redis 的源碼目錄,執行 make命令,這個就好比 Java 中的 mvn 命令。

make CFLAGS="-g -O0" MALLOC=jemalloc

命令後邊的 “-O0” 參數表示告訴編譯器不要優化代碼,防止你在 Debug 的時候, IDE 裏面的 Redis 源碼與實際運行的代碼對應不上。

MALLOC=jemalloc ,指定在 mac OS 系統上 Redis 使用 jemalloc 內存分配器來分配內存,Linux 默認使用該分配器。

需要注意的是內存碎片自動清理功能只在 jemalloc 內存分配器生效。

如果安裝包用於生產環境的 Linux 系統上,那麼直接使用指令 make命令即可。

編譯成功,將會看到圖 1-4 中Hint: It's a good idea to run 'make test' ;),提示我們可以運行單元測試,這一步可以省略。

圖 1-4

圖 1-4

啓動 Redis

編譯成功,進入 src 源碼目錄下,你會看到一個 redis-server 的可執行程序,使用如下指令啓動。

./redis-server ../redis.conf

圖 1-5

圖 1-5

代碼調試環境搭建

編譯好了,我們還差一個方便閱讀和調試源碼的工具。爲了方便閱讀和 debug 源碼,極力推薦你使用 CLion 來閱讀和調試 Redis 源碼,我使用的是 CLion 2021.3 版本。

安裝好以後,打開 CLion,點擊 open,選擇 Redis 源碼目錄即可。

圖 1-6

圖 1-6

之後檢查下 Run Debug 是否出現這些選項,選擇編輯。

圖 1-7

圖 1-7

選擇編輯 redis-server ,指定啓動配置文件 redis.conf的目錄,保存。

圖 1-8

圖 1-8

server.cmain() 方法加斷點,Debug 啓動 redis -server,進行源碼 Debug。

圖 1-9

圖 1-9

大功告成,接下來就可以在 Redis 的知識海洋裏嗆水了。

目錄結構

在知識海洋嗆水之前,先來了解下 Redis 的目錄結構,從 Redis 整體目錄結構來對系統有個全局的認識,瞭解一個系統的主要組成,同時防止陷入細節或者無從下手。

deps

這個目錄主要包含 Redis 所依賴的第三方代碼庫。

  • Jemalloc,內存分配器,默認情況下選擇該內存分配器來代替 Linux 系統的 libc-malloc,libc-malloc 性能不高,且碎片化嚴重
  • hiredis,這是官方 C 語言客戶端。
  • linenoise 是一種讀線替換。它由 Redis 的同一作者開發,但作爲一個單獨的項目進行管理,並根據需要進行更新。
  • lua,顧名思義,就是 lua 相關的功能。
  • hdr_histogram,用於生成每個命令的延遲跟蹤直方圖。

src 目錄

這是 Redis 源碼的重要組成部分,裏面有 commandsmodules 兩個子目錄,其餘功能模塊的源碼都在 src 目錄下,這是最重要的目錄。

modules目錄包含了實現Redis module的示例代碼,commands裏面都是 json 格式的文件,包含了每個指令的元信息。

tests 目錄

顧名思義,功能模塊測試和單元測試的代碼就在這裏。

  • cluster,Redis Cluster 功能測試。
  • sentinel,哨兵集羣功能測試。
  • unit,單元測試。
  • integration,主從複製功能測試。

剩下的 assets、helpers、modules、support 四個目錄中是用來支撐測試功能的。

utils 目錄

輔助性功能的腳本或者代碼,比如用於創建 Redis Cluster 的腳本,lru 算法效果展示代碼等。

除此之外,Redis 源碼目錄還有兩個重要的文件,redis.conf 和 sentinel.conf,分別用於配置 Redis 實例運行和哨兵配置。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章