Redis最佳實踐:7個維度+43條使用規範,帶你徹底玩轉Redis | 附實踐清單

你的項目或許已經使用 Redis 很長時間了,但在使用過程中,你可能還會或多或少地遇到以下問題:

  • 我的 Redis 內存爲什麼增長這麼快?
  • 爲什麼我的 Redis 操作延遲變大了?
  • 如何降低 Redis 故障發生的頻率?
  • 日常運維 Redis 需要注意什麼?
  • 部署 Redis 時,如何做好資源規劃?
  • Redis 監控重點要關注哪些指標?

尤其是當你的項目越來越依賴 Redis 時,這些問題就變得尤爲重要。

此時,你迫切需要一份「最佳實踐指南」

這篇文章,我將從以下七個維度,帶你「全面」分析 Redis 的最佳實踐優化:

  • 內存
  • 性能
  • 高可靠
  • 日常運維
  • 資源規劃
  • 監控
  • 安全

在文章的最後,我還會給你一個完整的最佳實踐清單,不管你是業務開發人員,還是 DBA 運維人員,這個清單將會幫助你更加「優雅」地用好 Redis。

這篇文章乾貨很多,希望你可以耐心讀完。

如何使用 Redis 更節省內存?

首先,我們來看一下 Redis 內存方面的優化。

衆所周知,Redis 的性能之所以如此之高,原因就在於它的數據都存儲在「內存」中,所以訪問 Redis 中的數據速度極快。

但從資源利用率層面來說,機器的內存資源相比於磁盤,還是比較昂貴的。

當你的業務應用在 Redis 中存儲數據很少時,你可能並不太關心內存資源的使用情況。但隨着業務的發展,你的業務存儲在 Redis 中的數據就會越來越多。

如果沒有提前制定好內存優化策略,那麼等業務開始增長時,Redis 佔用的內存也會開始膨脹。

所以,提前制定合理的內存優化策略,對於資源利用率的提升是很有必要的。

那在使用 Redis 時,怎樣做才能更節省內存呢?這裏我給你總結了 6 點建議,我們依次來看:

1) 控制 key 的長度

最簡單直接的內存優化,就是控制 key 的長度。

在開發業務時,你需要提前預估整個 Redis 中寫入 key 的數量,如果 key 數量達到了百萬級別,那麼,過長的 key 名也會佔用過多的內存空間。

所以,你需要保證 key 在簡單、清晰的前提下,儘可能把 key 定義得短一些。

例如,原有的 key 爲 user:book:123,則可以優化爲 u:bk:123。

這樣一來,你的 Redis 就可以節省大量的內存,這個方案對內存的優化非常直接和高效。

2) 避免存儲 bigkey

除了控制 key 的長度之外,你同樣需要關注 value 的大小,如果大量存儲 bigkey,也會導致 Redis 內存增長過快。

除此之外,客戶端在讀寫 bigkey 時,還有產生性能問題(下文會具體詳述)。

所以,你要避免在 Redis 中存儲 bigkey,我給你的建議是:

  • String:大小控制在 10KB 以下
  • List/Hash/Set/ZSet:元素數量控制在 1 萬以下

3) 選擇合適的數據類型

Redis 提供了豐富的數據類型,這些數據類型在實現上,也對內存使用做了優化。具體來說就是,一種數據類型對應多種數據結構來實現:

例如,String、Set 在存儲 int 數據時,會採用整數編碼存儲。Hash、ZSet 在元素數量比較少時(可配置),會採用壓縮列表(ziplist)存儲,在存儲比較多的數據時,纔會轉換爲哈希表和跳錶。

作者這麼設計的原因,就是爲了進一步節約內存資源。

那麼你在存儲數據時,就可以利用這些特性來優化 Redis 的內存。這裏我給你的建議如下:

  • String、Set:儘可能存儲 int 類型數據
  • Hash、ZSet:存儲的元素數量控制在轉換閾值之下,以壓縮列表存儲,節約內存

4) 把 Redis 當作緩存使用

Redis 數據存儲在內存中,這也意味着其資源是有限的。你在使用 Redis 時,要把它當做緩存來使用,而不是數據庫。

所以,你的應用寫入到  Redis 中的數據,儘可能地都設置「過期時間」。

業務應用在 Redis 中查不到數據時,再從後端數據庫中加載到 Redis 中。

採用這種方案,可以讓 Redis 中只保留經常訪問的「熱數據」,內存利用率也會比較高。

5) 實例設置 maxmemory + 淘汰策略

雖然你的 Redis key 都設置了過期時間,但如果你的業務應用寫入量很大,並且過期時間設置得比較久,那麼短期間內 Redis 的內存依舊會快速增長。

如果不控制 Redis 的內存上限,也會導致使用過多的內存資源。

對於這種場景,你需要提前預估業務數據量,然後給這個實例設置 maxmemory 控制實例的內存上限,這樣可以避免 Redis 的內存持續膨脹。

配置了 maxmemory,此時你還要設置數據淘汰策略,而淘汰策略如何選擇,你需要結合你的業務特點來決定:

  • volatile-lru / allkeys-lru:優先保留最近訪問過的數據
  • volatile-lfu / allkeys-lfu:優先保留訪問次數最頻繁的數據(4.0+版本支持)
  • volatile-ttl :優先淘汰即將過期的數據
  • volatile-random / allkeys-random:隨機淘汰數據

6) 數據壓縮後寫入 Redis

以上方案基本涵蓋了 Redis 內存優化的各個方面。

如果你還想進一步優化 Redis 內存,你還可以在業務應用中先將數據壓縮,再寫入到 Redis 中(例如採用 snappy、gzip 等壓縮算法)。

當然,壓縮存儲的數據,客戶端在讀取時還需要解壓縮,在這期間會消耗更多 CPU 資源,你需要根據實際情況進行權衡。

以上就是「節省內存資源」方面的實踐優化,是不是都比較簡單?

下面我們來看「性能」方面的優化。

如何持續發揮 Redis 的高性能?

當你的系統決定引入 Redis 時,想必看中它最關鍵的一點就是:性能

我們知道,一個單機版 Redis 就可以達到 10W QPS,這麼高的性能,也意味着如果在使用過程中發生延遲情況,就會與我們的預期不符。

所以,在使用 Redis 時,如何持續發揮它的高性能,避免操作延遲的情況發生,也是我們的關注焦點。

在這方面,我給你總結了 13 條建議:

1) 避免存儲 bigkey

存儲 bigkey 除了前面講到的使用過多內存之外,對 Redis 性能也會有很大影響。

由於 Redis 處理請求是單線程的,當你的應用在寫入一個 bigkey 時,更多時間將消耗在「內存分配」上,這時操作延遲就會增加。同樣地,刪除一個 bigkey 在「釋放內存」時,也會發生耗時。

而且,當你在讀取這個 bigkey 時,也會在「網絡數據傳輸」上花費更多時間,此時後面待執行的請求就會發生排隊,Redis 性能下降。

所以,你的業務應用盡量不要存儲 bigkey,避免操作延遲發生。

如果你確實有存儲 bigkey 的需求,你可以把 bigkey 拆分爲多個小 key 存儲。

2) 開啓 lazy-free 機制

如果你無法避免存儲 bigkey,那麼我建議你開啓 Redis 的 lazy-free 機制。(4.0+版本支持)

當開啓這個機制後,Redis 在刪除一個 bigkey 時,釋放內存的耗時操作,將會放到後臺線程中去執行,這樣可以在最大程度上,避免對主線程的影響。

3) 不使用複雜度過高的命令

Redis 是單線程模型處理請求,除了操作 bigkey 會導致後面請求發生排隊之外,在執行復雜度過高的命令時,也會發生這種情況。

因爲執行復雜度過高的命令,會消耗更多的 CPU 資源,主線程中的其它請求只能等待,這時也會發生排隊延遲。

所以,你需要避免執行例如 SORT、SINTER、SINTERSTORE、ZUNIONSTORE、ZINTERSTORE 等聚合類命令。

對於這種聚合類操作,我建議你把它放到客戶端來執行,不要讓 Redis 承擔太多的計算工作。

4) 執行 O(N) 命令時,關注 N 的大小

規避使用複雜度過高的命令,就可以高枕無憂了麼?

答案是否定的。

當你在執行 O(N) 命令時,同樣需要注意 N 的大小。

如果一次性查詢過多的數據,也會在網絡傳輸過程中耗時過長,操作延遲變大。

所以,對於容器類型(List/Hash/Set/ZSet),在元素數量未知的情況下,一定不要無腦執行 LRANGE key 0 -1 / HGETALL / SMEMBERS / ZRANGE key 0 -1。

在查詢數據時,你要遵循以下原則:

  1. 先查詢數據元素的數量(LLEN/HLEN/SCARD/ZCARD)
  2. 元素數量較少,可一次性查詢全量數據
  3. 元素數量非常多,分批查詢數據(LRANGE/HASCAN/SSCAN/ZSCAN)

5) 關注 DEL 時間複雜度

你沒看錯,在刪除一個 key 時,如果姿勢不對,也有可能影響到 Redis 性能。

刪除一個 key,我們通常使用的是 DEL 命令,回想一下,你覺得 DEL 的時間複雜度是多少?

O(1) ?其實不一定。

當你刪除的是一個 String 類型 key 時,時間複雜度確實是 O(1)。

但當你要刪除的 key 是 List/Hash/Set/ZSet 類型,它的複雜度其實爲 O(N),N 代表元素個數。

也就是說,刪除一個 key,其元素數量越多,執行 DEL 也就越慢!

原因在於,刪除大量元素時,需要依次回收每個元素的內存,元素越多,花費的時間也就越久!

而且,這個過程默認是在主線程中執行的,這勢必會阻塞主線程,產生性能問題。

那刪除這種元素比較多的 key,如何處理呢?

我給你的建議是,分批刪除:

  • List類型:執行多次 LPOP/RPOP,直到所有元素都刪除完成
  • Hash/Set/ZSet類型:先執行 HSCAN/SSCAN/SCAN 查詢元素,再執行 HDEL/SREM/ZREM 依次刪除每個元素

沒想到吧?一個小小的刪除操作,稍微不小心,也有可能引發性能問題,你在操作時需要格外注意。

6) 批量命令代替單個命令

當你需要一次性操作多個 key 時,你應該使用批量命令來處理。

批量操作相比於多次單個操作的優勢在於,可以顯著減少客戶端、服務端的來回網絡 IO 次數。

所以我給你的建議是:

  • String / Hash 使用 MGET/MSET 替代 GET/SET,HMGET/HMSET 替代 HGET/HSET
  • 其它數據類型使用 Pipeline,打包一次性發送多個命令到服務端執行

7) 避免集中過期 key

Redis 清理過期 key 是採用定時 + 懶惰的方式來做的,而且這個過程都是在主線程中執行。

如果你的業務存在大量 key 集中過期的情況,那麼 Redis 在清理過期 key 時,也會有阻塞主線程的風險。

想要避免這種情況發生,你可以在設置過期時間時,增加一個隨機時間,把這些 key 的過期時間打散,從而降低集中過期對主線程的影響。

8) 使用長連接操作 Redis,合理配置連接池

你的業務應該使用長連接操作 Redis,避免短連接。

當使用短連接操作 Redis 時,每次都需要經過 TCP 三次握手、四次揮手,這個過程也會增加操作耗時。

同時,你的客戶端應該使用連接池的方式訪問 Redis,並設置合理的參數,長時間不操作 Redis 時,需及時釋放連接資源。

9) 只使用 db0

儘管 Redis 提供了 16 個 db,但我只建議你使用 db0。

爲什麼呢?我總結了以下 3 點原因:

  1. 在一個連接上操作多個 db 數據時,每次都需要先執行 SELECT,這會給 Redis 帶來額外的壓力
  2. 使用多個 db 的目的是,按不同業務線存儲數據,那爲何不拆分多個實例存儲呢?拆分多個實例部署,多個業務線不會互相影響,還能提高 Redis 的訪問性能
  3. Redis Cluster 只支持 db0,如果後期你想要遷移到 Redis Cluster,遷移成本高

10) 使用讀寫分離 + 分片集羣

如果你的業務讀請求量很大,那麼可以採用部署多個從庫的方式,實現讀寫分離,讓 Redis 的從庫分擔讀壓力,進而提升性能。

如果你的業務寫請求量很大,單個 Redis 實例已無法支撐這麼大的寫流量,那麼此時你需要使用分片集羣,分擔寫壓力。

11) 不開啓 AOF 或 AOF 配置爲每秒刷盤

如果對於丟失數據不敏感的業務,我建議你不開啓 AOF,避免 AOF 寫磁盤拖慢 Redis 的性能。

如果確實需要開啓 AOF,那麼我建議你配置爲 appendfsync everysec,把數據持久化的刷盤操作,放到後臺線程中去執行,儘量降低 Redis 寫磁盤對性能的影響。

12) 使用物理機部署 Redis

Redis 在做數據持久化時,採用創建子進程的方式進行。

而創建子進程會調用操作系統的 fork 系統調用,這個系統調用的執行耗時,與系統環境有關。

虛擬機環境執行 fork 的耗時,要比物理機慢得多,所以你的 Redis 應該儘可能部署在物理機上。

13) 關閉操作系統內存大頁機制

Linux 操作系統提供了內存大頁機制,其特點在於,每次應用程序向操作系統申請內存時,申請單位由之前的 4KB 變爲了 2MB。

這會導致什麼問題呢?

當 Redis 在做數據持久化時,會先 fork 一個子進程,此時主進程和子進程共享相同的內存地址空間。

當主進程需要修改現有數據時,會採用寫時複製(Copy On Write)的方式進行操作,在這個過程中,需要重新申請內存。

如果申請內存單位變爲了 2MB,那麼勢必會增加內存申請的耗時,如果此時主進程有大量寫操作,需要修改原有的數據,那麼在此期間,操作延遲就會變大。

所以,爲了避免出現這種問題,你需要在操作系統上關閉內存大頁機制。

好了,以上這些就是 Redis 「高性能」方面的實踐優化。如果你非常關心 Redis 的性能問題,可以結合這些方面針對性優化。

我們再來看 Redis 「可靠性」如何保證。

如何保證 Redis 的可靠性?

這裏我想提醒你的是,保證 Redis 可靠性其實並不難,但難的是如何做到「持續穩定」。

下面我會從「資源隔離」、「多副本」、「故障恢復」這三大維度,帶你分析保障 Redis 可靠性的最佳實踐。

1) 按業務線部署實例

提升可靠性的第一步,就是「資源隔離」。

你最好按不同的業務線來部署 Redis 實例,這樣當其中一個實例發生故障時,不會影響到其它業務。

這種資源隔離的方案,實施成本是最低的,但成效卻是非常大的。

2) 部署主從集羣

如果你只使用單機版 Redis,那麼就會存在機器宕機服務不可用的風險。

所以,你需要部署「多副本」實例,即主從集羣,這樣當主庫宕機後,依舊有從庫可以使用,避免了數據丟失的風險,也降低了服務不可用的時間。

在部署主從集羣時,你還需要注意,主從庫需要分佈在不同機器上,避免交叉部署。

這麼做的原因在於,通常情況下,Redis 的主庫會承擔所有的讀寫流量,所以我們一定要優先保證主庫的穩定性,即使從庫機器異常,也不要對主庫造成影響。

而且,有時我們需要對 Redis 做日常維護,例如數據定時備份等操作,這時你就可以只在從庫上進行,這隻會消耗從庫機器的資源,也避免了對主庫的影響。

3) 合理配置主從複製參數

在部署主從集羣時,如果參數配置不合理,也有可能導致主從複製發生問題:

  • 主從複製中斷
  • 從庫發起全量複製,主庫性能受到影響

在這方面我給你的建議有以下 2 點:

  1. 設置合理的 repl-backlog 參數:過小的 repl-backlog 在寫流量比較大的場景下,主從複製中斷會引發全量複製數據的風險
  2. 設置合理的 slave client-output-buffer-limit:當從庫複製發生問題時,過小的 buffer 會導致從庫緩衝區溢出,從而導致複製中斷

4) 部署哨兵集羣,實現故障自動切換

只部署了主從節點,但故障發生時是無法自動切換的,所以,你還需要部署哨兵集羣,實現故障的「自動切換」。

而且,多個哨兵節點需要分佈在不同機器上,實例爲奇數個,防止哨兵選舉失敗,影響切換時間。

以上這些就是保障 Redis「高可靠」實踐優化,你應該也發現了,這些都是部署和運維層的優化。

除此之外,你可能還會對 Redis 做一些「日常運維」工作,這時你要注意哪些問題呢?

日常運維 Redis 需要注意什麼?

如果你是 DBA 運維人員,在平時運維 Redis 時,也需要注意以下 6 個方面。

1) 禁止使用 KEYS/FLUSHALL/FLUSHDB 命令

執行這些命令,會長時間阻塞 Redis 主線程,危害極大,所以你必須禁止使用它。

如果確實想使用這些命令,我給你的建議是:

  • SCAN 替換 KEYS
  • 4.0+版本可使用 FLUSHALL/FLUSHDB ASYNC,清空數據的操作放在後臺線程執行

2) 掃描線上實例時,設置休眠時間

不管你是使用 SCAN 掃描線上實例,還是對實例做 bigkey 統計分析,我建議你在掃描時一定記得設置休眠時間。

防止在掃描過程中,實例 OPS 過高對 Redis 產生性能抖動。

3) 慎用 MONITOR 命令

有時在排查 Redis 問題時,你會使用 MONITOR 查看 Redis 正在執行的命令。

但如果你的 Redis OPS 比較高,那麼在執行 MONITOR 會導致 Redis 輸出緩衝區的內存持續增長,這會嚴重消耗 Redis 的內存資源,甚至會導致實例內存超過 maxmemory,引發數據淘汰,這種情況你需要格外注意。

所以你在執行 MONITOR 命令時,一定要謹慎,儘量少用。

4) 從庫必須設置爲 slave-read-only

你的從庫必須設置爲 slave-read-only 狀態,避免從庫寫入數據,導致主從數據不一致。

除此之外,從庫如果是非 read-only 狀態,如果你使用的是 4.0 以下的 Redis,它存在這樣的 Bug:

從庫寫入了有過期時間的數據,不會做定時清理和釋放內存。

這會造成從庫的內存泄露!這個問題直到 4.0 版本才修復,你在配置從庫時需要格外注意。

5) 合理配置 timeout 和 tcp-keepalive 參數

如果因爲網絡原因,導致你的大量客戶端連接與 Redis 意外中斷,恰好你的 Redis 配置的 maxclients 參數比較小,此時有可能導致客戶端無法與服務端建立新的連接(服務端認爲超過了 maxclients)。

造成這個問題原因在於,客戶端與服務端每建立一個連接,Redis 都會給這個客戶端分配了一個 client fd。

當客戶端與服務端網絡發生問題時,服務端並不會立即釋放這個 client fd。

什麼時候釋放呢?

Redis 內部有一個定時任務,會定時檢測所有 client 的空閒時間是否超過配置的 timeout 值。

如果 Redis 沒有開啓 tcp-keepalive 的話,服務端直到配置的 timeout 時間後,纔會清理釋放這個 client fd。

在沒有清理之前,如果還有大量新連接進來,就有可能導致 Redis 服務端內部持有的 client fd 超過了 maxclients,這時新連接就會被拒絕。

針對這種情況,我給你的優化建議是:

  1. 不要配置過高的 timeout:讓服務端儘快把無效的 client fd 清理掉
  2. Redis 開啓 tcp-keepalive:這樣服務端會定時給客戶端發送 TCP 心跳包,檢測連接連通性,當網絡異常時,可以儘快清理殭屍 client fd

6) 調整 maxmemory 時,注意主從庫的調整順序

Redis 5.0 以下版本存在這樣一個問題:從庫內存如果超過了 maxmemory,也會觸發數據淘汰。

在某些場景下,從庫是可能優先主庫達到 maxmemory 的(例如在從庫執行 MONITOR 命令,輸出緩衝區佔用大量內存),那麼此時從庫開始淘汰數據,主從庫就會產生不一致。

要想避免此問題,在調整 maxmemory 時,一定要注意主從庫的修改順序:

  • 調大 maxmemory:先修改從庫,再修改主庫
  • 調小 maxmemory:先修改主庫,再修改從庫

直到 Redis 5.0,Redis 才增加了一個配置 replica-ignore-maxmemory,默認從庫超過 maxmemory 不會淘汰數據,才解決了此問題。

好了,以上這些就是「日常運維」Redis 需要注意的,你可以對各個配置項查漏補缺,看有哪些是需要優化的。

接下來,我們來看一下,保障 Redis「安全」都需要注意哪些問題。

Redis 安全如何保證?

無論如何,在互聯網時代,安全問題一定是我們需要隨時警戒的。

你可能聽說過 Redis 被注入可執行腳本,然後拿到機器 root 權限的安全問題,都是因爲在部署 Redis 時,沒有把安全風險注意起來。

針對這方面,我給你的建議是:

  1. 不要把 Redis 部署在公網可訪問的服務器上
  2. 部署時不使用默認端口 6379
  3. 以普通用戶啓動 Redis 進程,禁止 root 用戶啓動
  4. 限制 Redis 配置文件的目錄訪問權限
  5. 推薦開啓密碼認證
  6. 禁用/重命名危險命令(KEYS/FLUSHALL/FLUSHDB/CONFIG/EVAL)

只要你把這些做到位,基本上就可以保證 Redis 的安全風險在可控範圍內。

至此,我們分析了 Redis 在內存、性能、可靠性、日常運維方面的最佳實踐優化。

除了以上這些,你還需要做到提前「預防」。

如何預防 Redis 問題?

要想提前預防 Redis 問題,你需要做好以下兩個方面:

  1. 合理的資源規劃
  2. 完善的監控預警

先來說資源規劃。

在部署 Redis 時,如果你可以提前做好資源規劃,可以避免很多因爲資源不足產生的問題。這方面我給你的建議有以下 3 點:

  1. 保證機器有足夠的 CPU、內存、帶寬、磁盤資源
  2. 提前做好容量規劃,主庫機器預留一半內存資源,防止主從機器網絡故障,引發大面積全量同步,導致主庫機器內存不足的問題
  3. 單個實例內存建議控制在 10G 以下,大實例在主從全量同步、RDB 備份時有阻塞風險

再來看監控如何做。

監控預警是提高穩定性的重要環節,完善的監控預警,可以把問題提前暴露出來,這樣我們纔可以快速反應,把問題最小化。

這方面我給你的建議是:

  1. 做好機器 CPU、內存、帶寬、磁盤監控,資源不足時及時報警,任意資源不足都會影響 Redis 性能
  2. 設置合理的 slowlog 閾值,並對其進行監控,slowlog 過多及時報警
  3. 監控組件採集 Redis INFO 信息時,採用長連接,避免頻繁的短連接
  4. 做好實例運行時監控,重點關注 expired_keys、evicted_keys、latest_fork_usec 指標,這些指標短時突增可能會有阻塞風險

總結

好了,總結一下,這篇文章我帶你全面分析了 Redis 最佳實踐的優化路徑,其中包括內存資源、高性能、高可靠、日常運維、資源規劃、監控、安全 7 個維度。

這裏我畫成了思維導圖,方便你在實踐時做參考。

我還把這些實踐優化,按照「業務開發」和「運維」兩個維度,進一步做了劃分。

並且以「強制」、「推薦」、「參考」3 個級別做了標註,這樣你在實踐優化時,就會更明確哪些該做,哪些需要結合實際的業務場景進一步分析。

這些級別的實施規則如下:

  • 強制:需嚴格遵守,否則危害極大
  • 推薦:推薦遵守,可提升性能、降低內存、便於運維
  • 參考:根據業務特點參考實施

如果你是業務開發人員,你需要了解 Redis 的運行機制,例如各個命令的執行時間複雜度、數據過期策略、數據淘汰策略等,使用合理的命令,並結合業務場景進行優化。

如果你是 DBA 運維人員,你需要在資源規劃、運維、監控、安全層面做到位,做到未雨綢繆。

後記

如果你能耐心地讀到這裏,應該對如何「用好」Redis 有了新的認識。

這篇文章我們主要講的是 Redis 最佳實踐,對於「最佳實踐」這個話題,我想再和你多聊幾句。

如果你面對的不是 Redis,而是其它中間件,例如 MySQL、Kafka,你在使用這些組件時,會有什麼優化思路嗎?

你也可以沿用這篇文章的這幾個維度來分析:

  • 性能
  • 可靠性
  • 資源
  • 運維
  • 監控
  • 安全
你可以思考一下,MySQL 和 Kafka 在這幾個維度,需要注意哪些問題。

另外,從學習技能的角度來講,我們在軟件開發過程中,要儘可能地去思考和探索「最佳實踐」的方式。

因爲只有這樣,我們纔會不斷督促自己去思考,對自己提出更高的要求,做到持續進步。

本文分享自微信公衆號 - 漫話編程(mhcoding)。
如有侵權,請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”,歡迎正在閱讀的你也加入,一起分享。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章