本文轉自https://blog.csdn.net/jinnianshilongnian/article/details/84703441,好文要頂,感謝博主分享!
對於開發來說需要有好的生態開發庫來輔助我們快速開發,而Lua中也有大多數我們需要的第三方開發庫如Redis、Memcached、Mysql、Http客戶端、JSON、模板引擎等。
一些常見的Lua庫可以在github上搜索,https://github.com/search?utf8=%E2%9C%93&q=lua+resty。
Redis客戶端
lua-resty-redis是爲基於cosocket API的ngx_lua提供的Lua redis客戶端,通過它可以完成Redis的操作。默認安裝OpenResty時已經自帶了該模塊,使用文檔可參考https://github.com/openresty/lua-resty-redis。
在測試之前請啓動Redis實例:nohup /usr/servers/redis-2.8.19/src/redis-server /usr/servers/redis-2.8.19/redis_6660.conf &
1、基本操作
編輯test_redis_baisc.lua
local function close_redis(red)
if not red then
return
end
local ok, err = red:close()
if not ok then
ngx.say("close redis error : ", err)
end
end
local redis = require("resty.redis")
--創建實例
local red = redis:new()
--設置超時(毫秒)
red:set_timeout(1000)
--建立連接
local ip = "127.0.0.1"
local port = 6379
local ok, err = red:connect(ip, port)
if not ok then
ngx.say("connect to redis error : ", err)
return close_redis(red)
end
--調用API進行處理
ok, err = red:set("msg", "hello world")
if not ok then
ngx.say("set msg error : ", err)
return close_redis(red)
end
--調用API獲取數據
local resp, err = red:get("msg")
if not resp then
ngx.say("get msg error : ", err)
return close_redis(red)
end
--得到的數據爲空處理
if resp == ngx.null then
resp = '' --比如默認值
end
ngx.say("msg : ", resp)
close_redis(red)
基本邏輯很簡單,要注意此處判斷是否爲nil,需要跟ngx.null比較。
2、example.conf配置文件
location /lua_redis_basic {
default_type 'text/html';
lua_code_cache on;
content_by_lua_file /usr/example/lua/test_redis_basic.lua;
}
3、訪問如http://192.168.1.2/lua_redis_basic進行測試,正常情況得到如下信息
msg : hello world
2、連接池
建立TCP連接需要三次握手而釋放TCP連接需要四次握手,而這些往返時延僅需要一次,以後應該複用TCP連接,此時就可以考慮使用連接池,即連接池可以複用連接。
我們只需要將之前的close_redis函數改造爲如下即可:
local function close_redis(red)
if not red then
return
end
--釋放連接(連接池實現)
local pool_max_idle_time = 10000 --毫秒
local pool_size = 100 --連接池大小
local ok, err = red:set_keepalive(pool_max_idle_time, pool_size)
if not ok then
ngx.say("set keepalive error : ", err)
end
end
即設置空閒連接超時時間防止連接一直佔用不釋放;設置連接池大小來複用連接。
此處假設調用red:set_keepalive(),連接池大小通過nginx.conf中http部分的如下指令定義:
#默認連接池大小,默認30
lua_socket_pool_size 30;
#默認超時時間,默認60s
lua_socket_keepalive_timeout 60s;
注意:
1、連接池是每Worker進程的,而不是每Server的;
2、當連接超過最大連接池大小時,會按照LRU算法回收空閒連接爲新連接使用;
3、連接池中的空閒連接出現異常時會自動被移除;
4、連接池是通過ip和port標識的,即相同的ip和port會使用同一個連接池(即使是不同類型的客戶端如Redis、Memcached);
5、連接池第一次set_keepalive時連接池大小就確定下了,不會再變更;
5、cosocket的連接池http://wiki.nginx.org/HttpLuaModule#tcpsock:setkeepalive。
3、pipeline
pipeline即管道,可以理解爲把多個命令打包然後一起發送;MTU(Maxitum Transmission Unit 最大傳輸單元)爲二層包大小,一般爲1500字節;而MSS(Maximum Segment Size 最大報文分段大小)爲四層包大小,其一般是1500-20(IP報頭)-20(TCP報頭)=1460字節;因此假設我們執行的多個Redis命令能在一個報文中傳輸的話,可以減少網絡往返來提高速度。因此可以根據實際情況來選擇走pipeline模式將多個命令打包到一個報文發送然後接受響應,而Redis協議也能很簡單的識別和解決粘包。
1、修改之前的代碼片段
red:init_pipeline()
red:set("msg1", "hello1")
red:set("msg2", "hello2")
red:get("msg1")
red:get("msg2")
local respTable, err = red:commit_pipeline()
--得到的數據爲空處理
if respTable == ngx.null then
respTable = {} --比如默認值
end
--結果是按照執行順序返回的一個table
for i, v in ipairs(respTable) do
ngx.say("msg : ", v, "<br/>")
end
通過init_pipeline()初始化,然後通過commit_pipieline()打包提交init_pipeline()之後的Redis命令;返回結果是一個lua table,可以通過ipairs循環獲取結果;
2、配置相應location,測試得到的結果
msg : OK
msg : OK
msg : hello1
msg : hello2
3、Redis Lua腳本
利用Redis單線程特性,可以通過在Redis中執行Lua腳本實現一些原子操作。如之前的red:get("msg")可以通過如下兩種方式實現:
1、直接eval:
local resp, err = red:eval("return redis.call('get', KEYS[1])", 1, "msg");
2、script load然後evalsha SHA1 校驗和,這樣可以節省腳本本身的服務器帶寬:
local sha1, err = red:script("load", "return redis.call('get', KEYS[1])");
if not sha1 then
ngx.say("load script error : ", err)
return close_redis(red)
end
ngx.say("sha1 : ", sha1, "<br/>")
local resp, err = red:evalsha(sha1, 1, "msg");
首先通過script load導入腳本並得到一個sha1校驗和(僅需第一次導入即可),然後通過evalsha執行sha1校驗和即可,這樣如果腳本很長通過這種方式可以減少帶寬的消耗。
此處僅介紹了最簡單的redis lua腳本,更復雜的請參考官方文檔學習使用。
另外Redis集羣分片算法該客戶端沒有提供需要自己實現,當然可以考慮直接使用類似於Twemproxy這種中間件實現。
Memcached客戶端使用方式和本文類似,本文就不介紹了。