背景
我使用openresty+lua部署的nginx服务器,其中使用gzip针对数据包进行解压缩处理,然后再对部分数据修改完毕后,使用gzip进行压缩,然后再发送给接收端。
zlib参考如下
https://github.com/hamishforbes/lua-ffi-zlib
问题复现
在使用上述github的方法后,针对大部分请求都是能够成功进行解压与压缩,但是又部分页面一直会提示解压失败,错误log如下
INFLATE: Data error, no input bytes
解决思路
经过源码分析,可以确认zlib解压及压缩的过程是ok的,经过debug发现,web的请求包是Transfer-Encoding: chunked的方式,该方式会把数据包切割成一个个chunked包然后进行发送。
问题就出现在chunked包上,针对大部分的请求包,每一个chunked包就是一个完整的gzip包(完整的意思是该包有gzip的开始和结束标志位)。但是仍然有小部分数据是把一个完整的gzip包切割成了小块数据包,导致针对这些小块的数据包无法单独进行解压缩。
因此,需要对这些数据包进行整合拼接,拼接完整后,再进行解压缩操作即可
解决方法
ngx.arg 在 body filter 阶段用来读取、更新应答数据。其中 ngx.arg[1]是待发送的 body,ngx.arg[2]
指示后续是否还有待发送数据
因此可以利用ngx.arg[2]来判断是否是完整的数据包
local Content_Encoding = ngx.resp.get_headers()["Content-Encoding"]
if ngx.re.find(Content_Encoding, [=[gzip]=],"oij") then
-- 此处为了防止数据包不完整导致gzip解压失败
if not ngx.ctx.ngx_all_content then
ngx.ctx.ngx_all_content = ngx.arg[1]
else
ngx.ctx.ngx_all_content = ngx.ctx.ngx_all_content .. ngx.arg[1]
end
ngx.arg[1] = nil --pass原有的数据
if ngx.arg[2] then
-- 当数据包标志为true时,证明一个完整的gzip包已经拼接完成,
-- 此时就可以进行解压缩操作
html = zlib_uncompress(ngx.ctx.ngx_all_content) or ""
end
end