nginx lua gzip解压缩INFLATE: Data error, no input bytes报错问题解决

nginx lua 对gzip请求数据包解压失败的问题

背景

我使用openresty+lua部署的nginx服务器,其中使用gzip针对数据包进行解压缩处理,然后再对部分数据修改完毕后,使用gzip进行压缩,然后再发送给接收端。
zlib参考如下
https://github.com/hamishforbes/lua-ffi-zlib

问题复现

在使用上述github的方法后,针对大部分请求都是能够成功进行解压与压缩,但是又部分页面一直会提示解压失败,错误log如下

INFLATE: Data error, no input bytes

解决思路

经过源码分析,可以确认zlib解压及压缩的过程是ok的,经过debug发现,web的请求包是Transfer-Encoding: chunked的方式,该方式会把数据包切割成一个个chunked包然后进行发送。
问题就出现在chunked包上,针对大部分的请求包,每一个chunked包就是一个完整的gzip包(完整的意思是该包有gzip的开始和结束标志位)。但是仍然有小部分数据是把一个完整的gzip包切割成了小块数据包,导致针对这些小块的数据包无法单独进行解压缩。
因此,需要对这些数据包进行整合拼接,拼接完整后,再进行解压缩操作即可

解决方法

openresty中的api–ngx.arg

ngx.arg 在 body filter 阶段用来读取、更新应答数据。其中 ngx.arg[1]是待发送的 body,ngx.arg[2]
指示后续是否还有待发送数据

因此可以利用ngx.arg[2]来判断是否是完整的数据包

local Content_Encoding = ngx.resp.get_headers()["Content-Encoding"]

if ngx.re.find(Content_Encoding, [=[gzip]=],"oij") then
	-- 此处为了防止数据包不完整导致gzip解压失败
	if not ngx.ctx.ngx_all_content then
		ngx.ctx.ngx_all_content = ngx.arg[1]
	else
		ngx.ctx.ngx_all_content = ngx.ctx.ngx_all_content .. ngx.arg[1]
	end
    ngx.arg[1] = nil  --pass原有的数据
    if ngx.arg[2] then
    	 -- 当数据包标志为true时,证明一个完整的gzip包已经拼接完成,
    	 -- 此时就可以进行解压缩操作
         html = zlib_uncompress(ngx.ctx.ngx_all_content) or ""
    end
end

发布了107 篇原创文章 · 获赞 98 · 访问量 28万+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章