昨天分析爬虫接口时 发现返回数据 json转化时出错 经过检查发现问题是 json字符串中有
\x3E
、\x2F
这种编码字符串,
开始解决思路就是把16进制转化为普通字符串结果不行
原因
编码问题 本来这些返回数据是需要前端js 去解析的
\x
开头的16进制数据 是js的表示方法
0x
开头 才是python 16进制的表示方法
所以返回的数据不处理 直接用python 去解析会出现异常
解决办法
在 处理之前 先对返回的数据 进行编码格式处理
res = response.content.decode('unicode_escape').encode('latin1').decode()
当然如果你是要直接对字符串进行处理的话 需要先转成字节码 然后对字节数据进行编码
可以用下边的方式
res = bytes(res_str, 'utf-8').decode('unicode_escape').encode('latin1').decode('utf-8')