爬虫遇到乱码怎么办? 解决乱码问题

情景

在爬取非英文网站的页面时, 如果发现获取后的网页字符串无法正常显示, 出现乱码. 通常都是因为解码所使用的编码不是网页原来所使用的编码. 需要查询网页本身的编码.

查询网页编码

方法一:

1. 打开浏览器开发者工具, 切换到console工具.
2. 在控制台输入 document.chardet 即可显示出网页的编码格式.

方法二:

使用python获取网页编码格式.

import requests
import chardet

headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'
}

url = 'https://www.aiyuke.com/view/cate/zhuangbeiceping.htm'
data = requests.get(url, headers=headers)
print(chardet.detect(data.content)) 	# 从网页二进制源码中判断出编码格式