分享知識 傳遞快樂
在通過瀏覽器用爬蟲爬取頁面時會涉及一些登陸後才能操作的一些請求,而這些請求在瀏覽器上又不好獲取,比如:用select下拉框做成的可以模糊查詢的查詢條件等;此時用瀏覽器獲取數據會有一些不方便,如果提取請求地址單獨在後臺發請求,卻返回未登陸或打開登陸頁面等。針對這一問題詳細記錄一下。
在做單獨請求時加入登陸後的 cookie 即可實現免登陸操作。
代碼:
# 獲取 cookie 實現登錄後操作
cookies = driver.get_cookies()
cookies_dict = {}
for cookie in cookies:
cookies_dict[cookie['name']] = cookie['value']
#
url = ""
response = requests.post(url, cookies=cookies_dict)
log.info("請求地址: %s,請求狀態:%d" % (url, response.status_code))
# 返回 JSON
json = response.json()
# 遍歷json
for data in json.get("data"):
print(data.get("name"))
—————————
如有不足請留言指正
相互學習,共同進步