網絡爬蟲-一鍵轉換爬蟲請求頭headers(Fillder/各大瀏覽器適用)

程序員都是懶惰的~

這個是真理!

於是有了這個一鍵轉換請求頭的神器,平時厭煩了打單雙引號,逗號的童鞋可以偷懶了,咱做爬蟲的,也挺不容易的~

直接貼代碼 -->(原理很簡單,目前測試了fiddler和瀏覽器的請求頭)

import json


def get_header(headers):
    hs = headers.split('\n')
    b = [k for k in hs if len(k)]
    e = b
    f = {(i.split(":")[0], i.split(":", 1)[1].strip()) for i in e}
    g = sorted(f)
    header = "{\n"
    for k, v in g:
        header += repr(k).replace('\'', '"') + ': ' + repr(v).replace('\'', '"') + ',\n'
    header += "}"
    return json.loads(header.replace(',\n}', '\n}'))

headers = """
Accept: */*
Accept-Encoding: gzip, deflate, br
Accept-Language: zh-CN,zh;q=0.9
Connection: keep-alive
Content-Length: 1347
Content-Type: application/x-www-form-urlencoded
Host: recommend.browser.qq.com
Origin: https://feeds.qq.com
Referer: https://feeds.qq.com/newtab/?adtag=newtab
User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3676.400 QQBrowser/10.4.3469.400
"""

a = get_header(headers)
print(a)
print(type(a))

成功貼圖:

在這裏插入圖片描述

github傳送門 --> 一鍵轉換爬蟲請求頭headers

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章