之前學習北京理工嵩天老師的《Python網絡爬蟲與信息提取》時，爬取亞馬遜的一款圖書的詳細信息時出現以下錯誤：
![Upload 亞馬遜爬蟲.PNG failed. Please try again.]
查看請求信息，發現我們一般寫的爬蟲會默認告訴服務器自己發送了一個Python爬取請求，而一般網站是不允許被爬蟲訪問的，估計是因爲會涉及到商業問題。最後，通過更改User-Agent字段就可以輕易騙過該網站。
那麼User-Agent到底是什麼呢？
User-Agent會告訴網站服務器，訪問者是通過什麼工具來請求的，如果是爬蟲請求，一般會拒絕，如果是用戶瀏覽器，就會應答。
又該如何使用呢？
調試工具
最簡單的方法就是按照下面步驟進行
- 打開你要爬蟲的網頁
- 按鍵盤的F12或手動去瀏覽器右上角的“更多工具”選項選擇開發者工具
- 按鍵盤的F5刷新網頁
- 點擊Network，再點擊Doc
- 點擊Headers，查看Request Headers的User-Agent字段，直接複製
- 將剛纔複製的User-Agent字段構造成字典形式
什麼？你想搞懂這個User-Agent字段，然後自己構建。
User-Agent字段解釋
詳細版解釋：談談 UserAgent 字符串的規律和僞造方法
簡要版解釋：
我用的Chrome瀏覽器，查看User-Agent的結果：
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3100.0 Safari/537.36
User-Agent通常格式：
Mozilla/5.0 (平臺) 引擎版本 瀏覽器版本號
第一部分：Mozilla/5.0
由於歷史上的瀏覽器大戰，當時想獲得圖文並茂的網頁，就必須宣稱自己是 Mozilla 瀏覽器。此事導致如今User-Agent裏通常都帶有Mozilla字樣，出於對歷史的尊重，大家都會默認填寫該部分。
第二部分：平臺這部分可由多個字符串組成，用英文半角分號分開
Windows NT 10.0是指我使用的操作系統的版本，比如我使用的win10對應的就是Windows NT 10.0，如果我使用win7對應的就是Windows NT 6.1。
Win64; x64是指我的操作系統是64位的
Windows系統下：
Windows NT 5.0 // 如 Windows 2000
Windows NT 5.1 // 如 Windows XP
Windows NT 6.0 // 如 Windows Vista
Windows NT 6.1 // 如 Windows 7
Windows NT 6.2 // 如 Windows 8
Windows NT 6.3 // 如 Windows 8.1
Windows NT 10.0 // 如 Windows 10
Win64; x64 // Win64 on x64
WOW64 // Win32 on x64
Linux系統下：
X11; Linux i686; // Linux 桌面，i686 版本
X11; Linux x86_64; // Linux 桌面，x86_64 版本
X11; Linux i686 on x86_64 // Linux 桌面，運行在 x86_64 的 i686 版本
macOS系統下：
Macintosh; Intel Mac OS X 10_9_0 // Intel x86 或者 x86_64
Macintosh; PPC Mac OS X 10_9_0 // PowerPC
Macintosh; Intel Mac OS X 10.12; // 不用下劃線，用點
第三部分：引擎版本
AppleWebKit/537.36 (KHTML, like Gecko)...Safari/537.36，歷史上，蘋果依靠了WebKit內核開發出Safari瀏覽器，WebKit包含了WebCore引擎，而WebCore又從KHTML衍生而來。由於歷史原因，KHTML引擎需要聲明自己是“類似Gecko”的，因此引擎部分這麼寫。再後來，Google開發Chrome也是用了WebKit內核，於是也跟着這麼寫。借用Littern的一句話：“Chrome 希望能得到爲Safari編寫的網頁，於是決定裝成Safari，Safari使用了WebKit渲染引擎，而WebKit呢又僞裝自己是KHTML，KHTML呢又是僞裝成Gecko的。同時所有的瀏覽器又都宣稱自己是Mozilla。”。不過，後來Chrome 28某個版本改用了blink內核，但還是保留了這些字符串。而且，最近的幾十個版本中，這部分已經固定，沒再變過
第四部分：瀏覽器版本
本人用的是Chrome瀏覽器，其中60.0 是大版本，3100是持續增大的一個數字，而0則是修補漏洞的小版本。
關於Firefox與IE/Edge的講解：談談 UserAgent 字符串的規律和僞造方法
最後，居然有大佬封裝了不同操作系統不同瀏覽器的User-Agent：User-Agent封裝使用教程
作者：狗子渣渣
鏈接：https://www.jianshu.com/p/c5cf6a1967d1
來源：簡書
著作權歸作者所有。商業轉載請聯繫作者獲得授權，非商業轉載請註明出處。