百度爬蟲在進行抓取和處理時,是根據http協議規範來設置相應的邏輯的,所以請站長們也儘量參考http協議中關於返回碼的含義的定義來進行設置。
百度spider對常用的http返回碼的處理邏輯是這樣的:
1、404
404返回碼的含義是“NOT FOUND”,百度會認爲網頁已經失效,那麼通常會從搜索結果中刪除,並且短期內spider再次發現這條url也不會抓取。
2、503
503返回碼的含義是“Service Unavailable”,百度會認爲該網頁臨時不可訪問,通常網站臨時關閉,帶寬有限等會產生這種情況。對於網頁返回503,百度spider不會把這條url直接刪除,短期內會再訪問。屆時如果網頁已恢復,則正常抓取;如果繼續返回503,短期內還會反覆訪問幾次。但是如果網頁長期返回503,那麼這個url仍會被百度認爲是失效鏈接,從搜索結果中刪除。
3、403
403返回碼的含義是“Forbidden”,百度會認爲網頁當前禁止訪問。對於這種情況,如果是新發現的url,百度spider暫不會抓取,短期內會再次檢查;如果是百度已收錄url,當前也不會直接刪除,短期內同樣會再訪問。屆時如果網頁允許訪問,則正常抓取;如果仍不允許訪問,短期內還會反覆訪問幾次。但是如果網頁長期返回403,百度也會認爲是失效鏈接,從搜索結果中刪除。
4、301
301返回碼的含義是“Moved Permanently”,百度會認爲網頁當前跳轉至新url。當遇到站點遷移,域名更換、站點改版的情況時,推薦使用301返回碼,儘量減少改版帶來的流量損失。雖然百度spider現在對301跳轉的響應週期較長,但我們還是推薦大家這麼做。
我們的建議
1、如果站點臨時關閉,當網頁不能打開時,不要立即返回404,建議使用503狀態。503可以告知百度spider該頁面臨時不可訪問,請過段時間再重試。
2、如果百度spider對您的站點抓取壓力過大,請儘量不要使用404,同樣建議返回503。這樣百度spider會過段時間再來嘗試抓取這個鏈接,如果那個時間站點空閒,那它就會被成功抓取了。
3、有一些網站希望百度只收錄部分內容,例如審覈後的內容,累積一段時間的新用戶頁等等。在這種情況,建議新發內容暫時返回403,等審覈或做好處理之後,再返回正常狀態的返回碼。
4、站點遷移,或域名更換時,請使用301返回碼。
返回碼的含義
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章
New Anime Project Dragon Ball Super 2022
renatamuluk089
2022-06-23 03:45:01
怎樣提高性愛氛圍?4個小技巧助你一臂之力
mugiseki2710
2022-06-21 21:29:21
移英必看:申請英國物業按揭的條件與注意事項
fish.lam92093
2022-06-20 18:31:22
一文了解最新英國買樓費用及成本:買英國新樓需多少錢?
fish.lam92093
2022-06-20 11:48:30
【百家樂贏錢公式】,成為百家樂大師必學!
jefferyf486
2022-06-17 21:07:03
Health Food Market Growing Population to Boost Growth 2030
chhidami.a.msg
2022-06-17 20:33:20
Xeomin:關於這種肉毒桿菌的知識
fish.lam92093
2022-06-17 18:59:58
Huawei H12-722_V3.0 training material
wirygnrhd
2022-06-17 15:52:19
威而鋼會影響懷小孩嗎?
LouisRodgers5773
2022-06-17 10:46:43
加賴621158苓雅區自強三路君鴻飯店出差旅遊舒壓高檔正/妹加Telegram:@yy5233
yajing233
2022-06-15 22:27:08
隆亨娛樂城教你五種線上老虎機技巧!
jefferyf486
2022-06-12 20:32:53
Manage Your School Easily With The School Management Software
certsexpert18
2022-06-11 14:05:14
Good Time Leadership Lessons from The Jurassic Park Movies
widyass2342
2022-06-11 13:21:28
防範NFT詐騙?BTCC學院
zero.zhang
2022-06-10 16:52:28