網站的爬蟲與反爬

參考資料：
互聯網網站的反爬蟲策略淺析
http://robbinfan.com/blog/11/anti-crawler-strategy

python爬蟲對搜狗抓取微信搜索信息不全問題
http://www.oschina.net/question/2245966_173397

當爬蟲被拒絕時(Access Denied)
http://blog.csdn.net/tlife/article/details/18950297

python 爬蟲抓取心得分享
http://blog.chinaunix.net/uid-23500957-id-3878767.html

http://xiaorui.cc/2015/01/12/關於使用動態輪訓切換ip防止爬蟲被封殺/

網絡爬蟲排除協議robots.txt介紹及寫法詳解.
http://www.xgezhang.com/serach_engine_robots.html

騰訊、網易、新浪新聞網站爬蟲編寫記錄及評論格式分析
http://blog.reetsee.com/archives/237