參考資料
- python網絡數據採集， 圖靈工業出版
- 精通Python爬蟲框架Scrapy， 人民郵電出版社
- [Python3網絡爬蟲](http://blog.csdn.net/c406495762/article/details/72858983)
- [Scrapy官方教程](http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/tutorial.html)
前提知識
- url
- http協議
- web前端，html, css, js
- ajax
- re, xpath
- xml
爬蟲簡介
- 爬蟲定義：網絡爬蟲（又被稱爲網頁蜘蛛，網絡機器人，在FOAF社區中間，更經常的稱爲網頁追逐者），是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。
- 兩大特徵
- 能按作者要求下載數據或者內容
- 能自動在網絡上流竄
- 三大步驟：
- 下載網頁
- 提取正確的信息
- 根據一定規則自動跳到另外的網頁上執行上兩步內容
- 爬蟲分類
- 通用爬蟲
- 專用爬蟲（聚焦爬蟲）
- Python網絡包簡介
- Python2.x：urllib, urllib2, urllib3, httplib, httplib2, requests
- Python3.x: urllib, urllib3, httplib2, requests
- python2: urllib和urllib2配合使用，或者requests
- Python3： urllib，requests