本系列教程簡單的介紹了python網絡爬蟲。
Python:3.7.4
Request庫:2019.4.13
beautifulsoup4:4.8.1
Scrapy 1.8.0
爬取的網站:http://www.weather.com.cn/weather/101010100.shtml
北京一週7天的天氣預報。
網絡爬蟲,也叫網絡蜘蛛(Web Spider)。它根據網頁地址(URL)爬取網頁內容,而網頁地址(URL)就是我們在瀏覽器中輸入的網站鏈接。簡單的說,網絡爬蟲就是從網上獲取數據。
本系列教程包括:
1 python網絡爬蟲Simple(2) requests和beautifulsoup4安裝和使用
2 python網絡爬蟲Simple(3) scrapy爬蟲框架