本文是對《scrapy網絡爬蟲實戰》一書中,第5.2節內容的重寫,由於伯樂在線網站代碼有較大改動,原書中代碼已經失效。
以下示例演示了
抓取https://movie.douban.com/explore#!type=movie&tag=%E7
%83%AD%E9%97%A8&sort=recommend&page_limit=20&page_start=0中電影的中文名、英文名、url 地址、類型、圖片、導演、主演、編劇、國家地區、上映時間、電影語言、評分、劇情等信息。(簡化了,沒有提取劃掉的信息,太耗時間了。)
(1)創建項目:scrapy star