Python爬蟲練習四-scrapy框架練手

前言：

爬蟲框架scrapy學習筆記，練手-爬取醜事百科 

參考有趣的教程

https://mp.weixin.qq.com/s?__biz=MzU2ODYzNTkwMg==&mid=2247484571&idx=1&sn=e9b1b3cf6e5401ce5bfa0dd3d29f9305&scene=19#wechat_redirect

 

配置

conda 安裝

conda install -c conda-forge scrapy

pip install Scrap

scrapy依賴一些相關的庫：

lxml

parsel

w3lib

twisted

cryptography and pyOpenSSL

生成初始化項目文件：

cmd 到指定目錄：

d:

cd Python/

 scrapy startproject qiushibaike

 

實現代碼：

具體問題具體分析：

與教材的地址明顯不一樣了。

在spiders文件下：

import scrapy
class QiushiSpider(scrapy.Spider):
    name = "qiushibaike"
    haders = {
        'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/73.0.3683.86 Chrome/73.0.3683.86 Safari/537.36'
    }


    def start_requests(self):
        urls = [
            'https://www.qiushibaike.com/text/page/12/',
            'https://www.qiushibaike.com/text/page/2/',
        ]
        for url in urls:
            yield scrapy.Request(url=url, callback=self.parse, headers=self.haders)


    def parse(self, response):
        content_left_div = response.xpath('//div[@class="article block untagged mb15 typs_long"]')
        for content_div in content_left_div:
            yield {
                'author': content_div.xpath('//div[@class="author clearfix"]/a[2]/h2/text()').get(),
                'content': content_div.xpath('//a[@class="contentHerf"]/div/span/text()').getall(),
            }