PyCharm下進行Scrapy項目的調試

原創

qinjianhuang

2020-02-22 07:18

PyCharm下進行Scrapy項目的調試，可以在爬蟲項目的根目錄創建一個main.py，然後在PyCharm設置下運行路徑，那麼就不用每次都在命令行運行代碼，直接運行main.py就能啓動爬蟲了。

1、首先創建一個Scrapy項目：

在命令行輸入：

scrapy startproject project_name

project_name爲項目名稱，比如我的項目名稱爲py_scrapyjobbole，生成的目錄爲：

2、創建新的Spider

在命令行輸入：

scrapy genspider jobbole(spider名稱) blog.jobbole.com(爬取的起始url)

# -*- coding: utf-8 -*-
import scrapy


class JobboleSpider(scrapy.Spider):
    name = 'jobbole'
    allowed_domains = ['blog.jobbole.com']
    start_urls = ['http://blog.jobbole.com/111322/']

    def parse(self, response):
        re_select = response.xpath('//*[@id="post-111322"]/div[1]/h1')
        pass

3、配置setting.py文件（這步很重要）

BOT_NAME = 'py_scrapyjobbole'

SPIDER_MODULES = ['py_scrapyjobbole.spiders']
NEWSPIDER_MODULE = 'py_scrapyjobbole.spiders'

# Crawl responsibly by identifying yourself (and your website) on the user-agent
# USER_AGENT = 'py_scrapyjobbole (+http://www.yourdomain.com)'

# Obey robots.txt rules
ROBOTSTXT_OBEY = False

ROBOTSTXT_OBEY = False一定要設置成 False，斷點調試才能正常進行。

4、在工程目錄下建立main.py文件，稍後將會在這裏面進行調試！

from scrapy.cmdline import execute
import sys
import os

# 打斷點調試py文件
# sys.path.append('D:\PyCharm\py_scrapyjobbole')
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
print(os.path.dirname(os.path.abspath(__file__)))
execute(['scrapy', 'crawl', 'jobbole'])