PyCharm下進行Scrapy項目的調試,可以在爬蟲項目的根目錄創建一個main.py,然後在PyCharm設置下運行路徑,那麼就不用每次都在命令行運行代碼,直接運行main.py就能啓動爬蟲了。
1、首先創建一個Scrapy項目:
在命令行輸入:
scrapy startproject project_name
project_name爲項目名稱,比如我的項目名稱爲py_scrapyjobbole,生成的目錄爲:
2、創建新的Spider
在命令行輸入:
scrapy genspider jobbole(spider名稱) blog.jobbole.com(爬取的起始url)
# -*- coding: utf-8 -*-
import scrapy
class JobboleSpider(scrapy.Spider):
name = 'jobbole'
allowed_domains = ['blog.jobbole.com']
start_urls = ['http://blog.jobbole.com/111322/']
def parse(self, response):
re_select = response.xpath('//*[@id="post-111322"]/div[1]/h1')
pass
3、配置setting.py文件(這步很重要)
BOT_NAME = 'py_scrapyjobbole'
SPIDER_MODULES = ['py_scrapyjobbole.spiders']
NEWSPIDER_MODULE = 'py_scrapyjobbole.spiders'
# Crawl responsibly by identifying yourself (and your website) on the user-agent
# USER_AGENT = 'py_scrapyjobbole (+http://www.yourdomain.com)'
# Obey robots.txt rules
ROBOTSTXT_OBEY = False
ROBOTSTXT_OBEY = False
一定要設置成 False,斷點調試才能正常進行。
4、在工程目錄下建立main.py文件,稍後將會在這裏面進行調試!
from scrapy.cmdline import execute
import sys
import os
# 打斷點調試py文件
# sys.path.append('D:\PyCharm\py_scrapyjobbole')
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
print(os.path.dirname(os.path.abspath(__file__)))
execute(['scrapy', 'crawl', 'jobbole'])
5、進行斷點調試
附錄
xpath相關知識
在用Scrapy進行數據爬取時可能會用到xpath相關知識,所以簡單地展示一張圖:
在這裏面值得注意的是‘’/“和”//“的區別!
/:代表子元素,選取的元素必須是父子關係
//:代表所有後代元素,選取的元素不一定是父子關係,只要是後代元素即可
不過,大家要是覺得難的話,也可以利用chrome的元素查找功能進行xpath路徑的複製: