Windows下Scrapy的環境搭建

頭一次在Windows系統上裝Scrapy,折騰了一會時間,此篇記錄一下。

1.環境

  • 操作系統:Windows 7
  • Python版本:Python 3.7
  • PyCharm:PyCharm 2020.1

以上是我的環境配置,僅供參考。

2.安裝Anaconda

我下載的是 Anaconda3-2020.02-Windows-x86_64,安裝時注意勾選添加環境變量(下圖第一項)。

在這裏插入圖片描述

3.安裝Scrapy

先安裝Scrapy庫,這裏我使用PyCharm安裝。

  1. 進入Python Interpreter頁:PyCharm --> File --> Setting --> Project --> Python Interpreter
  2. 點擊右上角的加號,搜索Scrapy 安裝。

在這裏插入圖片描述

Anaconda安裝Scrapy,在cmd中輸入:

conda install -c conda-forge scrapy

安裝完成後,檢查安裝情況:

scrapy version

這裏我遇見一個問題,報錯:

Fatal error in launcher: Unable to create process using '"d:\bld\scrapy_15845559
97548\_h_env\python.exe"  "E:\Anaconda3\Scripts\scrapy.exe" version': ??????????

解決方法是命令前添加:python -m

最終結果:
在這裏插入圖片描述

4.測試

Scrapy文檔的例子測試一下:

import scrapy

class QuotesSpider(scrapy.Spider):
    name = 'quotes'
    start_urls = [
        'http://quotes.toscrape.com/tag/humor/',
    ]

    def parse(self, response):
        for quote in response.css('div.quote'):
            yield {
                'author': quote.xpath('span/small/text()').get(),
                'text': quote.css('span.text::text').get(),
            }

        next_page = response.css('li.next a::attr("href")').get()
        if next_page is not None:
            yield response.follow(next_page, self.parse)

將其命名爲quotes_spider.py ,執行命令 scrapy runspider quotes_spider.py -o quotes.json,最終輸出結果:
在這裏插入圖片描述
一切正常,可以繼續開心的擼爬蟲了。

PS:其實macOS也會遇到一些小問題,照着官方文檔就好了。

5.參考

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章