頭一次在Windows系統上裝Scrapy
,折騰了一會時間,此篇記錄一下。
1.環境
- 操作系統:Windows 7
- Python版本:Python 3.7
- PyCharm:PyCharm 2020.1
以上是我的環境配置,僅供參考。
2.安裝Anaconda
我下載的是 Anaconda3-2020.02-Windows-x86_64,安裝時注意勾選添加環境變量(下圖第一項)。
3.安裝Scrapy
先安裝Scrapy
庫,這裏我使用PyCharm
安裝。
- 進入
Python Interpreter
頁:PyCharm
-->File
-->Setting
-->Project
-->Python Interpreter
。 - 點擊右上角的加號,搜索
Scrapy
安裝。
給Anaconda
安裝Scrapy
,在cmd中輸入:
conda install -c conda-forge scrapy
安裝完成後,檢查安裝情況:
scrapy version
這裏我遇見一個問題,報錯:
Fatal error in launcher: Unable to create process using '"d:\bld\scrapy_15845559
97548\_h_env\python.exe" "E:\Anaconda3\Scripts\scrapy.exe" version': ??????????
解決方法是命令前添加:python -m
。
最終結果:
4.測試
用Scrapy
文檔的例子測試一下:
import scrapy
class QuotesSpider(scrapy.Spider):
name = 'quotes'
start_urls = [
'http://quotes.toscrape.com/tag/humor/',
]
def parse(self, response):
for quote in response.css('div.quote'):
yield {
'author': quote.xpath('span/small/text()').get(),
'text': quote.css('span.text::text').get(),
}
next_page = response.css('li.next a::attr("href")').get()
if next_page is not None:
yield response.follow(next_page, self.parse)
將其命名爲quotes_spider.py
,執行命令 scrapy runspider quotes_spider.py -o quotes.json
,最終輸出結果:
一切正常,可以繼續開心的擼爬蟲了。
PS:其實macOS
也會遇到一些小問題,照着官方文檔就好了。