Windows (pychram)搭建 scrapy 開發環境
作者首頁:oleoo.xyz
環境:
-
scrapy 項目代碼在 gitee.com 託管
-
開發工具 pycharm
-
virtualenv
一、基於GIT代碼庫clone 新建建工程
詳見: pychram 基於GIT 新建Python 項目
二、環境
2.1創建 虛擬環境
virtualenv venv
virtualenv 安裝詳見:python虛擬環境 安裝
2.2
三、安裝 scrapy
3.1 安裝依賴庫 wheel
(python) D:\oleryu\syfcapi>pip install wheel
Collecting wheel
Downloading https://files.pythonhosted.org/packages/96/ba/a4702cbb6a3a485239fbe9525443446203f00771af9ac000fa3ef2788201/wheel-0.33.1-py2.py3-none-any.whl
Installing collected packages: wheel
Successfully installed wheel-0.33.1
3.2 pip install scrapy
3.3 問題處理
3.3.1 解決 Twisted 安裝
Running setup.py install for Twisted ... error
進入官網:http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted ,找到 twisted-17.1.0-cp36-cp36m win amd64.whl
3.3.2 解決方案 pip 版本 問題
You are using pip version 10.0.1, however version 19.1.1 is available.
You should consider upgrading via the 'python -m pip install --upgrade pip' command.
(python) D:\oleryu\syfcapi>python -m pip install --upgrade pip
Requirement already up-to-date: pip in d:\oleryu\syfcapi\venv\bin\python\lib\site-packages (19.1.1)
(python) D:\oleryu\syfcapi>pip --version
pip 10.0.1 from d:\oleryu\syfcapi\venv\bin\python\lib\site-packages\pip-10.0.1-py3.5.egg\pip (python 3.5)
已經提示更新爲19版本了,怎麼pip --version 還是10版本的?
pip uninstall pip
使用如上命令卸載pip並重新安裝
安裝命令:
easy_install pip
3.3.3 解決 pywin32 模塊問題
ImportError: No module named 'win32api'
通過pip 命令安裝 pypiwin32
(venv) D:\oleryu\syfcapi>pip install pypiwin32
Collecting pypiwin32
Collecting pywin32>=223 (from pypiwin32)
Installing collected packages: pywin32, pypiwin32
Successfully installed pypiwin32-223 pywin32-224
注:
網文如下安裝不能解決問題( 安裝完scrapy後,再去安裝pywin32,之後再通過命令行調試scrapy項目時依然報錯)
安裝 pywin32:
進如官網:https://sourceforge.net/projects/pywin32/files/pywin32/Build%20221/ ,找到對應版本