install pyspider
## centos7
yum install –y make gcc-c++ python-devel libxml2-devel libxslt-devel libcurl-devel python36-devel
pip3 install virtualenv virtualenvwrapper
mkdir $HOME/workspace
export WORKON_HOME=$HOME/.virtualenvs
export PROJECT_HOME=$HOME/workspace
source /usr/local/bin/virtualenvwrapper.sh
mkproject -p /usr/bin/python3 py3-pyspider
2,在虚拟环境中安装如下包
pip install 下面的包
certifi==2020.4.5.1
chardet==3.0.4
click==7.1.2
cssselect==1.1.0
defusedxml==0.6.0
Flask==1.1.2
Flask-Login==0.5.0
idna==2.9
itsdangerous==1.1.0
Jinja2==2.11.2
jsmin==2.2.2
json5==0.9.4
lxml==4.5.0
MarkupSafe==1.1.1
phantomjs==1.1.7
pycurl==7.43.0
pyquery==1.4.1
pyspider==0.3.10
PyYAML==5.3.1
requests==2.23.0
six==1.14.0
tblib==1.6.0
tornado==4.5.3
u-msgpack-python==2.6.0
urllib3==1.25.9
Werkzeug==0.16.0
WsgiDAV==2.4.0
3, 处理pycurl相关报错
pip3 uninstall pycurl
export PYCURL_SSL_LIBRARY=nss
pip3 install --ignore-installed pycurl
https://blog.csdn.net/jeff_/article/details/81215062
pyspider启动
## 命令行输入 pyspider
## 浏览器输入 ip:5000
大礼包:virtualenvwrapper使用方法:
mkvirtualenv zqxt:创建运行环境zqxt
workon zqxt: 工作在 zqxt 环境
其它的:
rmvirtualenv ENV:删除运行环境ENV
mkproject mic:创建mic项目和运行环境mic
指定python版本创建mic项目和运行环境mic
mkproject -p /usr/bin/python3 py3-pyspider
mktmpenv:创建临时运行环境
lsvirtualenv: 列出可用的运行环境
lssitepackages: 列出当前环境安装了的包
创建的环境是独立的,互不干扰,无需sudo权限即可使用 pip 来进行包的管理。