centos7-py36安裝pyspider

install pyspider

## centos7

yum install –y make gcc-c++ python-devel libxml2-devel libxslt-devel libcurl-devel python36-devel

pip3  install virtualenv virtualenvwrapper

mkdir $HOME/workspace
export WORKON_HOME=$HOME/.virtualenvs
export PROJECT_HOME=$HOME/workspace
source /usr/local/bin/virtualenvwrapper.sh

mkproject  -p /usr/bin/python3 py3-pyspider

2,在虛擬環境中安裝如下包

pip install 下面的包

certifi==2020.4.5.1
chardet==3.0.4
click==7.1.2
cssselect==1.1.0
defusedxml==0.6.0
Flask==1.1.2
Flask-Login==0.5.0
idna==2.9
itsdangerous==1.1.0
Jinja2==2.11.2
jsmin==2.2.2
json5==0.9.4
lxml==4.5.0
MarkupSafe==1.1.1
phantomjs==1.1.7
pycurl==7.43.0
pyquery==1.4.1
pyspider==0.3.10
PyYAML==5.3.1
requests==2.23.0
six==1.14.0
tblib==1.6.0
tornado==4.5.3
u-msgpack-python==2.6.0
urllib3==1.25.9
Werkzeug==0.16.0
WsgiDAV==2.4.0

3, 處理pycurl相關報錯

pip3 uninstall pycurl
export PYCURL_SSL_LIBRARY=nss
pip3 install --ignore-installed pycurl

https://blog.csdn.net/jeff_/article/details/81215062

pyspider啓動

## 命令行輸入 pyspider
## 瀏覽器輸入 ip:5000 

大禮包：virtualenvwrapper使用方法：

mkvirtualenv zqxt：創建運行環境zqxt

workon zqxt: 工作在 zqxt 環境

其它的：

rmvirtualenv ENV：刪除運行環境ENV

mkproject mic：創建mic項目和運行環境mic

指定python版本創建mic項目和運行環境mic
mkproject -p /usr/bin/python3 py3-pyspider

mktmpenv：創建臨時運行環境

lsvirtualenv: 列出可用的運行環境

lssitepackages: 列出當前環境安裝了的包

創建的環境是獨立的，互不干擾，無需sudo權限即可使用 pip 來進行包的管理。