文章目錄
0. 思路
準備三臺服務器，分別是Windows、Ubuntu1、Ubuntu2；
其中Windows服務器作爲分佈式爬蟲的Redis服務器；
Ubuntu1和Ubuntu2作爲分佈式爬蟲的爬蟲服務器。
一. 虛擬機Ubuntu0中安裝Redis
安裝：sudo apt-get install redis-server
卸載：sudo apt-get purge --auto-remove redis-server
啓動：sudo service redis-server start
查看：ps aux|grep redis
停止：sudo service redis-server stop
二. 虛擬機Ubuntu1中安裝Redis
同上。
三. Windows服務器上安裝Redis
1.首先安裝Redis，安裝教程：https://www.runoob.com/redis/redis-install.html
2.啓動Redis服務：（切換至Redis安裝目錄中）
redis-server.exe redis.windows.conf
若報錯，按步驟執行以下命令：
redis-cli.exe
shutdown
exit
redis-server.exe redis.windows.conf
3.啓動Redis客戶端
redis-cli.exe
輸入測試數據：
set username fanxindong
get username
四. 安裝cmder
安裝教程及配置：https://www.jianshu.com/p/5b7c985240a7
五. 安裝RedisDesktopManager
安裝教程及配置：https://www.jb51.net/softs/669908.html
安裝後連接Redis，查看測試數據。
六. 修改Windows中的配置文件redis.windows.conf
打開Windows中Redis的配置文件redis.windows.conf
將bind後的ip地址更改爲windows 的ip地址；
這裏爲了爬蟲服務器連接方便，更改爲0.0.0.0
七. Ubuntu連接Windows上 的Redis服務器
在Ubuntu服務器輸入以下指令：
redis-cli -h 172.20.20.2 -p 6379
其中172.20.20.2爲windows的服務器ip地址。
查看測試數據：
-------------------------------------------------------------------------
八.Windows上創建虛擬環境並安裝Scrapy
首先安裝 virtualenv，打開命令行工具，輸入下面的命令即可安裝 virtualenv：
pip install virtualenv
安裝成功後就可以開始創建虛擬環境，指定一個你喜歡的目錄，virtualenv 會把這個新的虛擬環境裝到你指定目錄下。例如我把它裝到 C:\Users\fxd.virtualenvs\ 目錄下，並將虛擬環境命名爲 sipder_env（也可以取任何你喜歡的名字）。在命令欄運行如下命令：
virtualenv C:\Users\fxd\.virtualenvs\sipder_env
虛擬環境已經創建好了，我們需要激活這個環境，進入到剛纔創建的虛擬環境的根目錄，運行 Scripts 目錄下的 activate 程序激活它：
cd C:\Users\fxd\.virtualenvs\sipder_env
.\Scripts\activate
可以看到命令提示符前面多了 (sipder_env)，說明我們已經成功激活了虛擬環境，接下來就可以開始安裝 Scrapy了。
使用豆瓣的鏡像源安裝：
pip install Scrapy -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
Scrapy中文文檔：https://scrapy-chs.readthedocs.io/zh_CN/latest/intro/tutorial.html
九.Ubuntu上創建虛擬環境並安裝Scrapy
安裝virtualenv：
pip install virtualenv
創建虛擬環境並自動進進入：
mkvirtualenv -p /usr/bin/python3 spider_env
退出虛擬環境：
deactivate
再次進入虛擬環境的激活指令：
source ./bin/activate
接下來安裝Scrapy，首先安裝依賴：
sudo apt-get install build-essential python3-dev libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev
安裝scrapy：
pip install Scrapy