網絡爬蟲--19.分佈式爬蟲案例(環境準備)

0. 思路

準備三臺服務器,分別是Windows、Ubuntu1、Ubuntu2;

其中Windows服務器作爲分佈式爬蟲的Redis服務器;

Ubuntu1和Ubuntu2作爲分佈式爬蟲的爬蟲服務器。

一. 虛擬機Ubuntu0中安裝Redis

安裝:sudo apt-get install redis-server

卸載:sudo apt-get purge --auto-remove redis-server

啓動:sudo service redis-server start

查看:ps aux|grep redis

停止:sudo service redis-server stop

二. 虛擬機Ubuntu1中安裝Redis

同上。

三. Windows服務器上安裝Redis

1.首先安裝Redis,安裝教程:https://www.runoob.com/redis/redis-install.html

2.啓動Redis服務:(切換至Redis安裝目錄中)
redis-server.exe redis.windows.conf

若報錯,按步驟執行以下命令:
redis-cli.exe
shutdown
exit
redis-server.exe redis.windows.conf

3.啓動Redis客戶端
redis-cli.exe

輸入測試數據:
set username fanxindong

get username

在這裏插入圖片描述

四. 安裝cmder

安裝教程及配置:https://www.jianshu.com/p/5b7c985240a7

五. 安裝RedisDesktopManager

安裝教程及配置:https://www.jb51.net/softs/669908.html

安裝後連接Redis,查看測試數據。
在這裏插入圖片描述

六. 修改Windows中的配置文件redis.windows.conf

打開Windows中Redis的配置文件redis.windows.conf

將bind後的ip地址更改爲windows 的ip地址;

這裏爲了爬蟲服務器連接方便,更改爲0.0.0.0

在這裏插入圖片描述

七. Ubuntu連接Windows上 的Redis服務器

在Ubuntu服務器輸入以下指令:

redis-cli -h 172.20.20.2 -p 6379

其中172.20.20.2爲windows的服務器ip地址。

查看測試數據:
在這裏插入圖片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章