Python爬蟲（十八）
學習Python爬蟲過程中的心得體會以及知識點的整理，方便我自己查找，也希望可以和大家一起交流。
—— xunfeng的Linux安裝——
巡風支持多平臺安裝，包括windows、linux、OSX、docker。我們今天只使用Linux進行安裝。
由於Linux版本衆多，我們只講CentOS、Ubuntu和Debian，以下在沒有特別說明的情況下，視爲三個版本操作一樣：
部署和調試巡風要求root權限，請用戶切換到root賬號進行操作，Ubuntu或Debian系統默認未開啓root，請開啓。
一、環境安裝
- 修改當前時區爲 Asia/Shanghai:
echo TZ\='Asia/Shanghai'\; export TZ >> ~/.bash\_profile && source ~/.bash\_profile
- 操作系統依賴
CentOS
yum install gcc libffi-devel python-devel openssl-devel libpcap-devel
Ubuntu/Debian
apt-get update
apt-get install gcc libssl-dev libffi-dev python-dev libpcap-dev
二、python 依賴庫
- 建議使用pip進行管理: 如過沒有安裝pip, 可執行如下命令進行安裝:
wget https://sec.ly.com/mirror/get-pip.py --no-check-certificate
python get-pip.py
- 更新到pip最新版本:
pip install -U pip
- 使用pip安裝 python 依賴庫, 這裏使用了豆瓣的 pypi 源。
pip install -r requirements.txt -i https://pypi.doubanio.com/simple/
三、 安裝數據庫
- 由於低版本不支持全文索引，MongoDB版本需要 ≥ 3.2。
CentOS
vi /etc/yum.repos.d/mongodb-org-3.2.repo
- 編輯 yum 源, 輸入如下內容:
[mongodb-org-3.2]
name=MongoDB Repository
baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/3.2/x86_64/
gpgcheck=0
enabled=1
gpgkey=https://www.mongodb.org/static/pgp/server-3.2.asc
- 保存並退出, 執行如下命令:
yum install -y mongodb-org
Ubuntu/Debian
apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 7F0CEB10
apt-get update && apt-get install -y mongodb-org
—— Ubuntu 12.04
echo "deb http://repo.mongodb.org/apt/ubuntu precise/mongodb-org/3.0 multiverse" | tee /etc/apt/sources.list.d/mongodb-org-3.0.list
—— Ubuntu 14.04
echo "deb http://repo.mongodb.org/apt/ubuntu trusty/mongodb-org/3.0 multiverse" | tee /etc/apt/sources.list.d/mongodb-org-3.0.list
四、 部署與配置
- yum或apt的方式安裝mongodb的啓動
默認情況下這兩種方式安裝的mongodb均會自動啓動 執行如下命令查看 mongodb 是否成功啓動:
netstat -antlp | grep 27017
- 如果沒有結果返回，請執行：
service mongod restart
或者
/etc/init.d/mongod restart
再執行一次netstat命令查看是否成功啓動
- 啓動mongodb
cd ~/
mongod --dbpath /var/lib/mongodb/
- 執行完畢後請新建一個新的終端進行後續操作，執行如下命令查看 mongodb 是否成功啓動:
netstat -antlp | grep 27017
五、mongodb 添加認證
mongo
> use xunfeng
> db.createUser({user:'scan',pwd:'your password',roles:[{role:'dbOwner',db:'xunfeng'}]})
> exit
這裏的 scan和your password 需要更換爲你的mongodb的賬戶和密碼。
-
導入數據庫
-
進入 db 文件夾, 執行如下命令:
mongorestore -h 127.0.0.1 --port 27017 -d xunfeng
service mongod stop
六、 修改配置
- 修改系統數據庫配置腳本 config.py:
class Config(object):
ACCOUNT = 'admin'
PASSWORD = 'xunfeng321'
- 修改 PASSWORD 字段內的密碼, 設置成你的密碼。
class ProductionConfig(Config):
DB = '127.0.0.1'
PORT = 27017
DBUSERNAME = 'scan'
DBPASSWORD = 'scanlol66'
DBNAME = 'xunfeng'
七、運行系統
根據實際情況修改(端口和目錄需對應好) conifg.py 和 run.sh 文件後, 執行:
sh run.sh
瀏覽器登陸界面：