Python3網絡爬蟲實戰案例——環境配置（一）

本文主要配置網絡爬蟲過程中用到的環境配置，主要有：

1. Python3+Pip
2. MongoDB
3. Redis
4. MySQL
5. Python端版本共存
6. Python爬蟲常用庫
   注意：本文是Windows下的環境配置

Python3+Pip環境配置

第一種：Anaconda 這個軟件包含了python以及其各種包
下載地址 https://www.anaconda.com/
注意：
1、安裝路徑可選擇安裝
2、兩個都勾選
第二種：去Python官網下載對應版本的python，然後安裝，安裝過程簡單，不再描述
下載地址：https://www.python.org/
注意：安裝時勾選自動添加環境變量或者安裝之後手動添加

MongoDB環境配置

下載地址：https://www.mongodb.com/download-center?jmp=nav#production
注意：安裝過程選擇Custom，安裝路徑可選擇安裝

啓動MongoDB
在bin的同級目錄下新建data文件夾再在裏面新建db文件夾

最後瀏覽器訪問 http://localhost:27017/

Redis環境配置

下載地址：https://github.com/MicrosoftArchive/redis/releases
安裝過程簡單
可視化界面下載地址 https://github.com/uglide/RedisDesktopManager/releases?after=0.9.0-alpha1 推薦0.8.8
安裝過程簡單

MySQL的安裝

推薦參考： https://www.cnblogs.com/ayyl/p/5978418.html

解決Python多版本共存

推薦參考： https://www.cnblogs.com/imshome/p/8422311.html

Python爬蟲常用庫的安裝

1、urllib和re庫已經自帶
2、requests 安裝命令：pip install requests

3、selenium 安裝命令： pip install selenium
4、chromedriver
下載：http://npm.taobao.org/mirrors/chromedriver/2.28/
把壓縮包解壓後放到python文件的scripts文件夾下


5、phantomjs
下載：http://phantomjs.org/download.html
解壓文件

需要把該文件所在路徑配置到對應的環境變量

6、lxml

pip install lxml

7、beautifulsoup

pip install beautifulsoup4

8、pyquery

pip install pyquery