Python爬蟲環境常用庫安裝

原創

2020-02-21 07:29

1：urllib urllib.request

這兩個庫是python自帶的庫，不需要重新安裝，在python中輸入如下代碼：

import urllib
import urllib.request
response=urllib.request.urlopen("http://www.baidu.com")
print(response)

返回結果爲HTTPResponse的對象：
<http.client.HTTPResponse object at 0x000001929C7525F8>

2：正則表達式模塊

import re

該庫爲python自帶的庫，直接運行不報錯，證明該庫正確安裝。

3：request庫的安裝

安裝命令：pip install requests
驗證該庫是否安裝成功，運行如下代碼：

import requests
response=requests.get("http://www.baidu.com")
print(response)

4：selenium庫的安裝

由於如果需要使用selenium的話，需要爲本機配置對應瀏覽器的驅動，下面以chomedriver爲例，首先安裝chromedriver，chromedriver與支持對應的chrome版本如下：

chromedriver版本支持的Chrome版本
v2.33 v60-62
v2.32 v59-61
v2.31 v58-60
v2.30 v58-60
v2.29 v56-58
v2.28 v55-57
v2.27 v54-56
v2.26 v53-55
v2.25 v53-55
v2.24 v52-54
v2.23 v51-53
v2.22 v49-52
v2.21 v46-50
v2.20 v43-48
v2.19 v43-47
v2.18 v43-46
v2.17 v42-43
v2.13 v42-45
v2.15 v40-43
v2.14 v39-42
v2.13 v38-41
v2.12 v36-40
v2.11 v36-40
v2.10 v33-36
v2.9 v31-34
v2.8 v30-33
v2.7 v30-33
v2.6 v29-32
v2.5 v29-32
v2.4 v29-32
如何查看本機的chrome的版本，具體方法如下：

chromedriver的下載地址如下：
http://chromedriver.storage.googleapis.com/index.html
chromedriver解壓後放到Python或者其他配置了環境變量的目錄下。
測試代碼及運行結果如下：

安裝plantomjs
下載地址爲：http://phantomjs.org/download.html
下載完成後，解壓文件夾，將文件夾中phantomjs.exe的拷貝到Python或者其他配置了環境變量的目錄下，或單獨爲其配置環境變量，測試代碼及運行結果如下：