Selenium是一個自動化測試工具,利用它我們可以驅動瀏覽器執行特定的動作,如點擊、下拉等操作。對於一些JavaScript渲染的頁面來說,這種抓取方式非常有效。下面我們來看看Selenium的安裝過程。
1. 相關鏈接
2. pip安裝
這裏推薦直接使用pip安裝,執行如下命令即可:
pip3 install selenium
3. wheel安裝
此外,也可以到PyPI下載對應的wheel文件進行安裝(下載地址:https://pypi.python.org/pypi/selenium/#downloads),如最新版本爲3.4.3,則下載selenium-3.4.3-py2.py3-none-any.whl即可。
然後進入wheel文件目錄,使用pip安裝:
pip3 install selenium-3.4.3-py2.py3-none-any.whl
4. 驗證安裝
進入Python命令行交互模式,導入Selenium包,如果沒有報錯,則證明安裝成功:
12 $ python3>>> import selenium
但這樣做還不夠,因爲我們還需要用瀏覽器(如Chrome、Firefox等)來配合Selenium工作。
後面我們會介紹Chrome、Firefox、PhantomJS三種瀏覽器的配置方式。有了瀏覽器,我們纔可以配合Selenium進行頁面的抓取。