Python爬蟲之 動態HTML

動態HTML

動態HTML介紹

• JavaScript
• jQuery
• Ajax
• DHTML
• Python採集動態數據
  • 從JavaScript代碼入手採集
  • Python第三方庫運行JavaScript，直接採集你在瀏覽器看到的頁面

Selenium + PhantomJS

• Selenium：web自動化測試工具
  • 自動加載頁面
  • 獲取數據
  • 截屏
  • 安裝：pip install selenium==2.48.0
  • 官網
  • 中文文檔
• PhantomJS(幽靈)
  • 基於webkit 的無界面瀏覽器
  • 官網
• Selenium 庫有一個WebDriver的API
• WebDriver可以跟頁面上的元素進行各種交互，用它可以來進行爬取
• 案例v39

'''
案例v39
通過WebDriver操作百度並進行查找
'''