selenium + PhantomJS 瀏覽器後臺抓取

PhantomJs是一個‘無頭’’=瀏覽器，

下載地址：http://phantomjs.org/download.html

下載之後最好把bin目錄設置成環境變量

他會把網站加載到內存並執行頁面上的JavaScript，但是他不會向用戶展示網頁的圖形界面（後臺運行瀏覽器），可以處理cookie,JavaScript,header以及任何你需要做的事情

注意：

部分公司內網閹割，會報出   

urllib2.URLError:<urlopenerror [Errno 10061] >

是因爲ie局域網 設置了代理

from selenium importwebdriver
import time
driver =webdriver.PhantomJS(executable_path="C:/phantomjs/bin/phantomjs")
driver.get('http://pythonscraping.com/pages/javascript/ajaxDemo.html')
time.sleep(3)
print(driver.find_element_by_id("content").text)

如果設置完環境變量不能正常調用，在定義webdriver的時候指定phantomJs的目錄

你可以用webdriver的一些函數。

如果你還想是用bs4解析網頁的話，可以採用pagesource函數來返回頁面的源代碼字符串

pageSource =driver.page_source
bsObj =BeautifulSoup(pageSource)
print(bsObj.find(id="content").get_text())