[Python爬蟲] 八、動態HTML處理之Selenium與PhantomJS

往期內容提要：

Xpath helper 或者是 chrome 中的 copy xpath 都是從 element 中提取的數據，但是爬蟲獲取的是url對應的響應，往往和 elements 不一樣，這是因爲瀏覽器渲染出來的頁面和爬蟲請求的頁面並不一樣，當使用了JavaScript、jQuery、 Ajax 或 DHTML(Dynamic HTML, DHTML) 技術改變 / 加載內容的頁面，網頁中數據並不直接渲染，而是由前端異步獲取；對此我們可以嘗試從 JavaScript 代碼裏採集內容用 Python 的第三方庫運行（費時費力）；此外部分網頁通過 JavaScript 的加密庫生成動態的 token，同時加密庫再進行混淆。對此我們就只能慢慢調試，找到加密原理，但是同樣耗時耗力。

對此， Python對上述問題提出瞭解決方法，即選擇內置瀏覽器引擎的爬蟲( PhantomJS， Selenium )，在瀏覽器引擎運行頁面，直接採集你在瀏覽器裏看到的頁面，拿到數據，獲取正確結果。今天我們來學習動態HTML處理之Selenium與PhantomJS。

一、Selenium與PhantomJS

（1）Selenium

Selenium是一個Web的自動化測試工具，最初是爲網站自動化測試而開發的，類型像我們玩遊戲用的按鍵精靈，可以按指定的命令自動操作，不同是Selenium 可以直接運行在瀏覽器上，它支持所有主流的瀏覽器（包括PhantomJS這些無界面的瀏覽器）。

Selenium 可以根據我們的指令，讓瀏覽器自動加載頁面，獲取需要的數據，甚至頁面截屏，或者判斷網站上某些動作是否發生。

Selenium 自己不帶瀏覽器，不支持瀏覽器的功能，它需要與第三方瀏覽器結合在一起才能使用。但是我們有時候需要讓它內嵌在代碼中運行，所以我們可以用一個叫 PhantomJS 的工具代替真實的瀏覽器。

可以從 PyPI 網站下載 Selenium庫 https://pypi.python.org/simple/selenium ，也可以用第三方管理器 pip用命令安裝：sudo pip install selenium

Selenium 官方參考文檔：http://selenium-python.readthedocs.io/index.html

（2）PhantomJS

PhantomJS 是一個基於Webkit的“無界面”(headless)瀏覽器，它會把網站加載到內存並執行頁面上的 JavaScript，因爲不會展示圖形界面，所以運行起來比完整的瀏覽器要高效。

如果我們把 Selenium 和 PhantomJS 結合在一起，就可以運行一個非常強大的網絡爬蟲了，這個爬蟲可以處理 JavaScrip、Cookie、headers，以及任何我們真實用戶需要做的事情。

PhantomJS 是一個功能完善(雖然無界面)的瀏覽器而非一個 Python 庫，所以它不需要像 Python 的其他庫一樣安裝，但我們可以通過Selenium調用PhantomJS來直接使用。

在Ubuntu16.04中可以使用命令安裝：sudo apt-get install phantomjs

如果其他系統無法安裝，可以從它的官方網站http://phantomjs.org/download.html) 下載。

PhantomJS 官方參考文檔：http://phantomjs.org/documentation

二、快速入門

Selenium 庫裏有個叫 WebDriver 的 API。WebDriver 有點兒像可以加載網站的瀏覽器，但是它也可以像 BeautifulSoup 或者其他 Selector 對象一樣用來查找頁面元素，與頁面上的元素進行交互 (發送文本、點擊等)，以及執行其他動作來運行網絡爬蟲。

# IPython2 測試代碼

# 導入 webdriver
from selenium import webdriver

# 調用鍵盤按鍵操作時需要引入的Keys包
from selenium.webdriver.common.keys import Keys

# 調用環境變量指定的PhantomJS瀏覽器創建瀏覽器對象
driver = webdriver.PhantomJS()

# 如果沒有在環境變量指定PhantomJS位置
# driver = webdriver.PhantomJS(executable_path="./phantomjs"))

# get方法會一直等到頁面被完全加載，然後纔會繼續程序，通常測試會在這裏選擇 time.sleep(2)
driver.get("http://www.baidu.com/")

# 獲取頁面名爲 wrapper的id標籤的文本內容
data = driver.find_element_by_id("wrapper").text

# 打印頁面標題 "百度一下，你就知道"
print driver.title

# 生成當前頁面快照並保存
driver.save_screenshot("baidu.png")

# id="kw"是百度搜索輸入框，輸入字符串"長城"
driver.find_element_by_id("kw").send_keys(u"長城")

# id="su"是百度搜索按鈕，click() 是模擬點擊
driver.find_element_by_id("su").click()

# ctrl+a 全選輸入框內容
driver.find_element_by_id("kw").send_keys(Keys.CONTROL,'a')

# ctrl+x 剪切輸入框內容
driver.find_element_by_id("kw").send_keys(Keys.CONTROL,'x')

# 獲取href值
driver.find_element_by_xpath("//div[@id='u1']/a[2]").get_attribute('href')

# 模擬Enter回車鍵，替代點擊操作
driver.find_element_by_id("su").send_keys(Keys.RETURN)

# 清除輸入框內容
driver.find_element_by_id("kw").clear()

# 關閉當前頁面，如果只有一個頁面，會關閉瀏覽器
# driver.close()

# 關閉瀏覽器
driver.quit()

三、頁面操作

一、加載網頁：

from selenium import webdriver

driver = webdriver.PhantomJS(“c:…/pantomjs.exe”)

driver.get(“http://www.baidu.com/”) driver.save_screenshot(“長城.png”)

二、定位和操作：

driver.find_element_by_id(“kw”).send_keys(“長城”)

driver.find_element_by_id(“su”).click()

三、查看請求信息：

driver.page_source 返回頁面源碼
driver.title 返回頁面標題
drive.current_url 返回當前頁面的URL
driver.get_cookies() 返回頁面cookies

size 獲取元素的尺寸
text 獲取元素的文本
get_attribute(name) 獲取元素的屬性值
tag_name 獲取元素的tagName
location 獲取元素座標，先找到要獲取的元素，再調用該方法
is_displayed() 設置該元素是否可見
is_enabled() 判斷元素是否被使用
is_selected() 判斷元素是否被選中

四、鼠標操作：

click(elem) 單擊鼠標點擊元素elem

click_and_hold(elem) 按下鼠標左鍵在一個元素上

context_click(elem) 右擊鼠標點擊元素elem，另存爲等行爲

double_click(elem) 雙擊鼠標點擊元素elem，地圖web可實現放大功能

drag_and_drop(source,target) 拖動鼠標，源元素按下左鍵移動至目標元素釋放

move_to_element(elem) 鼠標移動到一個元素上

perform() 在通過調用該函數執行ActionChains中存儲行爲

五、鍵盤操作

send_keys(Keys.ENTER) 按下回車鍵（和Keys.RETURN 沒有區別,鍵值都是 13）

send_keys(Keys.TAB) 按下Tab製表鍵

send_keys(Keys.SPACE) 按下空格鍵

space send_keys(Kyes.ESCAPE) 按下回退鍵Esc

send_keys(Keys.BACK_SPACE) 按下刪除鍵

BackSpace send_keys(Keys.SHIFT)按下shift鍵

send_keys(Keys.CONTROL) 按下Ctrl鍵

send_keys(Keys.ARROW_DOWN)按下鼠標光標向下按鍵

send_keys(Keys.CONTROL,‘a’) 組合鍵全選Ctrl+A

send_keys(Keys.CONTROL,‘c’) 組合鍵複製Ctrl+C

send_keys(Keys.CONTROL,‘x’)組合鍵剪切Ctrl+X

send_keys(Keys.CONTROL,‘v’) 組合鍵粘貼Ctrl+V

六、JavaScript操作

driver.execute_script(“some javascript code here”);

七、退出

driver.close() #退出當前頁面

driver.quit() #退出瀏覽器

（1）定位元素 (WebElements)

Selenium 的 WebDriver提供了各種方法來尋找元素，關於元素的選取，有如下的API 單個元素選取：

find_element_by_id
find_elements_by_name
find_elements_by_xpath
find_elements_by_link_text
find_elements_by_partial_link_text
find_elements_by_tag_name
find_elements_by_class_name
find_elements_by_css_selector

find_element 和find_elements的區別：返回一個和返回一個列表。

By ID

<div id="coolestWidgetEvah">...</div>

實現

element = driver.find_element_by_id("coolestWidgetEvah")
------------------------ or -------------------------
from selenium.webdriver.common.by import By element = driver.find_element(by=By.ID, value="coolestWidgetEvah")

By Class Name

<div class="cheese"><span>Cheddar</span></div><div class="cheese"><span>Gouda</span></div>

實現

cheeses = driver.find_elements_by_class_name("cheese")
------------------------ or -------------------------
from selenium.webdriver.common.by import By
cheeses = driver.find_elements(By.CLASS_NAME, "cheese")

By Tag Name

<iframe src="..."></iframe>

實現

frame = driver.find_element_by_tag_name("iframe")
------------------------ or -------------------------
from selenium.webdriver.common.by import By
frame = driver.find_element(By.TAG_NAME, "iframe")

By Name

<input name="cheese" type="text"/>

實現

cheese = driver.find_element_by_name("cheese")
------------------------ or -------------------------
from selenium.webdriver.common.by import By
cheese = driver.find_element(By.NAME, "cheese")

By Link Text

<a href="http://www.google.com/search?q=cheese">cheese</a>

實現

cheese = driver.find_element_by_link_text("cheese")
------------------------ or -------------------------
from selenium.webdriver.common.by import By
cheese = driver.find_element(By.LINK_TEXT, "cheese")

By Partial Link Text

<a href="http://www.google.com/search?q=cheese">search for cheese</a>>

實現

cheese = driver.find_element_by_partial_link_text("cheese")
------------------------ or -------------------------
from selenium.webdriver.common.by import By
cheese = driver.find_element(By.PARTIAL_LINK_TEXT, "cheese")

By CSS

<div id="food"><span class="dairy">milk</span><span class="dairy aged">cheese</span></div>

實現

cheese = driver.find_element_by_css_selector("#food span.dairy.aged")
------------------------ or -------------------------
from selenium.webdriver.common.by import By
cheese = driver.find_element(By.CSS_SELECTOR, "#food span.dairy.aged")

By XPath

<input type="text" name="example" />
<INPUT type="text" name="other" />

實現

inputs = driver.find_elements_by_xpath("//input")
------------------------ or -------------------------
from selenium.webdriver.common.by import By
inputs = driver.find_elements(By.XPATH, "//input")

（2）鼠標動作

有些時候，我們需要再頁面上模擬一些鼠標操作，比如雙擊、右擊、拖拽甚至按住不動等，我們可以通過導入 ActionChains 類來做到，常見的操作元素方法如下：

clear 清除元素的內容

send_keys 模擬按鍵輸入【如果需要輸入中文，防止編碼錯誤使用send_keys(u"中文用戶名")】

click 點擊元素

submit 提交表單

#導入 ActionChains 類
from selenium.webdriver import ActionChains

# 鼠標移動到 ac 位置
ac = driver.find_element_by_xpath('element')
ActionChains(driver).move_to_element(ac).perform()

# 在 ac 位置單擊
ac = driver.find_element_by_xpath("elementA")
ActionChains(driver).move_to_element(ac).click(ac).perform()

# 在 ac 位置雙擊
ac = driver.find_element_by_xpath("elementB")
ActionChains(driver).move_to_element(ac).double_click(ac).perform()

# 在 ac 位置右擊
ac = driver.find_element_by_xpath("elementC")
ActionChains(driver).move_to_element(ac).context_click(ac).perform()

# 在 ac 位置左鍵單擊hold住
ac = driver.find_element_by_xpath('elementF')
ActionChains(driver).move_to_element(ac).click_and_hold(ac).perform()

# 將 ac1 拖拽到 ac2 位置
ac1 = driver.find_element_by_xpath('elementD')
ac2 = driver.find_element_by_xpath('elementE')
ActionChains(driver).drag_and_drop(ac1, ac2).perform()

（3）填充表單

我們已經知道了怎樣向文本框中輸入文字，但是有時候我們會碰到<select> </select>標籤的下拉框。直接點擊下拉框中的選項不一定可行。

<select id="status" class="form-control valid" onchange="" name="status">
    <option value=""></option>
    <option value="0">未審覈</option>
    <option value="1">初審通過</option>
    <option value="2">複審通過</option>
    <option value="3">審覈不通過</option>
</select>

Selenium專門提供了Select類來處理下拉框。其實 WebDriver 中提供了一個叫 Select 的方法，可以幫助我們完成這些事情：

# 導入 Select 類
from selenium.webdriver.support.ui import Select

# 找到 name 的選項卡
select = Select(driver.find_element_by_name('status'))

# 
select.select_by_index(1)
select.select_by_value("0")
select.select_by_visible_text(u"未審覈")

以上是三種選擇下拉框的方式，它可以根據索引來選擇，可以根據值來選擇，可以根據文字來選擇。注意：

index 索引從 0 開始

value是option標籤的一個屬性值，並不是顯示在下拉框中的值

visible_text是在option標籤文本的值，是顯示在下拉框的值

全部取消選擇怎麼辦呢？很簡單:

select.deselect_all()

（4）彈窗處理

當你觸發了某個事件之後，頁面出現了彈窗提示，處理這個提示或者獲取提示信息方法如下：

alert = driver.switch_to_alert()

（5）頁面切換

一個瀏覽器肯定會有很多窗口，所以我們肯定要有方法來實現窗口的切換。切換窗口的方法如下：

driver.switch_to.window("this is window name")

也可以使用 window_handles 方法來獲取每個窗口的操作對象。例如：

for handle in driver.window_handles:
    driver.switch_to_window(handle)

（6）頁面前進和後退

操作頁面的前進和後退功能：

driver.forward()     #前進
driver.back()       # 後退

（7） Cookies

獲取頁面每個Cookies值，用法如下

for cookie in driver.get_cookies():
    print "%s -> %s" % (cookie['name'], cookie['value'])

刪除Cookies，用法如下

# By name
driver.delete_cookie("CookieName")

# all
driver.delete_all_cookies()

四、JavaScript執行器

這一節我們來討論在Python Selenium WebDriver中如何使用JavaScript來單擊或對Web元素執行操作。

使用JavaScript的潛在操作：

獲取元素文本或屬性

找到一個元素

對元素做一些操作，比如 click()

更改元素的屬性

滾動到網頁上的元素或位置

等到頁面加載完畢

（1）如何在WebDriver中使用JavaScript

Python Selenium WebDriver提供了一個內置方法：

driver.execute_script("some javascript code here");

我們可以通過兩種方式在瀏覽器中執行JavaScript。

方法1：在文檔根級別執行JavaScript

在這種情況下，我們使用JavaScript提供的方法捕獲我們想要使用的元素，然後在其上聲明一些操作並使用WebDriver執行此JavaScript。執行時，WebDriver會將JavaScript語句注入瀏覽器，腳本將執行該任務。例如：

jS = "document.getElementsByName('username')[0].click();"driver.execute_script(javaScript)

第1步：我們正在使用JavaScript檢查並通過屬性“名稱”獲取元素。（另外，可以使用’id’和’class’屬性。）

第2步：使用JavaScript聲明並對元素執行單擊操作。

第3步：調用execute_script（）方法並將我們創建的JavaScript作爲字符串值傳遞。

方法2：在元素級別執行JavaScript

在這種情況下，我們使用WebDriver捕獲我們想要使用的元素，然後使用JavaScript在其上聲明一些操作，並通過將web元素作爲參數傳遞給JavaScript來使用WebDriver執行此JavaScript。

userName = driver.find_element_by_xpath("//button[@name='username']")
driver.execute_script("arguments[0].click();", userName)

第1步：使用WebDriver提供的方法檢查和捕獲元素：find_element_by_xpath
第2步：使用JavaScript聲明並對元素執行單擊操作：arguments[0].click() 第3步：execute_script()
第3步：execute_script() 使用我們創建的JavaScript語句作爲字符串值調用方法，並使用WebDriver作爲參數捕獲Web元素：driver.execute_script(“arguments[0].click();”,
userName)

上面兩行代碼可以縮短爲下面的格式，我們使用WebDriver找到一個元素，聲明一些JavaScript函數，並使用WebDriver執行JavaScript。

driver.execute_script("arguments[0].click();",driver.find_element_by_xpath("//button[@name='username']"))

此外，您的語句中可以有多個JavaScript操作：

userName = driver.find_element_by_xpath("//button[@name='username']")
password = driver.find_element_by_xpath("//button[@name='password']")
driver.execute_script("arguments[0].click();arguments[1].click();", userName, password)
#driver.execute_script("arguments[1].click();arguments[0].click();", userName, password)

在這種情況下，web元素的順序的使用很重要。

實戰：

from selenium import webdriver

driver = webdriver.PhantomJS()
driver.get("https://www.baidu.com/")

# 將搜索輸入框標紅
js = "var q=document.getElementById(\"kw\");q.style.border=\"2px solid red\";"
driver.execute_script(js)

#隱藏百度圖片
img = driver.find_element_by_xpath("//*[@id='lg']/img")
driver.execute_script('$(arguments[0]).fadeOut()',img)

# 向下滾動到頁面底部
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

# 向下滾動10000像素
js = "document.body.scrollTop=10000"
#js="var q=document.documentElement.scrollTop=10000"
driver.execute_script(js)

#從Web元素中獲取值
print driver.execute_script('return document.getElementById("fsr").innerText')

driver.quit()

在使用driver.execute_script從Web元素中獲取值報出WebDriver異常：
selenium.common.exceptions.WebDriverException: Message: unknown error: Cannot read property ‘innerText’ of null
解決方法：JavaScript不能找到要操作的元素，檢查元素是否存在。

五、頁面等待

現在的網頁越來越多采用了 Ajax 技術，這樣程序便不能確定何時某個元素完全加載出來了。如果實際頁面等待時間過長導致某個dom元素還沒出來，但是你的代碼直接使用了這個WebElement，那麼就會拋出NullPointer的異常。

爲了避免這種元素定位困難而且會提高產生 ElementNotVisibleException 的概率。所以 Selenium 提供了兩種等待方式，一種是隱式等待，一種是顯式等待。

隱式等待是等待特定的時間，顯式等待是指定某一條件直到這個條件成立時繼續執行。

A. 隱式等待

隱式等待比較簡單，就是簡單地設置一個等待時間，單位爲秒。

from selenium import webdriver

driver = webdriver.Chrome()
driver.implicitly_wait(10) # seconds
driver.get("http://www.xxxxx.com/loading")
myDynamicElement = driver.find_element_by_id("myDynamicElement")

當然如果不設置，默認等待時間爲0。

B. 顯式等待

顯式等待指定某個條件，然後設置最長等待時間。如果在這個時間還沒有找到元素，那麼便會拋出異常了。

from selenium import webdriver
from selenium.webdriver.common.by import By
# WebDriverWait 庫，負責循環等待
from selenium.webdriver.support.ui import WebDriverWait
# expected_conditions 類，負責條件出發
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Chrome()
driver.get("http://www.xxxxx.com/loading")
try:
    # 頁面一直循環，直到 id="myDynamicElement" 出現
    element = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.ID, "myDynamicElement"))
    )
finally:
    driver.quit()

如果不寫參數，程序默認會 0.5s 調用一次來查看元素是否已經生成，如果本來元素就是存在的，那麼會立即返回。

下面是一些內置的等待條件，你可以直接調用這些條件，而不用自己寫某些等待條件了。

title_is
title_contains
presence_of_element_located
visibility_of_element_located
visibility_of
presence_of_all_elements_located
text_to_be_present_in_element
text_to_be_present_in_element_value
frame_to_be_available_and_switch_to_it
invisibility_of_element_located
element_to_be_clickable – it is Displayed and Enabled.
staleness_of
element_to_be_selected
element_located_to_be_selected
element_selection_state_to_be
element_located_selection_state_to_be
alert_is_present

四、實戰演示

登陸鬥魚（演示網站模擬登錄）：

#coding=utf-8
import time
from selenium import webdriver
from selenium.webdriver.common.keys import Keys

class Douyu():
    def __init__(self):
        self.url = "https://www.douyu.com/"
        self.driver = webdriver.PhantomJS()

    def log_in(self):
        self.driver.get(self.url)
        time.sleep(3)#睡3分鐘，等待頁面加載
        self.driver.save_screenshot("0.jpg")
        #輸入賬號
        self.driver.find_element_by_xpath('//*[@id="form_email"]').send_keys("[email protected]")
        #輸入密碼
        self.driver.find_element_by_xpath('//*[@id="form_password"]').send_keys("xxxx")
        #點擊登陸
        self.driver.find_element_by_class_name("bn-submit").click()
        time.sleep(2)
        self.driver.save_screenshot("douyu.jpg")
        #輸出登陸之後的cookies
        print(self.driver.get_cookies())

    def __del__(self):
        '''調用內建的稀構方法，在程序退出的時候自動調用
        類似的還可以在文件打開的時候調用close，數據庫鏈接的斷開
        '''
        self.driver.quit()

if __name__ == "__main__":
    douyu = Douyu() #實例化
    douyu.log_in()  #之後調用登陸方法

爬取鬥魚直播平臺的所有房間信息（演示動態頁面模擬點擊）：

#coding=utf-8
from selenium import webdriver
import json
import time

class Douyu:
    # 1.發送首頁的請求
    def __init__(self):
        self.driver = webdriver.PhantomJS()
        self.driver.get("https://www.douyu.com/directory/all") #請求首頁

    #獲取沒頁面內容
    def get_content(self):
        time.sleep(3) #每次發送完請求等待三秒，等待頁面加載完成
        li_list = self.driver.find_elements_by_xpath('//ul[@id="live-list-contentbox"]/li')
        contents = []
        for i in li_list: #遍歷房間列表
            item = {}
            item["img"] = i.find_element_by_xpath("./a//img").get_attribute("src") #獲取房間圖片
            item["title"] = i.find_element_by_xpath("./a").get_attribute("title") #獲取房間名字
            item["category"] = i.find_element_by_xpath("./a/div[@class='mes']/div/span").text #獲取房間分類
            item["name"] = i.find_element_by_xpath("./a/div[@class='mes']/p/span[1]").text #獲取主播名字
            item["watch_num"] = i.find_element_by_xpath("./a/div[@class='mes']/p/span[2]").text #獲取觀看人數
            print(item)
            contents.append(item)
        return contents
    #保存本地
    def save_content(self,contents):
        f = open("douyu.txt","a")
        for content in contents:
            json.dump(content,f,ensure_ascii=False,indent=2)
            f.write("\n")
        f.close()

    def run(self):
        #1.發送首頁的請求
        #2.獲取第一頁的信息
        contents = self.get_content()
            #保存內容
        self.save_content(contents)
        #3.循環  點擊下一頁按鈕，直到下一頁對應的class名字不再是"shark-pager-next"
        while self.driver.find_element_by_class_name("shark-pager-next"): #判斷有沒有下一頁
            #點擊下一頁的按鈕
            self.driver.find_element_by_class_name("shark-pager-next").click() #
            # 4.繼續獲取下一頁的內容
            contents = self.get_content()
            #4.1.保存內容
            self.save_content(contents)

if __name__ == "__main__":
    douyu = Douyu()
    douyu.run()

後期內容提要：

[Python爬蟲] 九、機器視覺與機器圖像識別之Tesseract
[Python爬蟲] 十、Scrapy 框架

如果您有任何疑問或者好的建議，期待你的留言與評論！

[Python爬蟲] 八、動態HTML處理之Selenium與PhantomJS

一、Selenium與PhantomJS

（1）Selenium

（2）PhantomJS

二、快速入門

三、頁面操作

（1）定位元素 (WebElements)

（2）鼠標動作

（3）填充表單

（4）彈窗處理

（5）頁面切換

（6）頁面前進和後退

（7） Cookies

四、JavaScript執行器

（1）如何在WebDriver中使用JavaScript

方法1：在文檔根級別執行JavaScript

方法2：在元素級別執行JavaScript

實戰：

五、頁面等待

A. 隱式等待

B. 顯式等待

四、實戰演示

密碼學：一文讀懂常用加密技術原理及其邏輯與應用方法

【樹莓派-網絡監控（5）前端搭建】基於iframe標籤,集成監控實時畫面與遙控功能，完成網絡監控的搭建與調試

【樹莓派-網絡監控（4）數據交互】基於python異步io框架Tornado,實現監控遙控命令與Web網頁觸發事件的綁定及前後端的數據交互

【抽獎平臺開發（3）】將抽獎結果提交的表單上傳至數據庫，完成抽獎平臺前臺開發（PHP+MySQL）

【抽獎平臺開發（1）】抽獎功能的前端實現（HTML+JS+CSS）

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結

[Python爬蟲] 八、動態HTML處理之Selenium與PhantomJS

一、Selenium與PhantomJS

（1）Selenium

（2）PhantomJS

二、快速入門

三、頁面操作

（1） 定位元素 (WebElements)

（2） 鼠標動作

（3） 填充表單

（4） 彈窗處理

（5） 頁面切換

（6） 頁面前進和後退

（7） Cookies

四、JavaScript執行器

（1）如何在WebDriver中使用JavaScript

方法1：在文檔根級別執行JavaScript

方法2：在元素級別執行JavaScript

實戰：

五、頁面等待

A. 隱式等待

B. 顯式等待

四、實戰演示

（1）定位元素 (WebElements)

（2）鼠標動作

（3）填充表單

（4）彈窗處理

（5）頁面切換

（6）頁面前進和後退