selenium等待定位標籤加載完再執行

遇到的問題描述

我們經常會碰到用selenium操作頁面上某個元素的時候， 需要等待頁面加載完成後， 才能操作。  否則頁面上的元素不存在，會拋出異常。  

比如：

一個動態網頁使用了ajax的異步加載，我們需要等待元素加載完成後， 才能操作這個元素

（事實上，現在我們遇到的所有想要爬取的網站都或多或少的使用了各種各樣的動態技術加載局部元素來提升訪問效率）

selenium 中提供了非常簡單，智能的方法，來判斷元素是否存在.

最直接的方法就是

強制等待:sleep()：

import time
sleep(5)  #等待5秒

缺點不言而喻，對程序不友好，影響腳本運行效率，佔用服務器資源

---

隱式等待:implicitly_wait()

driver.implicitly_wait(10) #隱式等待10秒

由webdriver提供的方法，一旦設置，這個隱式等待會在WebDriver對象實例的整個生命週期起作用，它不針對某一個元素，是全局元素等待，即在定位元素時，需要等待頁面全部元素加載完成，纔會執行下一個語句。如果超出了設置時間的則拋出異常。

缺點：當頁面某些js無法加載，但是想找的元素已經出來了，它還是會繼續等待，直到頁面加載完成（瀏覽器標籤左上角圈圈不再轉），纔會執行下一句。某些情況下會影響腳本執行速度。

測試代碼

from selenium import webdriver
from selenium.webdriver.support.wait import WebDriverWait
import os

url = "file:///E:/code/py_project/untitled/testHtml.html"


def fun_1(URL):
    browner = webdriver.Chrome()
    browner.get(URL)
    browner.find_element_by_id("testBtn").click()
    browner.implicitly_wait(10)  # 隱式等待10秒

    WebElement = browner.find_element_by_class_name("red_box")
    my_js = 'arguments[0].style.width = "200px";arguments[0].style.height = "200px"'
    browner.execute_script(my_js, WebElement)
    os.system("pause")

fun_1(url)

顯式等待:WebDriverWait(driver, timeout, poll_frequency, ignored_exceptions)

• driver：瀏覽器驅動
• timeout：最長超時時間，默認以秒爲單位
• poll_frequency：檢測的間隔步長，默認爲0.5s
• ignored_exceptions：超時後的拋出的異常信息，默認拋出NoSuchElementExeception異常。

與until()或者until_not()方法結合使用

WebDriverWait(driver,10).until(method，message="")
調用該方法提供的驅動程序作爲參數，直到返回值爲True

WebDriverWait(driver,10).until_not(method，message="")
調用該方法提供的驅動程序作爲參數，直到返回值爲False

在設置時間（10s）內，等待後面的條件發生。如果超過設置時間未發生，則拋出異常。在等待期間，每隔一定時間（默認0.5秒)，調用until或until_not裏的方法，直到它返回True或False. 

測試代碼：

from selenium import webdriver
from selenium.webdriver.support.wait import WebDriverWait
import os

url = "file:///E:/code/py_project/untitled/testHtml.html"

def fun_1(URL):
    browner = webdriver.Chrome()
    browner.get(URL)
    browner.find_element_by_id("testBtn").click()
    # 設置隱式等待
    # browner.implicitly_wait(10)  # 隱式等待10秒

    # 設置顯示等待 - 1
    wait = WebDriverWait(browner, 10, 0.5)
    # 使用匿名函數
    wait.until(lambda diver: browner.find_element_by_class_name('red_box'))

    # 等到這個元素加載完畢再操作就不會報錯
    WebElement = browner.find_element_by_class_name("red_box")
    my_js = 'arguments[0].style.width = "200px";arguments[0].style.height = "200px"'
    browner.execute_script(my_js, WebElement)

    os.system("pause")

fun_1(url)

WebDriverWait與expected_conditions結合使用

from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

wait = WebDriverWait(driver,10,0.5)
element =waite.until(EC.presence_of_element_located((By.ID,"kw"),message="")

測試代碼：

from selenium import webdriver
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
import os

url = "file:///E:/code/py_project/untitled/testHtml.html"


def fun_1(URL):
    browner = webdriver.Chrome()
    browner.get(URL)
    browner.find_element_by_id("testBtn").click()

    wait = WebDriverWait(browner, 10, 0.5)
    wait.until(EC.presence_of_element_located((By.CLASS_NAME, "red_box")))

    # 等到這個元素加載完畢再操作就不會報錯
    WebElement = browner.find_element_by_class_name("red_box")
    my_js = 'arguments[0].style.width = "200px";arguments[0].style.height = "200px"'
    browner.execute_script(my_js, WebElement)

    os.system("pause")

fun_1(url)

expected_conditions類提供的預期條件判斷的方法 

方法	說明
title_is	判斷當前頁面的 title 是否完全等於（==）預期字符串，返回布爾值
title_contains	判斷當前頁面的 title 是否包含預期字符串，返回布爾值
presence_of_element_located	判斷某個元素是否被加到了 dom 樹裏，並不代表該元素一定可見
visibility_of_element_located	判斷元素是否可見（可見代表元素非隱藏，並且元素寬和高都不等於 0）
visibility_of	同上一方法，只是上一方法參數爲locator，這個方法參數是 定位後的元素
presence_of_all_elements_located	判斷是否至少有 1 個元素存在於 dom 樹中。舉例：如果頁面上有 n 個元素的 class 都是’wp’，那麼只要有 1 個元素存在，這個方法就返回 True
text_to_be_present_in_element	判斷某個元素中的 text 是否 包含 了預期的字符串
text_to_be_present_in_element_value	判斷某個元素中的 value 屬性是否包含 了預期的字符串
frame_to_be_available_and_switch_to_it	判斷該 frame 是否可以 switch進去，如果可以的話，返回 True 並且 switch 進去，否則返回 False
invisibility_of_element_located	判斷某個元素中是否不存在於dom樹或不可見
element_to_be_clickable	判斷某個元素中是否可見並且可點擊
staleness_of	等某個元素從 dom 樹中移除，注意，這個方法也是返回 True或 False
element_to_be_selected	判斷某個元素是否被選中了,一般用在下拉列表
element_selection_state_to_be	判斷某個元素的選中狀態是否符合預期
element_located_selection_state_to_be	跟上面的方法作用一樣，只是上面的方法傳入定位到的 element，而這個方法傳入 locator
alert_is_present	判斷頁面上是否存在 alert

顯示等待,自定義等待條件

#設置等待
wait = WebDriverWait(driver,10,0.5)
#使用匿名函數
wait.until(lambda diver:driver.find_element_by_id('kw'))