爬蟲系列之Selenium 庫學習

1、基本使用

fromselenium importwebdriver

fromselenium.webdriver.common.by importBy

fromselenium.webdriver.support importexpected_conditions asEC

fromselenium.webdriver.support.wait importWebDriverWait

browser = webdriver.Chrome()

browser.get('https://www.taobao.com/')

# 顯示等待10s

wait = WebDriverWait(browser, 10)

# 等待直到元素加載出

input = wait.until(EC.presence_of_element_located((By.ID, 'q')))

等待直到元素可點擊

button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '.btn-search')))

print(input, button)

fromselenium importwebdriver

fromselenium.webdriver.common.by importBy

fromselenium.webdriver.common.keys importKeys

fromselenium.webdriver.support importexpected_conditions asEC

fromselenium.webdriver.support.wait importWebDriverWait

創建一個瀏覽器對象

browser = webdriver.Chrome()

try:

# 開啓一個瀏覽器並訪問https://www.baidu.com

browser.get('https://www.baidu.com')

# 在打開的網頁響應中根據id查找元素   獲取到查詢框

input = browser.find_element_by_id('kw')

# 向查詢框中輸入Python

input.send_keys('Python')

# 模擬回車

input.send_keys(Keys.ENTER)

# 顯示等待， 等待10秒

wait = WebDriverWait(browser, 10)

# 顯式等待指定某個條件，然後設置最長等待時間。如果在這個時間還沒有找到元素，那麼便會拋出異常

wait.until(EC.presence_of_element_located((By.ID,'content_left')))

# 輸出當前的url

print(browser.current_url)

# 輸出Cookies

print(browser.get_cookies())

# 輸出頁面響應內容

print(browser.page_source)

finally:

  pass

# 關閉瀏覽器

browser.close()

2、Selenium聲明瀏覽器對象

fromselenium importwebdriver

browser = webdriver.Chrome()

browser = webdriver.Firefox()

browser = webdriver.Edge()

browser = webdriver.PhantomJS()

browser = webdriver.Safari()

3、查找元素

3.1、查找單個元素

fromselenium importwebdriver

# 申明一個瀏覽器對象

browser = webdriver.Chrome()

# 使用瀏覽器訪問淘寶

browser.get('https://www.taobao.com')

# 在響應結果中通過id查找元素

input_first = browser.find_element_by_id('q')

# 在響應結果中通過css選擇器查找元素

input_second = browser.find_element_by_css_selector('#q')

# 在響應結果中通過xpath查找元素

input_third = browser.find_element_by_xpath('//*[@id="q"]')

print(input_first)

print(input_second)

print(input_third)

browser.close()

find_element_by_name   通過name查找

find_element_by_xpath  通過xpath查找

find_element_by_link_text   通過鏈接查找

find_element_by_partial_link_text    通過部分鏈接查找

find_element_by_tag_name   通過標籤名稱查找

find_element_by_class_name   通過類名查找

find_element_by_css_selector  通過css選擇武器查找

fromselenium importwebdriver

fromselenium.webdriver.common.by importBy

# 申明一個瀏覽器對象

browser = webdriver.Chrome()

# 使用瀏覽器訪問淘寶

browser.get('https://www.taobao.com')

# 第二種方式，通過使用By.xxx指定查找方式

input = browser.find_element(By.ID,'q')

print(input)

browser.close()

3.2、多個元素

fromselenium importwebdriver

fromselenium.webdriver.common.by importBy

# 申明一個瀏覽器對象

browser = webdriver.Chrome()

# 使用瀏覽器訪問淘寶

browser.get('https://www.taobao.com')

# 根據選擇查找多個元素

input_first = browser.find_elements_by_css_selector('.service-bd li')

input_second = browser.find_elements(By.CSS_SELECTOR,'.service-bd li')

print(input_first)

print(input_second)

browser.close()

find_elements_by_name

find_elements_by_xpath

find_elements_by_link_text

find_elements_by_partial_link_text

find_elements_by_tag_name

find_elements_by_class_name

find_elements_by_css_selector

4、元素交互操作

對獲取的元素調用交互方法

importtime

fromselenium importwebdriver

fromselenium.webdriver.common.by importBy

# 申明一個瀏覽器對象

browser = webdriver.Chrome()

# 使用瀏覽器訪問淘寶

browser.get('https://www.taobao.com')

# 根據ID查找元素

input_search = browser.find_element(By.ID,'q')

# 模擬輸入PSV到輸入框

input_search.send_keys('PSV')

time.sleep(2)

# 清空輸入

input_search.clear()

input_search.send_keys('3DS')

button = browser.find_element(By.CLASS_NAME,'btn-search')

# 模擬點擊

button.click()

5、交互動作

fromselenium importwebdriver

fromselenium.webdriver importActionChains

browser = webdriver.Chrome()

url = 'http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable'

browser.get(url)

# 切換id爲iframeResult的frame

browser.switch_to.frame('iframeResult')

source = browser.find_element_by_css_selector('#draggable')

target = browser.find_element_by_css_selector('#droppable')

actions = ActionChains(browser)

actions.drag_and_drop(source, target)

actions.perform()

6、執行JavaScript

fromselenium importwebdriver

# 申明一個瀏覽器對象

browser = webdriver.Chrome()

browser.get('https://www.zhihu.com/explore')

# 執行JavaScript腳本

browser.execute_script('window.scrollTo(0, document.body.scrollHeight)')

browser.execute_script('alert("To Bottom")')

7、獲取元素信息

7.1、獲取屬性

fromselenium importwebdriver

fromselenium.webdriver.common.by importBy

# 申明一個瀏覽器對象

browser = webdriver.Chrome()

browser.get('https://www.zhihu.com/explore')

logo = browser.find_element(By.ID,'zh-top-link-logo')

# 獲取屬性

print(logo.get_attribute('class'))

print(logo)

browser.close()

7.2、獲取文本值

fromselenium importwebdriver

fromselenium.webdriver.common.by importBy

# 申明一個瀏覽器對象

browser = webdriver.Chrome()

browser.get('https://www.zhihu.com/explore')

submit = browser.find_element(By.ID,'zu-top-add-question')

# 獲取文本值

print(submit.text)

print(submit)

browser.close()

7.3、獲取ID、位置、標籤名、大小

fromselenium importwebdriver

fromselenium.webdriver.common.by importBy

# 申明一個瀏覽器對象

browser = webdriver.Chrome()

browser.get('https://www.zhihu.com/explore')

submit = browser.find_element(By.ID,'zu-top-add-question')

# 獲取id   0.04584255991652042-1

print(submit.id)

# 獲取位置  {'y': 7, 'x': 675}

print(submit.location)

# 獲取標籤名稱    button

print(submit.tag_name)

# 獲取大小  {'width': 66, 'height': 32}

print(submit.size)

browser.close()

8、Frame

fromselenium importwebdriver

fromselenium.common.exceptions importNoSuchElementException

browser = webdriver.Chrome()

url = 'http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable'

browser.get(url)

# 將操作的響應數據換成iframeResult

browser.switch_to.frame('iframeResult')

source = browser.find_element_by_css_selector('#draggable')

print(source)

try:

  logo = browser.find_element_by_class_name('logo')

exceptNoSuchElementException:

  print('NO LOGO')

# 切換成父元素

browser.switch_to.parent_frame()

logo = browser.find_element_by_class_name('logo')

print(logo)

print(logo.text)

9、等待

9.1、隱式等待

當使用了隱式等待執行測試的時候，如果 WebDriver沒有在 DOM中找到元素，將繼續等待，超出設定時間後則拋出找不到元素的異常, 換句話說，當查找元素或元素並沒有立即出現的時候，隱式等待將等待一段時間再查找 DOM，默認的時間是0

fromselenium importwebdriver

browser = webdriver.Chrome()

# 等待10秒

browser.implicitly_wait(10)

browser.get('https://www.zhihu.com/explore')

input = browser.find_element_by_class_name('zu-top-add-question')

print(input)

9.2、顯示等待

顯式等待指定某個條件，然後設置最長等待時間。如果在這個時間還沒有找到元素，那麼便會拋出異常了。

fromselenium importwebdriver

fromselenium.webdriver.common.by importBy

fromselenium.webdriver.support importexpected_conditions asEC

fromselenium.webdriver.support.wait importWebDriverWait

browser = webdriver.Chrome()

browser.get('https://www.taobao.com/')

# 顯示等待10s

wait = WebDriverWait(browser, 10)

# 等待直到元素加載出

input = wait.until(EC.presence_of_element_located((By.ID, 'q')))

# 等待直到元素可點擊

button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '.btn-search')))

print(input, button)

title_is 標題是某內容

title_contains 標題包含某內容

presence_of_element_located 元素加載出，傳入定位元組，如(By.ID, 'p')

visibility_of_element_located 元素可見，傳入定位元組

visibility_of 可見，傳入元素對象

presence_of_all_elements_located 所有元素加載出

text_to_be_present_in_element 某個元素文本包含某文字

text_to_be_present_in_element_value 某個元素值包含某文字

frame_to_be_available_and_switch_to_it frame加載並切換

invisibility_of_element_located 元素不可見

element_to_be_clickable 元素可點擊

staleness_of 判斷一個元素是否仍在DOM，可判斷頁面是否已經刷新

element_to_be_selected 元素可選擇，傳元素對象

element_located_to_be_selected 元素可選擇，傳入定位元組

element_selection_state_to_be 傳入元素對象以及狀態，相等返回True，否則返回False

element_located_selection_state_to_be 傳入定位元組以及狀態，相等返回True，否則返回False

alert_is_present 是否出現Alert

10、前進後退

importtime

fromselenium importwebdriver

browser = webdriver.Chrome()

browser.get('https://www.baidu.com/')

browser.get('https://www.taobao.com/')

browser.get('https://www.python.org/')

browser.back()

time.sleep(1)

browser.forward()

browser.close()

11、Cookies

fromselenium importwebdriver

browser = webdriver.Chrome()

browser.get('https://www.zhihu.com/explore')

# 獲得cookies

print(browser.get_cookies())

# 添加cookie

browser.add_cookie({'name': 'name', 'domain': 'www.zhihu.com', 'value': 'germey'})

print(browser.get_cookies())

# 刪除所有cookies

browser.delete_all_cookies()

print(browser.get_cookies())

12、選項卡管理

importtime

fromselenium importwebdriver

browser = webdriver.Chrome()

browser.get('https://www.baidu.com')

# 打開一個選項卡

browser.execute_script('window.open()')

print(browser.window_handles)

# 選擇第二個選項卡

browser.switch_to_window(browser.window_handles[1])

browser.get('https://www.taobao.com')

time.sleep(1)

browser.switch_to_window(browser.window _handles[0])

browser.get('https://python.org')

13、異常處理

fromselenium importwebdriver

fromselenium.common.exceptions importTimeoutException, NoSuchElementException

browser = webdriver.Chrome()

try:

browser.get('https://www.baidu.com')

exceptTimeoutException:

print('Time Out')

try:

browser.find_element_by_id('hello')

exceptNoSuchElementException:

 print('No Element')

finally:

browser.close()

本文分享自微信公衆號 - 十點數據（crawler-small-gun）。
如有侵權，請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”，歡迎正在閱讀的你也加入，一起分享。