PhantomJS:无界面的浏览器
Selenium: 可以根据我们的指令,让浏览器自动加载页面,获取需要的数据,甚至页面截屏,或者判断网站上某些动作是否发生。Selenium 自己不带浏览器,不支持浏览器的功能,它需要与第三方浏览器结合在一起才能使用。但是我们有时候需要让它内嵌在代码中运行,所以我们可以用一个叫 PhantomJS 的工具代替真实的浏览器。
文档地址:http://selenium-python.readthedocs.io/index.html
# 导入 webdriver from selenium import webdriver # 要想调用键盘按键操作需要引入keys包 from selenium.webdriver.common.keys import Keys # 调用环境变量指定的PhantomJS浏览器创建浏览器对象 driver = webdriver.PhantomJS() # 如果没有在环境变量指定PhantomJS位置# driver = webdriver.PhantomJS(executable_path="./phantomjs")) # get方法会一直等到页面被完全加载,然后才会继续程序,通常测试会在这里选择 time.sleep(2) driver.get("http://www.baidu.com/") # 获取页面名为 wrapper的id标签的文本内容 data = driver.find_element_by_id("wrapper").text # 打印数据内容 print data # 打印页面标题 "百度一下,你就知道 "print driver.title # 生成当前页面快照并保存 driver.save_screenshot("baidu.png") # id="kw"是百度搜索输入框,输入字符串"长城" driver.find_element_by_id("kw").send_keys("长城") # id="su"是百度搜索按钮,click() 是模拟点击 driver.find_element_by_id("su").click() # 获取新的页面快照 driver.save_screenshot("长城.png") # 打印网页渲染后的源代码 print driver.page_source # 获取当前页面Cookie print driver.get_cookies() # ctrl+a 全选输入框内容 driver.find_element_by_id("kw").send_keys(Keys.CONTROL,'a') # ctrl+x 剪切输入框内容 driver.find_element_by_id("kw").send_keys(Keys.CONTROL,'x') # 输入框重新输入内容 driver.find_element_by_id("kw").send_keys("atguigu") # 模拟Enter回车键 driver.find_element_by_id("su").send_keys(Keys.RETURN) # 清除输入框内容 driver.find_element_by_id("kw").clear() # 生成新的页面快照 driver.save_screenshot("atguigu.png") # 获取当前url print driver.current_url # 关闭当前页面,如果只有一个页面,会关闭浏览器# driver.close() # 关闭浏览器 driver.quit()
2.页面操作大体内容
# 获取id标签值 element = driver.find_element_by_id("passwd-id") # 获取name标签值 element = driver.find_element_by_name("user-name") # 获取标签名值 element = driver.find_elements_by_tag_name("input") # 也可以通过XPath来匹配 element = driver.find_element_by_xpath("//input[@id='passwd-id']")
- 关于元素的选取,有如下的API 单个元素选取
# 定位UI元素 (WebElements) find_element_by_id find_elements_by_name find_elements_by_xpath find_elements_by_link_text find_elements_by_partial_link_text find_elements_by_tag_name find_elements_by_class_name find_elements_by_css_selector
- 鼠标动作链
# 导入 webdriver #导入 ActionChains 类 from selenium.webdriver import ActionChains # 鼠标移动到 ac 位置 ac = driver.find_element_by_xpath('element') ActionChains(driver).move_to_element(ac).perform() # 在 ac 位置单击 ac = driver.find_element_by_xpath("elementA") ActionChains(driver).move_to_element(ac).click(ac).perform() # 在 ac 位置双击 ac = driver.find_element_by_xpath("elementB") ActionChains(driver).move_to_element(ac).double_click(ac).perform() # 在 ac 位置右击 ac = driver.find_element_by_xpath("elementC") ActionChains(driver).move_to_element(ac).context_click(ac).perform() # 在 ac 位置左键单击hold住 ac = driver.find_element_by_xpath('elementF') ActionChains(driver).move_to_element(ac).click_and_hold(ac).perform() # 将 ac1 拖拽到 ac2 位置 ac1 = driver.find_element_by_xpath('elementD') ac2 = driver.find_element_by_xpath('elementE') ActionChains(driver).drag_and_drop(ac1, ac2).perform()
5 . 下拉菜单的操作(导入select类)
# 导入 Select 类 from selenium import webdriver from selenium.webdriver.support.ui import Select driver = webdriver.Chrome() driver.get("http://127.0.0.1:8080") # 找到 name 的选项卡 select = Select(driver.find_element_by_name('status')) #根据位置下标 # select.select_by_index(1) #根据值找到对应的选择 # select.select_by_value("3") #根据显示值找到对应的选择 select.select_by_visible_text("审核不通过")
- 页面切换
driver.switch_to.window("window name")
- 操作页面的前进和后退
driver.forward() #前进 driver.back() # 后退
- 页面等待
显式等待是等待特定的时间,隐式等待是指定某一条件直到这个条件成立时继续执行。
8.1 隐式等待比较简单,就是简单地设置一个等待时间,单位为秒
from selenium import webdriver driver = webdriver.Chrome() driver.implicitly_wait(10) # seconds driver.get("http://www.xxxxx.com/loading")
8.2 显式等待指定某个条件,然后设置最长等待时间。如果在这个时间还没有找到元素,那么便会抛出异常了
from selenium import webdriver from selenium.webdriver.common.by import By# WebDriverWait 库,负责循环等待 from selenium.webdriver.support.ui import WebDriverWait# expected_conditions 类,负责条件出发 from selenium.webdriver.support import expected_conditions as EC driver = webdriver.Chrome() driver.get("http://www.xxxxx.com/loading") try: # 页面一直循环,直到 id="myElement" 出现 element = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.ID, "myElement"))) finally: driver.quit()
网站模拟登录豆瓣网
from selenium import webdriver import time # 创建一个浏览器客户端,并且指定配置 # 如果是PhantomJS做浏览器客户端还要设置路径 # driver = webdriver.PhantomJS(executable_path="/usr/local/bin/phantomjs") driver = webdriver.Chrome() driver.get("https://www.douban.com/") time.sleep(1) driver.save_screenshot("豆瓣首页.png") #输入账号 driver.find_element_by_id("form_email").send_keys("username") #输入密码 driver.find_element_by_name("form_password").send_keys("password") #保存验证码的图片 driver.save_screenshot("验证码.png") #输入验证码 check_code = input("请输入验证码:") print(r"验证码是多少:%s" % check_code) driver.find_element_by_id("captcha_field").send_keys(check_code) #点击登录按钮 driver.find_element_by_xpath("//input[@class='bn-submit']").click() #休眠一下等待登录成功 time.sleep(3) #保存登录成功的快照 driver.save_screenshot("登录成功.png") #保存成功登录好的html到本地 with open("douban.html","w",encoding="utf-8") as f: f.write(driver.page_source) #退出成功 driver.quit()