原创 Python3-爬取頁面元素的幾種方法

方法一:xpath from lxml import etree import requests from requests import exceptions def get_response(url, headers=None,

原创 Python3 爬蟲-判斷 url 是否使用了CDN

原理: 已知請求 url,獲取域名,使用命令 :nslookup 域名 然後從得到的結果中去找是否有 Addresses 字段,有且該字段下 ip 地址要大於等於 2 個,即說明使用了 CDN import re from urllib

原创 Python3 爬蟲-提取請求頁面所有的真實url-BeautifulSoup

在 HTML中 <a href='xx'>  表示超鏈接,所以要是提取頁面 url 的話就是提取 ‘xx’ 方法一:find_all import urllib import requests from urllib.parse imp

原创 頁面元素定位方式:xpath----軸定位方式

following::* 表示當前節點後的所有節點 preceding::* 表示當前節點前的所有節點 following-sibling::*  表示當前節點後的所有同級節點 preceding-sibling::* 表示當前節

原创 Python爬蟲後獲取重定向url的兩種方法

方法(一) # 獲得重定向url from urllib import request # https://zhidao.baidu.com/question/681501874175782812.html

原创 python 之列表去重

方法一:list(set([xx,xx,xx])) # set是一個無需不重複元素集合{} s=[1,2,3,3,6,0,9,4] list(set(s)) [0, 1, 2, 3, 4, 6, 9] s=[‘a

原创 Python xml 讀取之 ET.parse

Python xml 讀取之 ET.parse 前一篇寫到了xml 讀取方法(一)dom.minidom,本次再介紹一種方法:ET.parse。 常用操作: tree = ET.parse(xml_path) root = tre

原创 Python 之 關於subprocess.Popen

這塊東西我不是很理解,現在只能做到會用; 下面一篇文章我覺得挺有用的,留個鏈接,方便查找: https://www.jb51.net/article/142787.htm 大家也可以看看,講的挺清楚的。  

原创 Python 正則-任意字符

[\s\S]* 或 [\w\W]* 或 [\d\D]* .* 匹配除了換行符之外的所有字符(所以作爲文檔中所有內容匹配的話不合適,因爲文檔中一定會有 '\n')  

原创 Python xml 讀取操作之 xml.dom 模塊

最近工作中需要從xml中提取數據作對比,android的manifest.xml的根節點是比較複雜的,如何精準的定位到想定位的子節點並且提取該子節點的節點名稱、屬性呢?這個問題弄得我煩惱好久,終於屢清楚了,寫此文做個例子,希望可以幫助到大

原创 Python-異常處理try(一)

平時在做自動化測試的時候,腳本里面會經常用到try和except,但是感覺好像對try的用法理解的不是很透徹,今天在這裏重新學習下,也分享給大家! 大家看一下 try 和 except 的工作原理: try:

原创 selenium-python-unittest自動化測試框架(數據和代碼完全分離)

這套框架適合使用的場景: 1、測試數據不多 2、執行人員不需要會代碼 3、看報告的時候要看執行詳細結果 工程分爲以下幾部分: 1、公用方法包-Util 2、需要調用的固定變量包-ProjectVar 3、元素路徑目錄-Con

原创 Postman(一)

postman是Chrome的插件,如何下載呢? postman下載地址:https://www.getpostman.com/ 然後皆可以安裝了,安裝還是比較簡單的,這裏就不贅述了! 後面再繼續更新。。。。

原创 selenium-Python之unittest(三)

unittest之skip skip裝飾器一共有三個 : unittest.skip(reason)—無條件跳過用例,用例不會被執行; unittest.skipIf(condition, reason)—條件爲真時,跳過該用例,用例不

原创 關於函數中要傳遞不確定性參數的方法:*args、**kwargs

函數中有*args和**kwargs的兩種參數,那麼這兩種參數是幹嘛用的呢? *args:默認是元祖形式 **kwargs:默認是字典形式 具體使用方式,見如下代碼: #encoding=utf-8 def test(name,*a