原创 自動化測試工具 - uiautomator2

前言 之前有一篇appium 自動化的介紹 (https://blog.csdn.net/weixin_42277380/article/details/102911460) 這裏還有另外一個自動化測試工具,是一個大佬改寫,本人用過很是牛

原创 插眼 - 大數據學習路線

前言 百度百科:大數據(big data),指無法在一定時間範圍內用常規軟件工具進行捕捉、管理和處理的數據集合,是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。 總之,對大數據的概念並沒有

原创 python 的 csv模塊記錄

csv追加數據,但表頭不重複追加 # newline的作用是防止每次插入都有空行     with open("test.csv", "a+", newline='',encoding='utf-8') as csvfile:    

原创 Scrapyd + Gerapy部署搭建爬蟲管理系統(下)

對接上篇scrapyd安裝配置 :https://blog.csdn.net/weixin_42277380/article/details/99546924 本片對Gerapy進行詳細講解 Gerapy安裝 GitHub:https:/

原创 開發需知 - Docker容器

概述 Docker 是一個開源的應用容器引擎,讓開發者可以打包他們的應用以及依賴包到一個可移植的鏡像中,然後發佈到任何流行的Linux或Windows 機器上,也可以實現虛擬化。容器是完全使用沙箱機制,相互之間不會有任何接口。      

原创 個人總結 - 前端開發常用css樣式

邊框相關屬性  width                寬  height               高  border-width     邊框寬度  border-style      邊框樣式  border-c

原创 Python協程的引入與原理分析 - IO多路複用

1、概念 協程,又稱微線程,纖程。英文名Coroutine 協程的概念應該是從進程和線程演變而來的,他們都是獨立的執行一段代碼,但是不同是線程比進程要輕量級,協程比線程還要輕量級。多線程在同一個進程中執行,而協程通常也是在一個線程當中執行

原创 Scrapyd + Gerapy部署搭建爬蟲管理系統(上)

在公司裏面,除了會要寫爬蟲,還要會知道如何搭建爬蟲管理系統~ GitHub:https://github.com/scrapy/scrapyd API 文檔:http://scrapyd.readthedocs.io/en/stable/

原创 個人總結 - apk反編譯破解記錄

對於爬蟲破解app加密的個人記錄~ 通過Hook ClassLoader的loadClass方法,反射調用getDex方法取得Dex(com.android.dex.Dex類對象),再將裏面的dex寫出,代碼十分簡單,就hook了一個方法

原创 異步IO爬蟲 - asyncio、aiohttp

在執行一些 IO 密集型任務的時候,程序常常會因爲等待 IO 而阻塞。比如在網絡爬蟲中,如果我們使用 requests 庫來進行請求的話,如果網站響應速度過慢,程序一直在等待網站響應,最後導致其爬取效率是非常非常低的。 爲了解決這類問題,

原创 自動化測試工具 - Appium

一、簡單介紹 一、測試對象 appium 是一個自動化測試開源工具,支持iOS和 Android平臺上的原生應用,web應用和混合應用。  ● 移動原生應用:單純用ios或者android開發語言編寫的、針對具體某類移動設備、可直接被安裝

原创 基於Python的OCR圖像識別

前言 由於目前做的項目裏面有些地方的需要用到圖像文字識別,因此在此總結下,以下方法適合新手 1、使用python的pytesseract庫 主要是安裝庫,比較簡單,直接使用 pip install 安裝即可;另外,如果進行中文識別,需要下

原创 記:解決 RuntimeError: atx-agent recover failed 和 requests.exceptions.ProxyError

今天運行  uiautomator2  突然用不了,一直顯示報錯:RuntimeError: atx-agent recover failed 然後cmd 輸入:adb devices,查詢安卓設備,發現設備正常連接,心裏就很納悶了 然

原创 由 method may be static 引發的 Python PEP8 總結

 前言 最近在進行Python開發的時候會遇到這個問題:PyCharm:method may be static,沒啥問題,但一直影響代碼美觀,如下圖 這是因爲我們在類中所聲明的方法沒有使用類中的變量。它告訴我們這是一個靜態方法,並且可

原创 總結:Python 圖像處理

目錄 1、灰度化功能 2、反轉功能 3、通道分離功能 4、噪音、濾波功能 5、高斯雙邊濾波功能 6、均值偏移濾波功能 7、圖像二值化功能 8、Canny邊緣檢測功能 9、直線檢測功能 10、圓形檢測功能 11、輪廓發現功能 12、人臉檢測