原创 docker mitmproxy整理
**docker mitmproxy整理** docker mitmproxy 安裝： docker pull mitmproxy/mitmproxy docker 運行mitmpro
2020-07-03 15:38:24
27
原创 對於頁面加載完成狀態的檢測的理解
問題：在進行源碼下載任務時經常遇到頁面由於異步加載，導致頁面加載不完全的問題 方法總結： 1： ReadyState屬性，一般情況下當ReadyState變成READYSTATE_COMP
2020-06-14 22:45:17
原创 控制元素滑入可視區域
selenium 控制元素滑入可視區域: js = 'arguments[0].scrollIntoView()' # 默認是ture 頁面發送滾動，使element的頂部與視圖(容器)頂部對齊 js = 'arguments[0]
2020-06-14 22:45:17
1
原创 chromedriver(selenium)以手機模擬器方式打開wap頁面
直接指定UserAgent 錯誤！ # self.options.add_argument('user-agent="Mozilla/5.0 (Linux; U; Android 8.1.0; zh-cn; BLA-AL00 Bui
2020-06-14 22:45:17
15
原创 selenium chromedriver 無頭瀏覽器檢測
JS常用的檢測無頭瀏覽器的方法 1.User-Agent: 最常見的一種判斷無頭瀏覽器的方法。 檢查User-Agent。在linux計算機裏 Chrome Version 59 無頭瀏覽器的UserAgent 的值是
2020-06-14 22:45:17
1
原创 Docker centos7 安裝 Nodejs
7.1 首先 獲取centos7 鏡像： docker search centos 7.2 選擇版本（官方），拉取鏡像 docker pull centos:7 7.3 進入到centos7 容器中（啓動centos7） dock
2020-06-14 22:45:17
原创 頭條網站selenium 無法模擬下滑
經過上次對與頭條進行分析過後，發現_signature的規律不唯一，此研究的目的是爲了找到問題的根本。 現將分析步驟總結如下： 當使用webdriver 執行js腳本，模擬下滑操作時， “$_cdc....” in document 爲
2020-06-14 22:45:17
1
原创 使用 scrollTop 判斷是否下滑到底 出錯原因（scrollTop 獲取到的數據是小數）
近日有一個尋求需要判斷是否已經下滑到底 代碼如下： is_next_flag = 1; var inner_scroll= document.getElementsByClassName("ReactVirtualized__Grid
2020-06-14 22:45:17
原创 Genymotion 各對應版本
安卓版本 代號 Genymotion-ARM-Translation GApps 8.0 – 8.1 Oreo奧利奧 ARM_Translation_Oreo.zip 7.0 – 7.1.2 N
2020-06-14 22:45:17
原创 window 安裝mysql免安裝整理
1. 下載window 環境下的mysql免安裝zip包，並解壓到本地。 然後以管理員身份打開cmd，並進入到存儲mysql文件的目錄下： 1.cd進入到mysql文件夾的bin目錄下： 2. 然後在cmd中輸入：msyqld --in
2020-06-14 22:45:17
原创 Android xposed Hook 初探01
參考資料 https://blog.csdn.net/qq_42229759/article/details/103066214 https://blog.csdn.net/xingkong_hdc/article/details/825
2020-04-22 15:18:54
原创 selenium 去掉 webdriver 屬性方法
針對selenium的webdriver 屬性， 去除webdriver屬性如下： self.driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
2020-02-26 19:10:42
原创 Mitmproxy 配置二級代理
做爬蟲時常遇到需要切換代理的情況，mitmproxy 對python有很好的支持，可以通過python腳本自定義二級代理的代理方式。 第一步 命令行啓用upstream模式 注： 只有在一開始啓動了upstream 模式， 後續纔可以進行
2020-02-20 15:44:29
原创 python3 selenium Chromedriver 添加cookies
很多網站需要先模擬登錄然後才能獲取到數據，爬取數據是不能每次都登錄一遍，通常情況下網站對於登錄接口會有檢測，也會限制頻率，當到達一定頻率以後就會出現驗證碼，或者第二登錄頁(第二種登錄頁面（元素定位發生改變)的情況。 通常的做法是指定一個週
2020-02-20 15:44:28