原创 解決selenium自動關閉瀏覽器
自動登錄之後，瀏覽器會閃退！！！ 查了很多別人給的方法，終於有一個有效的： #這裏！！！！實現不關閉的重點 option = webdriver.ChromeOptions() option.add_experimental_option
2021-10-14 13:45:00
77
原创 python selenium啓動配置此配置可繞過淘寶監測
import time from selenium import webdriver from pyquery import PyQuery as pq options = webdriver.ChromeOptions() # op
2021-09-29 13:42:33
原创 SqlServer同步mongo模塊
基於業務需求，需要同步業務表中的數據字典到mongo中做數據對照表，找了相關資料，最終整理如下的模塊，用於SqlServer數據同步到mongo中1. 先將SqlServer中的表結構讀取出來，並以keys的可迭代對象存儲【注：注意看一下字
2021-09-28 13:42:29
原创 Mongo批量同步數據到SqlServer
基於業務需求，由於老版本的數據之前是存儲在SqlServer中且字段經過改版都有很大的差距，需要同步mongo中的數據到SqlServer中做數據聯合計算處理1. 根據需要的數據先寫Query再進行聚合及映射處理，要先知道SqlServer
2021-09-28 13:42:29
原创 利用python+win32獲取windows中任務中所有的窗口標題
# #!/usr/bin/python3 # -*- coding: utf-8 -*- # @Time : 2021-06-15 18:06 # @Author : BruceLong # @FileName: get_win_titl
2021-06-16 13:42:31
原创 利用python+win32api獲取標題對應的窗口句柄id，並且操作爲當前活動窗口
# #!/usr/bin/python3 # -*- coding: utf-8 -*- # @Time : 2021-06-15 18:08 # @Author : BruceLong # @FileName: switch_win.p
2021-06-16 13:42:31
23
原创 adb命令模擬按鍵事件KeyCode
例子： //這條命令相當於按了設備的Backkey鍵adb shell input keyevent 4 //可以解鎖屏幕 adb shell input keyevent 82 //在屏幕上做劃屏操作，前四個數爲座標點，後
2021-03-23 13:47:27
3
原创 利用sanic有效代碼不超過10行寫一個文件訪問服務
有一天，一個同事每次打包發佈都要把app放到一個目錄中，還需要把這個打包文件再發給同事測試，這樣就很麻煩，我說好像我可以解決這個問題，當時想用nodejs的可是還不是特別熟，後來就用了剛學的sanic框架搭建了一個內網文件訪問服務。 以下是
2021-01-10 13:42:29
原创 解決scrapy中文亂碼的案例
scrapy一開始嘗試發現問題 抓包的結果 寫demo測試一下看看是什麼編碼格式 於是從網上找了一些scrapy的解決方案 又找了一些資料然後用scrapy shell執行測試 最終成功是這樣的 scrapy一開始嘗試發現問
2020-07-02 14:06:52
原创 Python處理時間序列數據
初償用Python處理時間序列的數據，碰到一些坑。以此文記錄一下，希望後來者可以少走彎路。 背景說明：我是用一個已有的csv數據表作爲原材料進行處理的。 目的：實現時間序列的可視化，及週期性的可視化。 1、碰到的第一個坑是，導入到時間數
2020-07-02 14:06:52
原创 scrapy優化內存佔用
最近發現公司的scrapy爬蟲服務運行起來之後，佔用內存持續增大，單個爬蟲爬取幾十萬網頁之後，佔用內存達到1,2個G，單臺服務器運行10個以上的爬蟲時，很快就把服務器內存耗盡了。於是着手對爬蟲進行空間性能分析及優化首先分析以下可能原因，並依
2020-04-15 14:19:21
2
原创 scrapy_redis對接布隆過濾器(Bloom Filter)
使用方式： pip3 install scrapy-redis-bloomfilter 使用的方法和Scrapy-Redis基本相似，在這裏說明幾個關鍵配置。 # 1. 替換原來的請求調度器的實現類，使用 scrapy-redis 中
2020-04-11 14:32:00
原创 Scrapy爬蟲去重效率優化之Bloom Filter的算法的對接
首先回顧一下Scrapy-Redis的去重機制。Scrapy-Redis將Request的指紋存儲到了Redis集合中，每個指紋的長度爲40，例如27adcc2e8979cdee0c9cecbbe8bf8ff51edefb61就是一個指紋，
2020-04-11 14:32:00
原创 Python-Scrapy shell 帶頭部headers請求
scrapy shell -s USER_AGENT="" request_url 就可以完成帶頭部的請求添加，如請求簡書（不帶頭部請求時403錯誤） scrapy shell -s USER_AGENT="Mozilla/5.0 (Wi
2020-04-04 14:40:19
原创 Windows下安裝MySQL詳細教程
Windows下安裝MySQL詳細教程 1、安裝包下載 2、安裝教程 （1）配置環境變量 （2）生成data文件 （3）安裝MySQL （4）啓動服務 （5）登錄MySQL （6
2020-03-24 15:37:30