原创 python sorted函數自定義排序
一般使用sorted函數的時候，直接會將key設置爲一個lambda表達式的匿名函數。這樣一般可以直接對字典的key或者value進行排序。 但是今天刷leetcode的時候，需要對字典value的數組進行逐一排序，當value一
2020-06-29 02:23:05
1
原创 Python過濾字符串中的unicode亂碼
最近獲取到的字符串裏除了正常的漢字字符外，有一些unicode的亂碼在裏面顯示異常。 我是憨憨 因此想要過濾掉這些顯示異常的字符。 str = eval(str.__repr__()) 可以通過repr獲取raw stri
2020-06-29 02:23:05
12
原创 uiautomatorviewer報錯：java.lang.reflect.InvocationTargetException
在使用uiautomatorviewer對設備進行截屏時，出現異常 Unexpected error while obtaining UI hierarchy java.lang.reflect.InvocationTargetE
2020-06-29 02:22:55
1
原创 Scrapy logging日誌重複輸出的解決方法
現狀： 通過CrawlerProcess啓動Scrapy後，因爲外部配置了logging模塊，造成在scrapy內輸出日誌時，會有重複日誌被打印出來。通過日誌的格式可以確定是由不同的handler進行輸出的。 如果是完全在scr
2020-06-29 02:22:55
7
原创 在linux服務器上搭建mitmproxy
pip install mitmproxy mitmdump --listen-host 0.0.0.0 -p 5555 如果服務器與手機不在同一局域網，確定手機能連通服務器的情況下，啓動mitmproxy時增加–set blo
2020-06-29 02:22:55
4
原创 【爬蟲】Python http.client能拿到數據而requests狀態碼異常
遇到一個case，抓包之後丟進postman無法正常拿到數據，使用curl和requests時也無法正常取到數據。而java，go，python的http.client庫可以正常取到數據。 當url和headers相同時，不同庫的
2020-06-29 02:22:55
原创 【爬蟲】瓜子二手車反爬狀態碼203破解
當發送請求到瓜子二手車的主頁時，發現返回狀態碼203。從瀏覽器進行訪問時正常，發現只有帶cookie時才能正常訪問瓜子的頁面。 直接上結論，當瀏覽器不帶cookie訪問網頁時，會返回一段html自動執行裏面的javascript
2020-05-31 04:02:52
原创 【Redis】Redis持久化的兩種方式
redis的兩種持久化方式，快照和只追加文件（aof），快照保存數據，AOF保存每次執行的命令。 配置文件中的dir 選項指定了快照文件和aof文件的保存位置。 【快照】 快照持久化的命令：bgsave和save，通過save命令
2020-05-31 04:02:52
原创 抖音_signature參數分析
以抖音作者頁爲例：https://www.iesdouyin.com/share/user/xxx 從接口可以得到作者發佈的視頻列表： https://www.iesdouyin.com/web/api/v2/aweme/post
2020-05-31 04:02:52
原创 inode使用率過高的解決方法
週末因爲一個鳥程序的日誌每條都瘋狂輸出到一個文件，直接把inode塞滿了。記一下排查方法和刪除大量文件所做的一些措施。 問題排查 for i in /*; do echo $i; find $i | wc -l; done
2020-05-31 04:02:41
原创 （一）Scrapy的命令行
最近一直都是在用自己寫的抓取框架做爬蟲，還是系統的整理一下Scrapy相關的知識，做一個old school 的爬蟲。 爬蟲的整個流程，就是發送網絡請求，處理返回的內容兩個過程。然後我們將這個流程細化；如何準備需要訪問的鏈接，需要
2020-05-31 04:02:41
原创 scrapy請求頭首字母大寫的解決方法
背景：同樣的url, headers, payload進行post請求，requests可以正確的拿到數據，而scrapy則無法通過驗證。 通過抓包發現，scrapy所發出的請求頭首字母均爲大寫，在postman 中將請求頭的各個
2020-02-24 07:36:27
原创 Python去掉正常字符串中的unicode亂碼
最近獲取到的字符串裏除了正常的漢字字符外，有一些unicode的亂碼在裏面顯示異常。 我是憨憨 因此想要過濾掉這些顯示異常的字符。 str = eval(str.__repr__()) 可以通過repr獲取raw stri
2019-08-02 06:18:29
67
原创 brew cask install java8 失敗
用網上看到的命令，結果brew cask 找不到指定版本 brew tap caskroom/versions brew cask install java8 Error: Cask ‘java8’ is unavailable
2019-06-11 14:07:30
2