原创 pymongo.errors.CursorNotFound: cursor id 1058082xxxxxxxx not found mongo索引超時
一，超時原因 數據量太大，mongo 的性能處理不過來 數據在處理過程中太耗時 二，解決方案 爲find() 函數設置 no_cursor_timeout = True，表示遊標連接不會主動關閉（需要手動關閉） items
2020-07-08 12:43:13
14
原创 通過使用sklearn決策樹，簡單練習案例分析
# 根據電影中的類型，票房，產地，預測去不去看電影 import csv from sklearn.feature_extraction import DictVectorizer from sklearn import pre
2020-07-03 22:25:51
原创 pycharm中調用函數方法自動補全p,m,c,v,F分別是什麼意思
p：parameter 參數 m：method 方法 c：class 類 v：variable 變量 F：function 函數
2020-06-16 10:11:29
2
原创 python 日誌文件配置
自己搭建的日誌文件,日常使用可以滿足了 import datetime import logging.handlers import os import logging from logging.handlers import R
2020-06-16 10:11:29
原创 關於亞馬遜各國站點的時間轉化成時間戳
傳入各國的站點名字和時間 除了日本站其他站點的評論時間和feedback時間格式一樣，日本站不同，代碼已經處理 def conduct_mon(area, dateStr): year = ""
2020-06-16 10:11:29
原创 一篇文章搞懂python圖片裁切的問題
import os import shutil from PIL import Image # 獲取path目錄下的所有文件 def get_imlist(path): return [os.path.join(p
2020-06-16 10:11:28
4
原创 如何把一個無序列表中把相同的數據形成一個新的列表
def test(list1): # 進行一個排序操作，把相同的元素排列到同樣的位置 list1 = sorted(list1) result_list = [] x = [] for i
2020-06-16 10:11:28
原创 python實現添加文字水印到圖片中間
1.環境python3 2. 需要用到的模塊或包 os(內置模塊),PIL(第三方模塊,自己安裝一下) import os from PIL import Image, ImageFont, ImageDraw def a
2020-06-16 10:11:28
原创 ElasticSearch與python交互
測試環境 ElasticSearch7.7.0 python 3.8 1. 基本查詢數據 from elasticsearch import Elasticsearch es = Elasticsearch() query =
2020-05-22 21:25:10
1
原创 安卓逆向入門
一：入門第一篇 目標app （1）如果是國內市場的軟件直接搜索找到安裝包即可 （2）如果軟件的目標市場是國外的話，就要科學上網去找一下 抓包軟件 （1）我這邊使用的是charles ，也可以選擇fiddler，mac下沒有可以直
2020-05-21 04:40:14
原创 adb鏈接模擬器
不同的模擬器的端口不一樣，所以鏈接不同的模擬器有不同的鏈接方式 不指定端口 默認adb 鏈接的是5555端口 夜神模擬器 adb connect 127.0.0.1:62001 逍遙模擬器 adb connect 127.0.0.
2020-04-29 03:30:05
原创 手動實現url去重
根據請求的url、請求方法、請求參數、請求體進行唯一標識，進行比對，由於這四個數據加到一起，內容較長，因此使用求指紋的方式來進行去重判斷。 指紋計算方法，最常用的就是md5、sha1等hash加密算法，來求指紋,找個地方保存指紋即
2019-10-25 15:17:39
原创 python實現令牌桶
import multiprocessing import time import redis from cfg import PROXY_REDIS_CFG from common import redis_pool pro
2019-06-10 15:58:03
原创 python scrapy 爬取包含iframe標籤內的數據
如圖所示： 所要提取的數據都在iframe標籤裏面的，直接用xpath提取iframe標籤裏的內容是提取不到的， 看到圖一有一個script 所有的數據都在這個js標籤內的,展開script標籤後會看到一堆js代碼，一直往下找
2019-06-10 15:58:03
4
原创 解決requsts響應的response經過etree.HTML之後代碼減少
使用方法 導入這個函數 def create_root_node(): text傳入response.test即可 from lxml import etree, html class SafeXMLParser(etree.X
2019-03-23 15:03:54