原创 windows下使用pip install出現SSLError的解決辦法

在windows下使用pip安裝第三方庫試,報SSLError, pip is configured with locations that require TLS/SSL, however the ssl module in Pytho

原创 python3安裝mysqlclient,解決django使用pymysql報錯的問題

1.起因 在django中爲了使用MySQL,一般是在項目目錄下的__init__.py中添加 import pymysql pymysql.install_as_MySQLdb() # 使用pymysql代替mysqldb連接數據庫

原创 python boto和boto3操作bucket

  boto操作 import datetime import boto.s3.connection from boto.s3.key import Key conn = boto.connect_s3( aws_access_

原创 golang判斷map中key是否存在的方法

import "fmt" func main() { dict := map[string]int{"key1": 1, "key2": 2} value, ok := dict["key1"] if ok {

原创 mysql正則匹配中文時存在的問題

      可以看到,目前正則匹配字母沒問題,c出現1次,2次,3次匹配的結果都是正常的   接下來我們看看匹配中文的效果     可以看到,當匹配連續出現歪時,結果就開始不正常了 然後我去看了下mysql的中文文檔中關於正則表達式的

原创 windows系統中cmd和pycharm終端 git log 中文顯示亂碼的解決辦法

方式1: 臨時解決,在cmd終端中輸入  set LESSCHARSET=utf-8 然後再使用git log,可以發現亂碼已經解除  以上命令只能在當前窗口生效,重新打開,又復原了。   方法2:(推薦) 永久生效 在環境變量中設置 

原创 shell中多行註釋的方法

#!/bin/bash echo "1" echo "2" echo "3" echo "4" echo "5" echo "6" 上面這段shell會依次打印1~6 假設我們想只打印5和6,想將1-4註釋掉,除了正常的做法

原创 python3 使用flask_socketio實時推送服務器狀態(top)和 日誌信息(tail)

使用python3和flask_socketio ,實現服務器上的tail和top命令的實時展示,將結果實時展示在web上 tail在頁面上限制了顯示長度,自動滾動顯示最新數據 效果如下: tail效果       top效果    

原创 分佈式系統ID的幾種生成辦法

  前言 一般單機或者單數據庫的項目可能規模比較小,適應的場景也比較有限,平臺的訪問量和業務量都較小,業務ID的生成方式比較原始但是夠用,它並沒有給這樣的系統帶來問題和瓶頸,所以這種情況下我們並沒有對此給予太多的關注。但是對於大廠的那

原创 python 將帶有TZ的UTC時間字符串,轉換成本地時間

整個地球分爲二十四時區,每個時區都有自己的本地時間。在國際無線電通信中,爲統一而普遍使用一個標準時間,稱爲通用協調時(UTC, Universal Time Coordinated)。UTC與格林尼治平均時(GMT, Greenwich M

原创 fake_useragent.json

{ "browsers": { "chrome": [ "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko)

原创 python requests模塊session的使用建議及整個會話中的所有cookie的方法

話不多說,直接上代碼 測試代碼 服務端 下面是用flask做的一個服務端,用來設置cookie以及打印請求時的請求頭 # -*- coding: utf-8 -*- from flask import Flask, make_respons

原创 python執行js時,遇到document、window等對象的解決辦法

當我們分析爬蟲時,有時候會遇到一些加密參數,這個時候就需要我們逆向分析js python執行js有一些第三方庫 https://www.jianshu.com/p/2da6f6ad01f0 因爲我用的Python3,所以沒用PyV8(安裝網

原创 centos下保留python2安裝python3

1. 安裝依賴環境 # yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdb

原创 chrome各版本下載

https://www.chromedownloads.net/chrome64win/