原创 Django admin 添加 自定義 頁面 不帶 數據 模型 models

一、先確認admin該有的都有 1.urls.py from django.contrib import admin urlpatterns = [ url(r'^admin/', include(admin.site.u

原创 macOS pip 安裝 mysqlclient 報錯

ld: library not found for -lssl clang: error: linker command failed with exit code 1 (use -v to see invocation) err

原创 python爬蟲 僞裝 使用 mitmproxy 通過js驗證

是否爬蟲可以通過如下的方式檢測出來 爬蟲如何通過https://intoli.com/blog/not-possible-to-block-chrome-headless/chrome-headless-test.html的檢測

原创 redis 常用命令和常用功能(過期、內存淘汰,發佈訂閱、監控、日誌、事務等等)

一、對key的操作命令 1. DEL 刪除已存在的鍵。不存在的 key 會被忽略 2. DUMP 如果 key 不存在,那麼返回 nil 。 否則,返回序列化之後的值 3. EXISTS 若 key 存在返回 1 ,否則返回

原创 redis 冰山一角

redis命令參考手冊:http://redisdoc.com/ redis相關學習視頻資料:https://zhuanlan.zhihu.com/p/28073983 一、安裝 2. Unix和MacOSX平臺 Unix和Mac

原创 python3 requests https 請求 報 SSLContext 相關遞歸錯誤

一、錯誤信息: 2019-11-19 15:14:40 : Provider before requests .post 2019-11-19 15:14:41 : error infoTraceback (most recent

原创 python 類 __slots__ 可限制添加屬性和優化減少內存佔用

一、如何限制屬性 1.給類或者示例添加屬性和方法 正常情況下,當我們定義了一個class,創建了一個class的實例後,我們可以給該實例綁定任何屬性和方法,對於class本身也是一樣的 2.使用__slots__ 如果先要對cla

原创 python 圖片、文件 通過 request header 多線程下載

寫爬蟲過程中發現圖片下載比較慢,遂使用多線程下載來提速 import threading import requests class MulThreadDownload(threading.Thread): def _

原创 macOS home-brew安裝 舊版本 python

https://stackoverflow.com/questions/51125013/how-can-i-install-a-previous-version-of-python-3-in-macos-using-homebr

原创 python 重寫logging.Handler的emit 實現日誌輸出到 redis 數據庫

python中想要把日誌輸出到redis,可以寫一個類繼承logging.Handler,並重寫emit方法來實現 import logging import datetime from redis import StrictRe

原创 Redis 主從複製(主備切換,哨兵機制)

redis集羣原理及搭建與使用:https://juejin.im/post/5ad54d76f265da23970759d3 一、主從架構 在Redis中,用戶可以通過執行SALVEOF命令或者設置salveof選項,讓一個服務

原创 redis 數據結構及常見命令

一、概述 Redis有5種數據結構,本文整理下數據結構都是什麼,包含了什麼常用命令,以及能用這些數據結構處理哪些類型的特性和數據。 目前爲止,我們所知道的Redis構成僅包括命令、關鍵字和值,還沒有接觸到關於數據結構的具體概念。當

原创 selenium webdriver chrome 獲取 文件 下載 鏈接 (js生成的鏈接,點擊事件發送請求並彈窗的那種)

import json from selenium import webdriver from selenium.webdriver.chrome.options import Options from selenium.webd

原创 爬蟲 headless 訪問 知道創宇 加速樂 CDN 網站

通過 requests.get 直接請求網站首頁,返回 521 錯誤提示碼,返回結果是js代碼。這是採用加速樂反爬技術,在訪問前先判斷客戶端的cookie是否正確,如果不正確,返回521狀態碼和一段js代碼,並且進行set-coo

原创 1.6 在字典中將鍵映射到多個值上

字典是一種關聯容器,每個鍵都映射到一個單獨的值上,如果想讓鍵映射到多個值,需要將這多個值保存到另一個容器如列表或者集合中。要使用列表或者集合取決於應用的意圖,如果希望保留應用的插入順序就用列表,如果希望不重複就用集合。 爲了能方便