原创 namedtuple如何處理多個tuple/dict的數據?

一個很省內存的工具,其基礎類型是tuple namedtuple:       線程安全,可哈希,元組不可修改哦~(非絕對)       example:       Userprofile = ("Userprofile","name,

原创 Django真正需要加緩存的地方是...

Django真正需要加緩存的地方是     1.加載大量數據的時候,比如需要加載所有明星,或者所有信息的數據時,就可以加緩存!     2.獲取個人記錄的時候,比如你訪問了什麼東西,比如說,商品的訂單記錄,銷售記錄等等     3.獲取評

原创 記錄下django開發的一些問題

1.錯誤原因: django.core.exceptions.ImproperlyConfigured: AUTH_USER_MODEL refers to model 'users.UsersProfile' that has not

原创 盤點Python幾種pip install 資源的方式

1. 直接 pip install 資源名稱     example: pip install requests      特點: 簡單粗暴 2. Python安裝後自帶的easy_install      example: easy_i

原创 寫一下關於對svg的解密

其實很多的網站也陸陸續續開始使用非人道反爬來限制爬蟲了,常見的css反爬,字體反爬(就是頁面源碼顯示什麼亂七八糟的文字,但是在用戶面前還是顯示正常的,比如1 在源碼顯示可能是或者其他類似這樣的字符),還有svg(數字變成s

原创 asyncio+aiohttp實現的爬蟲如何查看返回的數據

是這樣的,有時候,大多時候,寫爬蟲程序的時候需要返回值的. 大家知道,協程的高併發性能是能夠提高爬蟲的效率的,好讓程序有其他的時間去執行其他的代碼. 但是我最近在猜測,如何查看爬蟲的返回值呢? 詳細代碼就不寫了,後面上貼圖吧... lo

原创 講一下我自己理解的“賦值“,“淺拷貝”,“深拷貝”

今天來講一下我自己理解的  “賦值“,“淺拷貝”,“深拷貝”        1.賦值 """= 賦值 賦值只是將a的引用賦值給了b""" #a = [1,2,3,[4,5]] # b = a # b.append(6) # print(

原创 說一下自己理解的__new__()

__new__() 在__init__()之前使用,__new__()決定__init__()如何去進行類屬性的定義以及對於類屬性的一些變動! 舉個很簡單的例子,就比如你能自定義自己生的孩子的屬性!你自己能自定義的這個操作就是__new_

原创 當你開啓mitmproxy,想要獲取證書時出現"If you can see this, traffic is not passing through mitmproxy"的解決方案

1.首先下載一個  這個玩意,來對google瀏覽器進行相應的配置! 我推薦用google!   首先看下配置方式: 配置完畢點擊應用選項 2.啓動的你mitmproxy 如果是windows 則啓動 mitmweb 即可!這一點是作者

原创 對於爬蟲遇到的JS渲染的問題的一些解決方法

對於爬蟲遇到的一些關於JS渲染的解決方法: 1.動用動態技術           Selenium+PhantomJS或者其他的一些動態框架 2.Splash:        我沒用過,所以不好評價 3.自己動用Google Chrome

原创 scrapy的ImagesPipeline下面的file_path函數爲什麼會阻止results的輸出?

scrapy的ImagesPipeline下面的file_path函數爲什麼會阻止results的輸出? file_path()在ImagesPipeline上是修改文件的類型以及名稱等等操作,但是我最近發現,我用這個file_path函

原创 Python各個模塊之間是否有壓力?如果有,如何解決?

其實我最近在弄免費代理池的時候在想一個事情,那就是代理池肯定是有很多模塊進行分工合作的. 問題就來了,如果模塊A調用了模塊B裏面的一些方法來獲取數據,然後模塊C又調用了模塊A來對獲取的數據進行處理.那麼模塊之間是否有壓力?如果有壓力,那麼

原创 我弄了一個下午的裝飾器....

用裝飾器去設置mysql的連接. import pymysql from pymysql.err import OperationalError def cha(db):#這個db就是連接mysql的那個db def dec

原创 Content-Type: application/json的坑

Content-Type: application/json; charset=utf-8 首先就是json,你提交一個表單,肯定會遇到類似於json的,也就是 Content-Type:application/json; charset

原创 兩個實驗告訴你,Python的多線程爲什麼是雞肋!

線程代碼: import threading import time Lock = threading.Lock() def worker(i): Lock.acquire() print(threading.curr