原创 centos下安裝python的虛擬環境
1.安裝python提供的虛擬環境 pip3 install virtualenv 2.安裝virtualenvwrapper pip3 install virtualenvwrapper 3.設置Linux環境變量, 每次啓動就
原创 爬蟲中時間有xx分鐘轉換成格式化
timeLen = "100分鐘" if "分鐘" in timeLen: timeLen = int(timeLen.replace("分鐘", "")) hour = str(ti
原创 linux下安裝nginx
其實這個過程和安裝python環境是一樣的 1.下載 從http://nginx.org/download/上下載相應的版本(或者wget http://nginx.org/download/nginx-1.5.9.tar.gz直接在Li
原创 Chrome 解決 安裝xpath helper工具時報錯CRX HEADER INVALID 問題
1. 把下載好的xxx.crx 的擴展名改爲 xxx.zip 2. 在地址欄輸入 chrome://extensions/,或者點擊瀏覽器左上角三個點-->更多工具-->擴展程序,進入 擴展程序 安裝界面 3. 打開 開發者模式 開關
原创 tcp斷開連接四次揮手
tcp斷開連接是經歷了四次揮手的過程 1:客戶端主動斷開連接向服務端發送:①請求標誌位(FIN),②連接序號(seq) 2:服務端收到請求後向客戶端發送:①確認請求標誌位(ACK),②確認連接序號(ack) 3:服務端還會向客戶端發送:①
原创 tcp建立連接三次握手
tcp客戶端在和服務端建立連接的過程是一個三次握手的過程: 1:客戶端連接服務端,客戶端首先要向服務端發送兩個數據:①連接請求標誌位(SYN),②連接序號(seq),可以理解爲向服務端發送了一個字典{"SYN":1,"seq":100}
原创 日誌分析之python編碼記錄
最近在公司做一個管理系統,其中有一部分功能是需要解析日誌,然後根據解析日誌的信息再針對相應接口發送請求,對比日誌分子中結果和請求後的結果,就是在對比的過程中遇到了問題,這個問題困擾了我兩天,所以在此記錄一下: 1- 首先說一下問題的原因:
原创 python之scrapy的使用和獲取標籤內部全部文本的四種方式
在使用爬蟲爬取數據的時候,經常需要獲取標籤內的文本,下面向大家介紹四種獲取文本的方式(以小說吧中的一篇帖子爲例,鏈接爲:https://tieba.baidu.com/p/5806279867): 第一步:打開終端,在指定文件夾下創建一個
原创 拆包
1,首先看一個簡單的函數fun1 def fun1(name, age, *args, **kwargs): print(name) print(age) print(args) print(kwar
原创 python淺拷貝與深拷貝總結
1,python的簡單可變數據類型,比如列表【1,2,3】 這種數據類型的淺拷貝和深拷貝都是開闢新的內存空間存儲數據, 保證了數據的獨立性 (淺拷貝) (深拷貝) 2,python中的存在嵌套的數據類型,比如【【“a”,“b”,
原创 django,mysql存儲emoji表情,utf8mb4
今天在做後臺的時候發現一個錯誤: Incorrect string value: '\\xF0\\x9F\\x90\\xA8' for column 'signature' at row 1 發現是參數裏面是一個iOS的表情,也就是系統自
原创 Python
預備知識: 空值是Python裏一個特殊的值,用None表示。None不能理解爲0,因爲0是有意義的,而None是一個特殊的空值。此外, Python還提供了列表、字典等多種數據類型,還允許創建自定義數據類型。Python的註釋以 # 開
原创 win10下安裝adb
下載adb地址 鏈接:https://pan.baidu.com/s/1XCDmrAP3FrEWD2JKdf5elQ 提取碼:r6tj 1、下載解壓後,將這五個文件拷貝到C:\Windows\System32;如圖 2、將這四個文件拷
原创 python爬蟲之網站robots協議的重要性解析-爬蟲偏方
在我抓取網站遇到瓶頸,想劍走偏鋒去解決時,常常會先去看下該網站的 robots.txt 文件,有時會給你打開另一扇抓取之門。 寫爬蟲有很多苦惱的事情,比如: 1.訪問頻次太高被限制; 2.如何大量發現該網站的 URL; 3
原创 python 之 上下文管理器
首先說一下什麼叫上下文管理器: 在python中任何實現了 __enter__() 和 __exit__() 方法的對象都可稱之爲上下文管理器, 上下文管理器對象可以使用 with 關鍵字 我們可以模擬實現一個類,讓該