豆瓣電影
- 分析
分析流程圖
分析結果
結果概要
注意:
請求頭一般都是先放User-Agent,如果爬取失敗再補Referer,還是失敗就再補Cookie,如果喜歡穩一點的,可以每次都加上
請求參數分析
代碼實現流程分析
先完成一次請求的抓取
再完成多次請求的爬取
總結:
循序漸進養成良好的習慣
代碼
#!/usr/bin/python3
-- coding: utf-8 --
import requests
import json
定義請求url
url = "https://movie.douban.com/j/search_subjects"
定義請求頭
headers = {
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36"
}
循環構建請求參數並且發送請求
for page_start in range(0, 100, 20):
params = {
"type": "movie",
"tag": "熱門",
"sort": "recommend",
"page_limit": "20",
"page_start": page_start
}
response = requests.get(
url=url,
headers=headers,
params=params
)
方式一:直接轉換json方法
# results = response.json()
# 方式二: 手動轉換
# 獲取字節串
content = response.content
# 轉換成字符串
string = content.decode('utf-8')
# 把字符串轉成python數據類型
results = json.loads(string)
# 解析結果
for movie in results["subjects"]:
print(movie["title"], movie["rate"])
總結
以上所述是小編給大家介紹的python裏的命名規範,希望對大家有所幫助,看下圖可免費領取python學習資料適合在校大學生,小白,想轉行,想通過這個找工作的加入。裙裏有大量學習資料,有大神解答交流問題,每晚都有免費的直播課程想要了解python或學習Python的可直接點擊鏈接即可領取相關學習福利包:小白學python:詳解python裏的命名規範