python爬蟲:爬取豆瓣網電影信息

豆瓣網：

代碼如下：

import requests
import urllib.request
if __name__ == "__main__":

    #指定ajax-get請求的url（通過抓包進行獲取）
    url = 'https://movie.douban.com/j/new_search_subjects?sort=U&range=0,10&tags=&start=0&genres=%E5%8A%A8%E4%BD%9C'

    #定製請求頭信息，相關的頭信息必須封裝在字典結構中
    headers = {
        #定製請求頭中的User-Agent參數，當然也可以定製請求頭中其他的參數
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36',
    }
​import requests
import urllib.request
if __name__ == "__main__":

    #指定ajax-get請求的url（通過抓包進行獲取）
    url = 'https://movie.douban.com/j/new_search_subjects?sort=U&range=0,10&tags=&start=0&genres=%E5%8A%A8%E4%BD%9C'

    #定製請求頭信息，相關的頭信息必須封裝在字典結構中
    headers = {
        #定製請求頭中的User-Agent參數，當然也可以定製請求頭中其他的參數
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36',
    }

    #定製get請求攜帶的參數(從抓包工具中獲取)
    param = {
       ' sort':' U',
        'range': '0,10',
        'tags': '',
        'start': '0',
        'genres': '動作',
    }
    #發起get請求，獲取響應對象
    response = requests.get(url=url,headers=headers,params=param)

    #獲取響應內容：響應內容爲json串
    print(response.text)

顯示結果：