python 爬蟲（一）

import urllib2
class Spider:
    '''
    爬取一個網站，定義一個Spider類
    '''
    def load_page(self,page):
        '''
        定義一個發送url請求，下載HTML源碼的成員方法，self表示當前對象
        '''
        #要請求的url地址
        url = "https://tieba.baidu.com/f?kw=%E7%8E%AF%E5%A2%83&ie=utf-8&pn="+page
        #請求頭user_agent
        user_agent = "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36"
        #創建一個字典，將請求頭中的headers中'User_Agent':對應user_agent
        headers ={'User_Agent':user_agent}
        #新建一個請求，需要將請求中的headers變量換成我們創建好的headers
        req = urllib.Request(url,headers=headers)
        #請求服務器，得到響應
        response = urllib2.urlopen(req)
        #得到響應的內容
        html = response.read()
        #防止亂碼
        new_html = html.decode("gbk").encode("utf-8")
        return new_html

#main
if __name__ == "__main__":
    #創建一個Spider對象
    myspider = Spider()
    #調用load_page()方法
    page = myspider.load_page(0)