python實戰

這個實戰內容包含，selenium、pyquery、re、pymongo
pymongo安裝去這裏：http://blog.51cto.com/13155409/2125020
實戰抓取淘寶美食信息並且存入MongoDB數據庫中

實現源碼如下：

import pymongo
from selenium import webdriver
import re
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from pyquery import PyQuery as pq

browser = webdriver.Chrome()         #導入瀏覽器驅動對象
wait = WebDriverWait(browser, 10)    #設置瀏覽器等待時間

client = pymongo.MongoClient('192.168.10.15')   #創建一個客戶端對象
db = client['taobao']   #設置數據庫名，會自動建立

def search():
        '''
        函數主要功能是：通過webdriver.Chrome打開淘寶網頁，並對“美食”這個關鍵詞進行搜索。
        :return: 返回網頁的響應碼
        '''
        browser.get('https://www.taobao.com')
        input = wait.until(
                EC.presence_of_element_located((By.CSS_SELECTOR,'#q'))
        )
        submit =wait.until(
                EC.element_to_be_clickable((By.CSS_SELECTOR, '#J_TSearchForm > div.search-button > button'))
        )
        input.send_keys('美食')   #輸入搜索的關鍵詞
        submit.click()
        return browser.page_source

def trun_page(page):
        '''
        該函數的功能是：實現翻頁
        :param page: 通過search頁面搜索到的內容頁數，返回到主函數，然後通過主函數傳遞到此處
        :return: 已經獲得了第一頁的內容了，第二頁開始就從這裏開始反覆調用
        '''
        index = wait.until(
                EC.presence_of_element_located((By.CSS_SELECTOR,'#mainsrp-pager > div > div > div > div.form > input'))
        )
        submit = wait.until(
                EC.element_to_be_clickable((By.CSS_SELECTOR,'#mainsrp-pager > div > div > div > div.form > span.btn.J_Submit'))
        )
        index.clear()   #清除輸入框的內容
        index.send_keys(page)   #輸入page頁碼
        submit.click()   #點擊跳轉的按鈕
        get_products(browser.page_source)

def get_products(html):
        wait.until(
                EC.presence_of_element_located((By.CSS_SELECTOR,'#mainsrp-itemlist .items .item'))
                             )
        html = pq(html)    #使用pyquery解析html代碼
        doc = html('#mainsrp-itemlist .items .item').items()  #通過item產生一個generator類型，使用for循環遍歷
        for item in doc:
                product={
                        "picture": item.find('.pic .img').attr('src'),
                        'name': item.find('.row.title').text().replace('\n',''),
                        'price':item.find('.price').text().replace('\n',''),
                        'deal':item.find('.deal-cnt').text()[:-3],
                        'location':item.find('.location').text()
                }
                print(product)
                #save_to_mongodb(product)
        return(html)

def save_to_mongodb(result):
        '''
        這個函數主要用於把每頁的信息寫入到MongoDB數據庫中
        '''
        try:
                if db['product'].insert(result):   #創建一個product的集合，類似於mysql中的表，然後插入數據
                                print('存儲到MongoDB成功')
        except Exception:
                print('存儲到MongoDB出錯')

def main():         #定義主函數
        # 調用搜索函數 (對關鍵詞搜索，本文中是以“美食”在淘寶搜索)
        html = search()

        # 調用該函用以獲取單頁的所有產品的信息
        html = get_products(html)

        #通過上面get_products()返回經過pyquery解析後的html代碼，用於獲取總頁數
        total = html('.total').text()
        total = int(re.search('(\d+)',total).group(1))
        print(total)  #打印出總頁數

        #對頁數進行循環，這裏是從 2 開始，因爲前面已經獲取一次了
        for page in range(2,total):
                #下面函數主要用於網頁翻頁
                trun_page(page)

if __name__ == "__main__":
        main()