爬蟲---爬取京東的商品數據

提出問題

如何在京東商城爬取出各個商品的相關信息(價格，名稱，評價，店鋪名等等)，
比如，打開web京東網站，在搜索框輸入關鍵字：口紅；那麼商品展示列表的所有商品的信息，怎麼爬下來，怎麼保存到表格中。請實現這個功能。

 解決思路

1、打開網站，輸入關鍵字，點擊搜索按鈕
2、將右側下拉框拉到最下面，保證獲取到全部的數據
3、將每一個商品進行遍歷，把每個item中的價格，名稱，店鋪，評價數量全部獲取到
4、將獲取的信息，裝在表格中

 1 import time
 2 import pandas as pd
 3 from selenium import webdriver
 4 import requests
 5 from selenium.webdriver import Keys
 6 from selenium.webdriver.common.by import By
 7 
 8 if __name__ == '__main__':
 9     search_word = input("請輸入你要搜索的商品：")
10     page_size = int(input("請輸入你要爬取的頁數："))
11     prices, names, commits, shops = [], [], [], []
12     # 打開瀏覽器
13     driver = webdriver.Chrome()
14     driver.get("https://www.jd.com")
15     time.sleep(1)
16     # 將web網頁窗口最大化
17     driver.maximize_window()
18     # 找到搜索框
19     input_box = driver.find_element(By.ID, "key")
20     # 將搜索的字輸入到京東搜索框中
21     input_box.send_keys(search_word)
22     # 按下enter鍵
23     input_box.send_keys(Keys.ENTER)
24 
25     # range(page_size)
26     for i in range(page_size):
27         # 將下拉框拖到最下面：
28         driver.execute_script('window.scrollTo(0,document.body.scrollHeight)')
29         time.sleep(3)  # 確保在向下拖動的過程中，數據全部加載出來，加幾秒等待
30 
31         # 獲取所有的li
32         good_lists = driver.find_elements(By.XPATH, '//*[@id="J_goodsList"]/ul/li')
33 
34         for item in good_lists:
35             # 找到產品的價格
36             price = item.find_element(By.CLASS_NAME, "p-price").text
37             # 找到商品的名字
38             name = item.find_element(By.CLASS_NAME, "p-name").text
39             # 找到商品的評論
40             commit = item.find_element(By.CLASS_NAME, "p-commit").text
41             # 找到商品的店鋪
42             shop = item.find_element(By.CLASS_NAME, "p-shop").text
43             # 將每一次爬到的數據信息，追加到列表[ ]中
44             prices.append(price)
45             names.append(name)
46             commits.append(commit)
47             shops.append(shop)
48 
49         # 點擊下一頁
50         driver.find_element(By.CLASS_NAME, "pn-next").click()
51 
52     df = pd.DataFrame({
53         "價格": prices,
54         "名稱": names,
55         "評論": commits,
56         "商家": shops
57     })
58 
59     # 將數據保存到excel表格中
60     df.to_excel("{}.xlsx".format(search_word))

 以上就是一個比較基礎的爬蟲Demo，通過selenium來實現，爬取的數據的業務邏輯較爲簡單，最後生成放在表格中就可以了。

感興趣的同學可以去淘寶網去爬一下，練練手。