在講爬取淘寶詳情頁數據之前,先來介紹一款 Chrome 插件:Toggle JavaScript (它可以選擇讓網頁是否顯示 js 動態加載的內容),如下圖所示:
當這個插件處於關閉狀態時,待爬取的頁面顯示的數據如下:
當這個插件處於打開狀態時,待爬取的頁面顯示的數據如下:
可以看到,頁面上很多數據都不顯示了,比如商品價格變成了劃線價格,而且累計評論也變成了0,說明這些數據都是動態加載的,以下演示真實價格的找法(評論內容找法類似),首先檢查頁面元素,然後點擊Network選項卡,刷新頁面,可以看到很多動態加載的數據,在裏面找到包含商品價格的鏈接(可以使用Ctrl+f查找),如下圖所示:
將此鏈接在新的標籤頁打開,如下圖所示,可以看到,被禁止訪問了,所以爬取的時候要在headers中加上Referer字段告訴服務器你是從哪個頁面鏈接過來的,Referer字段可以在這裏查看:
評論數據的鏈接可以直接訪問(和價格信息找法類似),這裏我知己去訪問它,如下圖所示:
可以看到評論信息總共有7頁,而且都是json格式的數據,所以可以用json反序列化去抽取數據,當然也可以用正則表達式,下面我將演示用正則去抽取數據,因爲評論數據過多,這裏只抓取第一頁,如果需要所有評論數據,可以循環構造url,只需要修改currentPage參數的值就行。程序源碼如下:
# filename:spider_taobao.py
#!/usr/bin/env python
# -*- coding=utf-8 -*-
import re
import urllib2
def spider_taobao(url):
headers = {
'Accept':'application/json, text/plain, */*',
'Accept-Language':'zh-CN,zh;q=0.3',
'Referer':'https://item.taobao.com/item.htm',
'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',
'Connection':'keep-alive',
}
goods_id = re.findall('id=(\d+)', url)[0]
try:
req = urllib2.Request(url=url, headers=headers)
res = urllib2.urlopen(req).read().decode('gbk', 'ignore')
except Exception as e:
print '無法打開網頁:', e.reason
try:
title = re.findall('<h3 class="tb-main-title" data-title="(.*?)"', res)
title = title[0] if title else None
line_price = re.findall('<em class="tb-rmb-num">(.*?)</em>', res)[0]
# 30-42行爲抓取淘寶商品真實價格,該數據是動態加載的
purl = "https://detailskip.taobao.com/service/getData/1/p1/item/detail/sib.htm?itemId={}&modules=price,xmpPromotion".format(goods_id)
price_req = urllib2.Request(url=purl, headers=headers)
price_res = urllib2.urlopen(price_req).read()
data = list(set(re.findall('"price":"(.*?)"', price_res)))
# data列表中的價格可能是定值與區間的組合,也可能只是定值,而且不一定有序
real_price = ""
for t in data:
if '-' in t:
real_price = t
break
if not real_price:
real_price = sorted(map(float, data))[0]
# 45-53行爲抓取評論數據,該數據也是動態加載的
comment_url = "https://rate.tmall.com/list_detail_rate.htm?itemId={}&sellerId=880734502¤tPage=1".format(goods_id)
comment_data = urllib2.urlopen(comment_url).read().decode("GBK", "ignore")
temp_data = re.findall('("commentTime":.*?),"days"', comment_data)
temp_data = temp_data if temp_data else re.findall('("rateContent":.*?),"reply"', comment_data)
comment = ""
for data in temp_data:
comment += data.encode('utf-8')
comment = comment if comment else "暫無評論"
except Exception as e:
print '數據抽取失敗!!!'
print '商品名:', title
print '劃線價格:', line_price
print '真實價格:', real_price
print '商品鏈接:', url
print '部分評論內容:', comment
if __name__ == '__main__':
#url = 'https://item.taobao.com/item.htm?spm=a230r.1.14.30.43306a3fOeuZ0B&id=553787375606&ns=1&abbucket=10#detail'
url = raw_input("請輸入商品鏈接: ")
spider_taobao(url)
運行結果如下: