Python爬蟲實戰，requests+xlwt模塊，爬取螺螄粉商品數據（附源碼）

前言

今天給大家介紹的是Python爬取螺螄粉商品數據，在這裏給需要的小夥伴們代碼，並且給出一點小心得。

首先是爬取之前應該儘可能僞裝成瀏覽器而不被識別出來是爬蟲，基本的是加請求頭，但是這樣的純文本數據爬取的人會很多，所以我們需要考慮更換代理IP和隨機更換請求頭的方式來對螺螄粉數據進行爬取。

在每次進行爬蟲代碼的編寫之前，我們的第一步也是最重要的一步就是分析我們的網頁。

通過分析我們發現在爬取過程中速度比較慢，所以我們還可以通過禁用谷歌瀏覽器圖片、JavaScript等方式提升爬蟲爬取速度。

開發工具

Python版本： 3.6

相關模塊：

requests模塊

json模塊

re模塊

time模塊

xlwt模塊

xlrd模塊

環境搭建

安裝Python並添加到環境變量，pip安裝需要的相關模塊即可。

文中完整代碼及Excel文件，評論留言獲取

思路分析

瀏覽器中打開我們要爬取的頁面
按F12進入開發者工具，查看我們想要的螺螄粉商品數據在哪裏
這裏我們需要頁面數據就可以了

代碼實現

headers = {
    #'Host':'s.taobao.com',
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36',
    'cookie':'你的Cookie',
    'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
    'accept-encoding': 'gzip, deflate, br',
    'accept-language': 'zh-CN,zh;q=0.9',
    'upgrade-insecure-requests': '1',
    'referer':'https://www.taobao.com/',
}

#請求網頁內容
url="https://s.taobao.com/search?q=螺螄粉&ie=utf8&bcoffset=0&ntoffset=0&s=0"

#requests+請求頭headers
r = requests.get(url, headers=headers)
r.encoding = 'utf8'
s = (r.content)

#亂碼問題
html = s.decode('utf8')

# 初始化execl表
def initexcel():

    # 創建一個workbook 設置編碼
    workbook = xlwt.Workbook(encoding='utf-8')
    # 創建一個worksheet
    worksheet = workbook.add_sheet('sheet1')
    workbook.save('螺螄粉.xls')
    ##寫入表頭
    value1 = [["標題", "銷售地", "銷售量", "評論數", "銷售價格", '商品惟一ID', '圖片URL']]
    book_name_xls = '螺螄粉.xls'
    write_excel_xls_append(book_name_xls, value1)

# 正則模式
p_title = '"raw_title":"(.*?)"'       #標題
p_location = '"item_loc":"(.*?)"'    #銷售地
p_sale = '"view_sales":"(.*?)人付款"' #銷售量
p_comment = '"comment_count":"(.*?)"'#評論數
p_price = '"view_price":"(.*?)"'     #銷售價格
p_nid = '"nid":"(.*?)"'              #商品惟一ID
p_img = '"pic_url":"(.*?)"'          #圖片URL

# 數據集合
data = []

# 正則解析
title = re.findall(p_title,html)
location = re.findall(p_location,html)
sale = re.findall(p_sale,html)
comment = re.findall(p_comment,html)
price = re.findall(p_price,html)
nid = re.findall(p_nid,html)
img = re.findall(p_img,html)
for j in range(len(title)):
    data.append([title[j],location[j],sale[j],comment[j],price[j],nid[j],img[j]])

# 寫入execl
def write_excel_xls_append(path, value):
    index = len(value)  # 獲取需要寫入數據的行數
    workbook = xlrd.open_workbook(path)  # 打開工作簿
    sheets = workbook.sheet_names()  # 獲取工作簿中的所有表格
    worksheet = workbook.sheet_by_name(sheets[0])  # 獲取工作簿中所有表格中的的第一個表格
    rows_old = worksheet.nrows  # 獲取表格中已存在的數據的行數
    new_workbook = copy(workbook)  # 將xlrd對象拷貝轉化爲xlwt對象
    new_worksheet = new_workbook.get_sheet(0)  # 獲取轉化後工作簿中的第一個表格
    for i in range(0, index):
        for j in range(0, len(value[i])):
            new_worksheet.write(i+rows_old, j, value[i][j])  # 追加寫入數據，注意是從i+rows_old行開始寫入
    new_workbook.save(path)  # 保存工作簿

#保存數據
book_name_xls = '螺螄粉.xls'
write_excel_xls_append(book_name_xls, data)
time.sleep(6)

如何獲取Cookie

結果展示

最後

今天的分享到這裏就結束了 ，感興趣的朋友也可以去試試哈

對文章有問題的，或者有其他關於python的問題，可以在評論區留言或者私信我哦

覺得我分享的文章不錯的話，可以關注一下我，或者給文章點贊(/≧▽≦)/