此专栏用来记录爬各类网站商品信息的Python代码，以便回忆~（谁让博主记性不好咧~）
此次爬虫是关于998KA的商品信息，如果有需要998KA.CN.csv文件的童鞋可以去我的博客上下载，可以看看998KA网站内商品信息的具体内容，方便深入理解代码~
# ！/usr/bin/env python
import re
import requests
from lxml import etree
import time
Max = 500 # 每获取到500个商品的信息, 保存一次, 调试时可以改为10, 方便看到结果
# xpath获取数据的规则
get_cateid_rule = '//select[@name="cateid"]/option/attribute::value' # 从网页源码中获取分类的id的xpath规则
get_catename_rule = '//select[@name="cateid"]/option/text()' # 从网页源码中获取分类的名字的xpath规则
gonggao_rule = r'//div[contains(@class, "boxcon")]/span/text()' # 从网页源码中获取商户公告的标识的xpath规则
get_good_list_payload = "cateid=%s" # 发送post请求时的data部分,这里使用了格式化的表示方法, 使用%s占位符(类似c中的%s)
get_good_info_payload = "goodid=%s"
# 获取信息的url
pingtai = "http://wwww.998ka.cn/"
cate_ajax = "http://wwww.998ka.cn/ajax/getgoodlist" # 获取goods_list的url地址
good_ajax = "http://wwww.998ka.cn/ajax/getgoodinfo" # 获取具体商品信息的url地址
# 请求头字典
headers = {
'Cookie': "_qddaz=QD.i3wgpi.5be72m.jxyrtpbm; pgv_pvi=8245519360; pgv_si=s9958262784; Hm_lvt_d7682ab43891c68a00de46e9ce5b76aa=1563082827; __jsluid_h=6130e5c13d16e6f3382281a282d4a535; Hm_lvt_d7682ab43891c68a00de46e9ce5b76aa=1563082904; Hm_lpvt_d7682ab43891c68a00de46e9ce5b76aa=1563082904; Hm_lpvt_d7682ab43891c68a00de46e9ce5b76aa=1563082914; PHPSESSID=ggtkdgh2m11345i97lok1ce203; IESESSION=alive; tencentSig=5170108416; _qddab=3-ksdh2e.jy2kwcul",
'Origin': "http://wwww.998ka.cn",
'Accept-Encoding': "gzip, deflate",
'Accept-Language': "zh-CN,zh;q=0.9",
'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36",
'Content-Type': "application/x-www-form-urlencoded; charset=UTF-8",
'Accept': "*/*",
'Referer': "http://wwww.998ka.cn/links/E585221043918FB0",
'X-Requested-With': "XMLHttpRequest",
'Connection': "keep-alive",
'Cache-Control': "no-cache",
'Postman-Token': "24eb553c-79d0-4bc9-90cb-9daa063950b7,b20edaf9-53f0-4e44-96cf-d6a9a4cb6c8b",
'Host': "wwww.998ka.cn",
'content-length': "10",
'cache-control': "no-cache"
}
def remove(data):
"""
去除获取的文本中的转义字符,方便保存
"""
return str(data).replace('\n', '').replace(' ', '') \
.replace('\t', '').replace('\r', '')
def get_all_url():
"""
将csv文件中的所有url进行分类，找出其中的店铺url
"""
shop_url = []
with open('998KA.CN.csv', 'r', encoding='utf-8') as f:
all_lines = f.readlines() # 从文件中一行一行读取数据，并返回一个列表
# print(all_lines)
for line in all_lines:
tmp = line.split(',') # 用逗号分隔每一行的数据，并存在数组里
url = tmp[0]
if 'cate' in url: # 含有'cate'、'links'、'product'这些关键字的就是店铺url
shop_url.append(url)
if 'links' in url:
shop_url.append(url) # 在列表的末尾添加这些url
if 'product' in url:
shop_url.append(url)
with open('998ka.txt', 'w', encoding='utf-8') as f1: # 将url存进文件中
for i in shop_url:
f1.write(i + '\n')
return shop_url
def get_goodids(session, url, cateid):
"""
根据商品列表的id,获得下面所有商品的id和name
:param session:
:param url:
:param cateid:
:return: ids, names
"""
payload = get_good_list_payload % (cateid) # 格式化构造字符串, get_good_list_payload 这个变量中有两个%s占位符,
# print(payload) #在后面加上 % (cateid)后, 会自动将后面的两个变量填充到对应位置
try:
res = session.post(cate_ajax, data=payload, headers=headers)
except Exception as e:
print(url, e)
return None
# 返回商品的id和name信息
else:
if 'option' not in res.text:
print("此分类下没有商品", cateid)
return None, None
else:
goodlist = res.text.split('</option>')
gdid, gdname = [], []
for i in goodlist:
id = re.findall(r'\d+', i) # 将商品编号提取出来
gdid.extend(id)
name = re.sub('<.*>', '', i) # 将商品名称提取出来
gdname.append(name)
print(gdid, gdname)
return gdid, gdname
def get_goodinfo(session, url, goodid):
"""
根据商品id,获取商品所有信息
"""
try:
payload = get_good_info_payload % (goodid) # 构造请求数据
# print(payload)
res = session.post(good_ajax, data=payload, headers=headers)
goodinfo = res.text.encode('utf-8').decode('unicode_escape')
# print(goodinfo)
# goodinfo = res.text
# print(goodinfo)
except Exception as e:
print(res.status_code, res.text)
print(url, e)
return goodinfo
def data_together(url, goodname, sellerinfo, price, stock):
""""
这里是将信息整合的部分, 一个商铺页面有很多信息, 尽量获取他们, 获取不到的信息, 就用一个''占位即可
"""
try:
datalist = [
'', # id, 空着
today, # 今天的日期, 格式如20190711,可以使用time库获取
'', # 插入数据库的时间, 空着即可,
goodname, # 商品标题/商品名
'', # 商品详细信息
'', # 厂家,
'', # 有效期,
sellerinfo, # 商铺信息, 比如联系方式,如果搞不到空着即可
price, # 价格
'', # 价格增长量
'', # 批发价
'', # 商品分类, 空着
'', # 空着
'998ka.cn', # 网站域名
stock, # 库存量, 没有可以空着
'', # 空着即可
url, # 商品所属页面的url,
url, # 商品详情页面的url, 没有的话设置为所属页面的url
]
except Exception as e:
print(url, e)
else:
datalist = list(map(remove, datalist)) # 通过内置函数map() , 将dataList这个列表中的每一个字符串进行去空格,去换行符等处理
data = '\t'.join(datalist) # 用join函数, 以'\t'为分隔符链接dataList这个列表中的每一项,返回一个字符串给data
return data
def get_all_data(url, try_cnt=2):
"""
获取某个商铺的所有商品的信息,重复次数:2
"""
all_data = []
session = requests.session()
try:
r = session.get(url=url, headers={
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36", })
except Exception as e:
print(url, e, "连接主页面失败")
else:
if r.status_code != 200:
if r.status_code == 503:
if try_cnt:
time.sleep(5)
return get_all_data(url, try_cnt-1)
else:
print(url, "data为0")
return all_data
else:
print(url, "data为0")
return all_data
res_xpath = etree.HTML(r.text) # etree.HTML解析html内容
# 联系方式
qq = ''
if re.findall('uin=[0-9]+', r.text): # 找到所有匹配的字符串，并返回
qq = re.findall('uin=[0-9]+', r.text)[0].replace('uin=', '')
# 商家信息
gonggao = res_xpath.xpath(gonggao_rule)
# url一共分三种情况
if 'product' in url: # 没有分类也没有名称的情况
seller = res_xpath.xpath('//div[@class="boxcon"]//text()') # 商家信息
sellerinfo = {'商家信息': seller, '商家公告': gonggao, 'qq': qq}
goodname = res_xpath.xpath('//span[@style="font-size:1.2em"]/text()') # 商品名称
if len(goodname) == 0:
goodname = res_xpath.xpath('//span[@class="t1"]/text()')
goodid = res_xpath.xpath('//script/input[@name="goodid"]/attribute::value') # 商品ID
price = res_xpath.xpath('//label/span[@class="price"]/text()')
print(sellerinfo, goodname, goodid, price)
all_data.append(data_together(url, goodname, sellerinfo, price, ''))
else:
cateidlist = res_xpath.xpath(get_cateid_rule) # 第一个不可用,商品列表的id
catenames = res_xpath.xpath(get_catename_rule)
seller = res_xpath.xpath('//div[@class="boxcon"]/text()')
if qq != '':
if len(cateidlist) == 0: # 没有分类有商品的情况
name_rule = '//span[@class="t1"]/text()'
id_rule = '//div/input[@name="cateid"]/attribute::value'
cateidlist.extend('0')
catenames.extend('嗯')
cateid = res_xpath.xpath(id_rule) # 获取分类id
catename = res_xpath.xpath(name_rule) # 获取分类名称
if len(catename) == 0:
catename = res_xpath.xpath('//span[@style="font-size:1.2em"]/text()')
cateid = res_xpath.xpath('//script/input[@name="cateid"]/attribute::value')
cateidlist.extend(cateid)
catenames.extend(catename)
seller = res_xpath.xpath('//h1/p/text()')
# print(cateidlist, catenames, seller)
sellerinfo = {'商家信息': seller, '商家公告': gonggao, 'qq': qq}
# print(sellerinfo)
print(url, cateidlist, catenames, 'qq:', qq) # 这是分类那一栏的，以及每一类的id和名称
for cateid, catename in zip(cateidlist[1:], catenames[1:]):
goodids, goodnames = get_goodids(session, url, cateid)
if goodids:
for goodid, goodname in zip(goodids, goodnames):
goodinfo = get_goodinfo(session, url, goodid)
# 从获取的信息中提取单价
price = re.findall('\d+.?\d*', goodinfo)[0]
# 从获取的信息中提取库存
stock = re.sub('.*value="', '', goodinfo)
stock = re.sub('">","is_discount":.*', '', stock)
stock = re.findall('\d+', stock)[0]
print(price, stock)
all_data.append(data_together(url, goodname, sellerinfo, price, stock))
return all_data
def write_data(total_data):
"""
功能: 将商品信息追加到以当天时间命名的文件上
"""
with open('./data/' + today + '.txt', 'a', encoding='utf-8') as f:
for i in total_data:
f.write(i + '\n')
if __name__ == '__main__':
today = time.strftime('%Y%m%d') # 获取当前时间
total_data = []
print(len(get_all_url()))
num = 0
# 将每个店铺的信息存在data文件中
for url in get_all_url():
time.sleep(3) # 暂停3秒后执行程序
try:
all_data = get_all_data(url) # 获取店铺里的所有信息
total_data.extend(all_data) # 将信息追加进总的信息中
if len(total_data) > Max: # 当已经保存的数据条数大于设置设数量时, 追加到文件之后
write_data(total_data)
num += 1
total_data = []
except Exception as e: # 捕获其他所有的异常信息
print(url, e)
# 将total_data里剩下的数据也追加到文件中
num += len(total_data)
print(num)
write_data(total_data)