第一次开始写python进行爬虫，如有不对请多谅解并提出

1、目的

• 首先需要了解自己使用python的目的在于什么
• 我这里使用python进行爬虫，主要爬取网站的数据用
• 这里我用图片之家的例子来给大家展示，请勿用于商用，概不负责。
• 我们在爬取数据时候需要了解对方网站的特性，例如统一性和差异性。

2、案例分析

• 例如这个网站 图片之家的美女图片
• 当前页码的 清纯少女 数据就是我们要爬取的数据以及里面的详情图片

2.1、页面分析

• 当前页面路径分析
  第一页 https://www.tupianzj.com/meinv/xiezhen/
  第二页 https://www.tupianzj.com/meinv/xiezhen/list_179_2.html
  第三页 https://www.tupianzj.com/meinv/xiezhen/list_179_3.html
  最后一页 https://www.tupianzj.com/meinv/xiezhen/list_179_208.html
  1、我们会发现这里的统一性是前面一段相同，第二页起前面基本是 list_179 ，后面跟的是页码
  2、所以我们爬取的时候只要判断第一页单独处理，之后的页面根据 页码拼接 即可
  3、另外我们需要注意这里面的 页码 需要从页面中获取，然后循环去爬取

• 分类页面路径分析
  清纯少女 https://www.tupianzj.com/meinv/xiezhen/
  古装美女 https://www.tupianzj.com/meinv/guzhuang/
  性格美女 https://www.tupianzj.com/meinv/xinggan/
  人体艺术 https://www.tupianzj.com/meinv/yishu/
  1、我们会发现前面 https://www.tupianzj.com/meinv/ 相同，我们只要根据分类给后面拼接上即可

• 详情页分析
  例如这个详情页
  第一页 https://www.tupianzj.com/meinv/20140418/8803.html
  第二页 https://www.tupianzj.com/meinv/20140418/8803_2.html
  第三页 https://www.tupianzj.com/meinv/20140418/8803_3.html
  最后一页 https://www.tupianzj.com/meinv/20140418/8803_8.html
  1、同样的我们可以分析出这个跟首页的分类是一样的统一性和差异性
  2、只要取到 总页数 、页面网站、拼接页码、图片链接 即可

• 审查元素分析
  此时我们需要审查页面

  1、我们从中可以获取到我们要的三条数据，这里的标题为什么我要用alt呢，因为后面再爬取的时候会报错，说是title不能为null存入数据库，后来发现后面的数据基本没有title，都用alt展示。
  2、我们需要去查看这个ul刚好有个id是独一无二的 list_con_box_ul，只要我们取这个就能找到列表循环查数据。
  3、同样的我们也可以从下面找到 总页数
  4、我这里取的是pageinfo截取数字部分，你这里可以直接取thisclass的数字部分
  5、跳转详情页时候的链接正是href字段，我们只要拼接上我们要的就可以了

3、引入库

• 首先大家需要搭建 python 环境以及下载相关的编译器，这里我就不多讲，大家百度查查。
• 这里我们要用到多个库，同样的 python 也有和 php 类似的库，也需要引入。
• 这里我们就要用到 PYPI （类似 compoer ）

1、引入我们数据库需要用到的 pymysql.cursors

pip install PyMySQL

2、引入协程，因为跑得数据比较多，除了多开窗口跑之外我觉得最好还是用这个，但我这里也不完全吃透

pip install greenlet

3、引入BeautifulSoup，主要用于取到页面的标签以及标签内的标签等，
这里还可以引用xPath，点击查看这两者的 差异性

pip install beautifulsoup4

另外有些库是python环境自带的，例如requests /re/io/sys等，可以自行查找是否自带。

4、数据库设计

5、上代码

#coding=utf8
# 导入需要使用到的数据模块
import pymysql.cursors
# 协程
import greenlet
# 请求库
import requests
# 解析库
from bs4 import BeautifulSoup
import re
import io
import sys

# Connect to the database
connection = pymysql.connect(host='127.0.0.1',
                             user='user',
                             password='password',
                             database='database',
                             cursorclass=pymysql.cursors.DictCursor)

def f(everyUrl,imgType):
    r2= requests.get(everyUrl)
    r2.encoding=None
    result = r2.text
    soup = BeautifulSoup(result,'html.parser')
    result = soup.find('ul',class_='list_con_box_ul')
    if result is not None:
        result = result.find_all('li')
        if result is not None:
            print(1)
        else:
            for i in result:
                src = i.a.img.get('src') #图片路径
                title = i.a.img.get('alt') #标题
                href = i.a.get('href') #访问路径
                date = re.findall(r"\d+",str(href))[0] #日期
                url = "https://www.tupianzj.com" + href

                if title == None: break

                #搜索是否爬取过该网站
                sql = "SELECT * FROM b_beauty_atlas WHERE href = '" + url + "'"
                cursor.execute(sql)
                results = cursor.fetchone()
                #如果找到则跳出循环
                if results: break

                #获取页码
                tp= requests.get(url)
                tp.encoding=None
                result2 = tp.text
                soup = BeautifulSoup(result2,'html.parser')
                page = soup.find('div',class_='pages')

                #判断里面是否存在照片详情，不存在则跳过
                if page is None: break
                if page.find('li') is None: break
                if page.find('a') is None: break
                page = page.li.a
                page = re.findall(r"\d+",str(page))[0] #页码

                #匹配到对应的路径
                href2 = re.sub('.html','',str(href))
                arr = []
                j = 1
                while j <= int(page):
                    if j==1:
                        tp= requests.get("https://www.tupianzj.com" + href2 + '.html' )
                    else:
                        tp= requests.get("https://www.tupianzj.com" + href2 + '_' + str(j) + '.html' )
                    tp.encoding=None
                    result3 = tp.text
                    soup = BeautifulSoup(result3,'html.parser')

                    bigpic = soup.find('div',id='bigpic')
                    if bigpic is None:break
                    if bigpic.find('a') is None:break
                    bigpic = bigpic.a.img.get('src')
                    arr.append(bigpic)
                    j += 1

                str2 = ','.join(arr)
                #数据库操作
                sql = "INSERT INTO b_beauty_atlas (type,cover_img,href,images,send_time,title) VALUES (%s,%s,%s,%s,%s,%s)"
                val = (imgType, src, url, str2 , date, title)
                r = cursor.execute(sql,val)
                results = cursor.fetchone()

with connection:
    with connection.cursor() as cursor:

        # Read a single record
        sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='utf-8')

        # 0 xiezhen 清纯美女 list_179_
        # 1 xinggan 性感美女 list_176_
        # 2 guzhuang 古装美女 list_177_
        # 3 yishu 人体艺术 list_178_
        # 4 siwa 丝袜美女 list_193_
        # 5 chemo 香车美人 list_194_

        imgType = 3 # 类别ID
        ahead = 'yishu' # 类别
        ahead2 = 'list_178_' # 分页编码
        everyPage = 1# 第几页开始爬取数据 >=1
        pageinfo = 0 # 爬取页数，如果是0表示爬全部

        if pageinfo == 0:
            # 获取总共页码
            r= requests.get("https://www.tupianzj.com/meinv/" + ahead + '/')
            r.encoding=None
            result = r.text
            soup = BeautifulSoup(result,'html.parser')
            pageinfo = soup.find('span',class_='pageinfo').strong
            pageinfo = re.findall(r"\d+",str(pageinfo))[0] #页码

        while everyPage <= int(pageinfo):
            if everyPage == 1:
                everyUrl = "https://www.tupianzj.com/meinv/" + ahead + '/'
            else:
                everyUrl = "https://www.tupianzj.com/meinv/" + ahead + '/' + ahead2 + str(everyPage) + '.html'
            g1 = greenlet.greenlet(f)
            g1.switch(everyUrl,imgType)
            everyPage += 1
            connection.commit()
    print('成功！')
    cursor.close()

1、这里需要注意数据库存储的时候要有 connection.commit()才能存储成功！
2、爬取数据时候经常会出现没有方法的保存，不要慌，根据提示去找到对应行代码，大多都是因为对方网站的差异性导致的，我们只要print()一下就能找到对应的问题，大多是找不到，我这里都有判断，如果没找到直接跳出循环。