6小时爬完上交所和深交所的年报问询函

“没有枪没有炮我们给自己造。”

—— 周书人

昨天开组会的时候导师说想搞年报问询函的研究，但是买数据库太贵了。我说放着我来 ( ‵▽′)ψ。

一、任务描述

• 分别从上交所和深交所的官网上爬取年报问询函的记录

二、解决思路

• 解析网页获取全部的年报问询函列表及相应的文件链接
• 打开第一步获取的文件链接，读取 PDF 数据，并直接转成 TXT 格式的文字

三、网页分析

以上交所网站为例：

1. 数据包位置

上交所的年报问询列表存储在响应的一个 JSON 文件里，只要用 Python3 发送请求并截取这个 JSON 包就可以直接获取该页的列表啦。

2. 翻页

由于网站结构简单，所以翻页也很好实现。对比第一页的参数和第二页的参数可以发现：翻页的关键在于 pageHelp.pageNo 和 pageHelp.beginPage 这两个参数上，所以虽然一共有 88 页的问询函，只要每次 post 不同的页数就可以得到相应的页面。

3. 下载PDF

通过前两步的分析我们已经拿到了上交所问询函的所有列表：

显然上交所网站里已经直接给出了每个问询函 PDF 的下载链接(即表格最后一列)，直接打开这个链接就可以读取保存相应的问询函。

4. 深交所网页和上交所网页的区别

深交所网站比较好的是直接给出了问询函列表并且同时给出了函件内容和公司回复文档的文件编码：

举个栗子：加入函件内容的文件编码是 CDD00080753986.pdf ，那么给这个编码套上外衣就是可以打开的 PDF 地址了：
http://reportdocs.static.szse.cn/UpFiles/fxklwxhj/ + 文件编码+ ?random=0.42680171432249325
最后得到的URL地址为：http://reportdocs.static.szse.cn/UpFiles/fxklwxhj/CDD00080753986.pdf?random=0.42680171432249325
小伙伴们可以试试打开是不是正确的问询函件。

四、PDF转TXT

在Python3 里用经典的 Pdfminer3k 包即可解决，这里直接改了大佬的代码ᕕ( ᐛ )ᕗ：Pythonscrapy的简书：python3 在线读取pdf

五、核心代码

1. 获取上交所问询函列表

本来应该规规矩矩地用 Requests 包的 post 方法上传参数的，但是我太懒了啊哈哈哈就直接迭代了丑丑的 URL。

import requests

def downlourl(currentpage):
    url = "http://query.sse.com.cn/commonSoaQuery.do?siteId=28&sqlId=BS_GGLL&extGGLX=&stockcode=&channelId=10743%2C10744%2C10012&extGGDL=&order=createTime%7Cdesc%2Cstockcode%7Casc&isPagination=true&pageHelp.pageSize=15&pageHelp.pageNo=" + repr(currentpage) + "&pageHelp.beginPage=" + repr(currentpage) +"&pageHelp.cacheSize=1"
    return(url)

headers = {
    'Referer':'http://www.sse.com.cn/disclosure/credibility/supervision/inquiries/',
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
}

with open('上交所列表.txt',"a") as f:
    for page in range(89):
        r = requests.get(downlourl(page), headers=headers)
        for i in r.json()['result']:
            f.write('\t''.join([i['cmsOpDate'],i['docTitle'],i['stockcode'],i['extWTFL'],i['extGSJC'],i['docType'],i['createTime'],i['docURL']])+'\n')
        print('完成爬取第%d页'%page)  

2. 爬取PDF并直接转为TXT

import pandas as pd
from urllib.request import urlopen
from urllib.request import Request

from pdfminer.converter import PDFPageAggregator
from pdfminer.layout import LTTextBoxHorizontal, LAParams
from pdfminer.pdfinterp import PDFResourceManager, PDFPageInterpreter
from pdfminer.pdfinterp import PDFTextExtractionNotAllowed
from pdfminer.pdfparser import PDFParser, PDFDocument


url = "http://www.cninfo.com.cn/new/hisAnnouncement/query"
data = pd.read_table('深交所年报问询函列表.txt',header=0,encoding='utf8',delim_whitespace=True)
data.columns=['函件内容',	'公司回复']


函件内容 = data.loc[:,'函件内容']
公司回复 = data.loc[:,'公司回复']


headers = {'content-type': 'application/json',
           'Accept-Encoding': 'gzip, deflate',
           'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:53.0) Gecko/20100101 Firefox/53.0'}

baseurl = "http://reportdocs.static.szse.cn/UpFiles/fxklwxhj/"

def parse(docucode):
    # 打开在线PDF文档
    _path = baseurl + docucode + "?random=0.3006649122149502"
    request = Request(url=_path, headers=headers)  # 随机从user_agent列表中抽取一个元素
    fp = urlopen(request)
    # 读取本地文件
    # path = './2015.pdf'
    # fp = open(path, 'rb')
    # 用文件对象来创建一个pdf文档分析器
    praser_pdf = PDFParser(fp)
    # 创建一个PDF文档
    doc = PDFDocument()
    # 连接分析器 与文档对象
    praser_pdf.set_document(doc)
    doc.set_parser(praser_pdf)
    # 提供初始化密码doc.initialize("123456")
    # 如果没有密码 就创建一个空的字符串
    doc.initialize()
    # 检测文档是否提供txt转换，不提供就忽略
    if not doc.is_extractable:
        raise PDFTextExtractionNotAllowed
    else:
        # 创建PDf资源管理器 来管理共享资源
        rsrcmgr = PDFResourceManager()
        # 创建一个PDF参数分析器
        laparams = LAParams()
        # 创建聚合器
        device = PDFPageAggregator(rsrcmgr, laparams=laparams)
        # 创建一个PDF页面解释器对象
        interpreter = PDFPageInterpreter(rsrcmgr, device)
        # 循环遍历列表，每次处理一页的内容
        # doc.get_pages() 获取page列表
        for page in doc.get_pages():
            # 使用页面解释器来读取
            interpreter.process_page(page)
            # 使用聚合器获取内容
            layout = device.get_result()
            # 这里layout是一个LTPage对象 里面存放着 这个page解析出的各种对象 一般包括LTTextBox, LTFigure, LTImage, LTTextBoxHorizontal 等等 想要获取文本就获得对象的text属性，
            for out in layout:
                # 判断是否含有get_text()方法，图片之类的就没有
                # if hasattr(out,"get_text"):
                docname = str(docucode)[:-4]+'.txt'
                with open(docname,'a') as f:
                    if isinstance(out, LTTextBoxHorizontal):
                        results = out.get_text()
                        print(results)
                        f.write(results)


for i in range(len(公司回复)):
    try:
        parse(函件内容[i])
        print(repr(函件内容[i]) + "爬取成功")
    except:
        print(repr(函件内容[i]) + "爬取不成功")
    try:
        parse(公司回复[i])
        print(repr(公司回复[i]) + "爬取成功")
    except:
        if repr(公司回复[i]) == "nan":
            print("无公司回复")
        else:
            print(repr(公司回复[i]) + "爬取不成功")

3. 遍历文件夹中所有TXT文件并生成列表

参考了 Lynn大神的博客 |･ω･｀)

import os
import pandas as pd

content_list = []

def readFile(filepath):
    content = open(filepath, "r").read()     #打开传进来的路径
    docucode = filepath.split('/')[-1]
    content_list.append([docucode.split('.')[0],content])
    print([docucode.split('.')[0],content])


def eachFile(filepath):
    pathDir = os.listdir(filepath)      #获取当前路径下的文件名，返回List
    for s in pathDir:
        newDir=os.path.join(filepath,s)     #将文件命加入到当前文件路径后面
        if os.path.isfile(newDir) :         #如果是文件
            if os.path.splitext(newDir)[1]==".txt":  #判断是否是txt
                readFile(newDir)
                pass
        else:
            eachFile(newDir)                #如果不是文件，递归这个文件夹的路径


eachFile("/Users/上交所txt/")

df = pd.DataFrame(content_list, columns=['docucode', 'content'])
df.to_csv("上交所问询函内容.csv", sep=',', mode='w',encoding='gb18030')

六、最终爬取结果

主要参考链接

1. https://www.cnblogs.com/SeekHit/p/6245283.html
2. http://www.imooc.com/wenda/detail/432379
3. https://www.jianshu.com/p/42caf169764b