python爬虫——多进程multiprocessing

其实多进程相对来说不是特别适合用来做爬虫,因为多进程比较适用于计算密集型,而爬虫是IO密集型,因此多进程爬虫对速度的提升不是特别明显,但是将爬虫改为多进程比较简单,只需简单的几行代码即可搞定,所以在修改我的爬虫提升效率时,我最先实现的是多进程爬虫。(然而速度真心还是慢,我多线程+协程的程序跑的晚,却早已经结束工作了,多进程的还在苦战…)
下面我通过实例来进行介绍。
我爬取的数据是外文数据库的摘要信息,总共有几百万条记录,因此我首先将抓取得到的url列表文件进行分割,减小对内存的压力,免得全部加载占用内存过高(昨天看了关于迭代器的内容,感觉如果使用迭代器的话,效果会更好一点,减少很多内存压力,等我试水成功后再更新)。由于很多小伙伴可能没有访问外文数据库的权限,因此我在此不把url数据上传,对抓取的html页面进行分析的内容也不放上来。主要介绍如何改造原有代码为多进程爬虫。

#python2环境,3下差别不大
import requests
from bs4 import BeautifulSoup
import multiprocessing
import json
import datetime
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
path = sys.path[0] + '/data/'

多进程需要导入multiprocessing包。

def main():
    f = open(path + 'springerThesissList.txt', 'r')
    urlList = f.readlines() 
    pool = multiprocessing.Pool(3) #建立进程池,数字为你cpu的核数,括号内可以为空,程序会自动设定为cpu最大核数。
    pool.map(getThesis, urllist) #将url传入getThesis函数
def getThesis(url):
    """this is your code of scrap the url"""
if __name__ == '__main__':
    stime = datetime.datetime.now()
    print stime
    main()
    etime = datetime.datetime.now()
    print etime
    print etime - stime

getThesis(url)函数为抓取url下内容的函数,可自定义。
通过main()函数中的短短两行代码,我们就可以将爬虫改造成多进程爬虫了,但是上面的方法有一个问题,就是得到的文件中会有这样一种情况:当前行的内容还未写入完毕,下一行的内容就已写入。原因是多进程是并发执行函数,你在进程池中设立的数目为3,则就有三个进程同时进行抓取,并访问文件写入数据,这样就会出现上面的问题。可以通过下面的方法进行解决。

def main():
    listf = open(path + 'springerThesisList.txt', 'r')
    urlList = listf.readlines()
    pool = multiprocessing.Pool(3)
    for url in urllist:
        result = pool.apply_async(getThesis, (url, ), callback = jsonDump)
    pool.close()
    pool.join()
    if result.successful():
        print "successful"

jsonDump函数为我自定义的写入json数据的函数。此处将其作为回调函数对getThesis函数的返回结果进行处理。因此getThesis函数与之前的也略有不同,之前不需要该函数有返回值,但是在此处则需将其进行修改,在函数末尾加入一行代码,返回此函数抓取到的数据。因为在函数中我使用了try except来增强代码的容错性,因此返回值有可能为空,因此在jsonDump函数中,需要先判断dic是否为空。

outf = open(path + 'springerThesis.json', 'a')
def jsonDump(dic):
    if dic:
        json.dump(dic, outf, ensure_ascii=False)
        outf.write('\n')
def getThesis(url):
    """this is your code of scrap the url"""
    #×××
    #×××
    return dic

到此为止,基本上讲清楚了如何在爬虫中使用多进程。有问题欢迎评论交流。
接下来我会介绍如何在爬虫中使用多线程和协程来提高爬虫的速度。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章