是这样的,有时候,大多时候,写爬虫程序的时候需要返回值的.
大家知道,协程的高并发性能是能够提高爬虫的效率的,好让程序有其他的时间去执行其他的代码.
但是我最近在猜测,如何查看爬虫的返回值呢？
详细代码就不写了,后面上贴图吧...
loop = asyncio.get_event_loop()
task = asyncio.ensure_future(self.Request())
result = loop.run_until_complete(task)
result 返回值直接就是你的返回值!
这个是单个协程的情况.
我们来讲讲多个协程...
loop = asyncio.get_event_loop()
task = [self.Request() for i in range(3)]
result = loop.run_until_complete(asyncio.wait(task)) # result返回为元组,第一个是数据包,包含很多的数据(我们想要的数据段就在这个位置), 第二个是一个空的set()
for i in result[0]:
print(i.result())
通过debug我们可以看到一个_result的dict()
因为我的返回值就是一个dict,所以我们可以用for迭代来取出里面的数据
for data in result[0]:#注意是第一个!
print(data.result()) #他会有一个api给你调用.
今天无意发现的,看来debug NB!
代码:
