pyppeteer: 基於asyncio的異步網頁渲染爬蟲庫

簡介

類似於selenium，pyppeteer也能渲染網頁，但是它是異步的。

使用方法

安裝方法

pip install pyppeteer

# python 3.7.5

import asyncio

from pyppeteer import launch
from pyquery import PyQuery as pq


async def main():
    browser = await launch()
    page = await browser.newPage()
    await page.goto("http://quotes.toscrape.com/js/")
    doc = pq(await page.content())
    print("Quotes:", doc(".quote").length)
    await browser.close()


asyncio.run(main())