1、Selenium
2、Puppeteer
- Puppeteer是谷歌官方出品的一个Node.js,提供了一个高级API来控制DevTools协议上的Chrome或Chromium。Puppeteer默认无界面运行,但可以配置为运行有界面的Chrome或Chromium
- 安装步骤1:pip install pyppeteer
- Puppeteer使用:
import asyncio
from pyppeteer import launch
async def main():
browser = await launch()
page = await browser.newPage()
await page.goto("http://example.com")
await page.screenshot({'path': 'example.png'})
await browser.close()
asyncio.get_event_loop().run_until_complete(main())
3、Splash
- Splash是一个异步的JavaScript渲染服务,它是带有HTTP API的轻量级Web浏览器,能够并行处理多个页面请求,可以在页面上下文中执行自定义的JavaScript以及模拟浏览器中的点击、下滑等操作
- 安装方法1:下载好已经封装好的Docker镜像
- 安装方法2:从Github下载源码后进行安装