使用requests_html模塊第一次使用req.html.render()時會很慢,因爲第一次要下載chromium(100M左右)所以造成速度很慢
解決辦法:提前下載好
1、進入python安裝路徑下的pyppeteer路徑
/home/alloymei/anaconda3/envs/python36/lib/python3.6/site-packages/pyppeteer
2、找到此路徑下的chromium_downloader.py文件,並打開。在此文件中有下段代碼
chromiumExecutable = {
'linux': DOWNLOADS_FOLDER / REVISION / 'chrome-linux' / 'chrome',
'mac': (DOWNLOADS_FOLDER / REVISION / 'chrome-mac' / 'Chromium.app' /
'Contents' / 'MacOS' / 'Chromium'),
'win32': DOWNLOADS_FOLDER / REVISION / 'chrome-win32' / 'chrome.exe',
'win64': DOWNLOADS_FOLDER / REVISION / 'chrome-win32' / 'chrome.exe',
}
從上面可以可得到Ubuntu64(我的系統是ubuntu系統是64位的)的chromium路徑是:
DOWNLOADS_FOLDER / REVISION / 'chrome-linux' / 'chrome',
3、那麼,DOWNLOADS_FOLDER 和REVISION究竟是什麼?
往上面尋找,可以找到以下代碼:
DOWNLOADS_FOLDER = Path(__pyppeteer_home__) / 'local-chromium'
REVISION = os.environ.get('PYPPETEER_CHROMIUM_REVISION', __chromium_revision__)
可以使用print函數打印出兩個路徑,具體代碼如下:
由上面可以知道:chromium路徑是:/home/alloymei/.local/share/pyppeteer/local-chromium/575458/chrome-linux/chrome
在https://npm.taobao.org/mirrors/chromium-browser-snapshots/Linux_x64/ 進入575458下載
所以自己建文件夾,然後一直到chrome-linux文件夾,把上面下載的chromium文件,拷貝到此目錄下
就可解決速度慢的問題