配置信息:python3
爬蟲各種涉及到的庫:
請求庫:
request、selenium、chromedrive、geckodriver、phantomjs、aiothttp
解析庫:
lxml、beautiful soup、pyquery、tesserocr
數據庫:
mysql、mongdb、redis
存儲庫:
pymysql、pymongo、redis-py、redisdump
web庫:
flask、tornado
app爬取相關庫:
charles、mitmproxy、appium
爬蟲框架安裝:
pyspider、scrapy、scrapy-splash、scrapy-redis
部署相關庫:
docker、scrapyd、scrapyd-clien、scrapyd api、scrapyrt、gerapy
安裝方法:
cmd窗口:pip3 install python庫
python script目錄cmd窗口:pip3 install python庫.whl
python庫下載: