【筆記 - ptyhon爬蟲01】安裝&配置

配置信息:python3

爬蟲各種涉及到的庫:

請求庫:
request、selenium、chromedrive、geckodriver、phantomjs、aiothttp
解析庫:
lxml、beautiful soup、pyquery、tesserocr
數據庫:
mysql、mongdb、redis
存儲庫:
pymysql、pymongo、redis-py、redisdump
web庫:
flask、tornado
app爬取相關庫:
charles、mitmproxy、appium
爬蟲框架安裝:
pyspider、scrapy、scrapy-splash、scrapy-redis
部署相關庫:
docker、scrapyd、scrapyd-clien、scrapyd api、scrapyrt、gerapy

安裝方法:

cmd窗口:pip3 install python庫
python script目錄cmd窗口:pip3 install python庫.whl

python庫下載:

  1. https://pypi.org/
  2. https://www.lfd.uci.edu/~gohlke/pythonlibs/
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章