Python爬蟲常用庫有哪些 / pip與conda的區別

requests庫

(1)使用conda安裝,一步到位
(這裏我已經安裝了所以顯示更新)
在這裏插入圖片描述

(2)手動安裝
在這裏插入圖片描述

1、官方鏈接:https://pypi.org/project/requests/#files
2、下載之後解壓到python安裝路徑下的Lib在這裏插入圖片描述

3、打開終端,進入requests庫文件夾,輸入安裝命令
在這裏插入圖片描述

4、安裝完畢顯示如下
在這裏插入圖片描述
5、如何檢驗——導入庫運行沒報錯即可

Beautiful Soup

BeautifulSoup在爬蟲中,起着網頁解析器的作用,可以對下載好的網頁進行頁面元素分析,提取出有價值的數據,相比較Lxml,BeautifulSoup的性能會差一些,畢竟是純python,但是BeautifulSoup解析網頁的支持度貌似會好一些。
Beautiful Soup 3 目前已經停止開發,推薦使用Beautiful Soup 4,不過它已經被移植到BS4了,也就是說導入時我們需要 import bs4
另外,BeautifulSoup在4.4.0以前的版本不支持Python3.5,所以我們把BeautifulSoup升級到4.4.0版本以上即可。

在Anaconda Prompt中
在這裏插入圖片描述
檢驗是否安裝成功:

在這裏插入圖片描述
解決No module named ‘bs4’

(1)嘗試安裝bs4模塊:
在這裏插入圖片描述
(2)手動去下載包

conda uninstall beautifulsoup4 把它卸載了,(對conda失去希望了),於是用pip安裝

在這裏插入圖片描述
檢驗是否成功:
在這裏插入圖片描述

可以成功導入了,然而發現新的問題是在 conda list 看不到美麗湯,因爲pip安裝的包不在同一個環境??

嘗試:在Anaconda Prompt下
在這裏插入圖片描述
然而這裏說是從緩存中導入的,所以和pip下載的那個是同一個嗎,還是和之前conda install 又刪除的那個是同一個?

對比conda list 與pip list發現,如下圖,pip list和conda list列表不一致,conda數量 > pip

在這裏插入圖片描述
解釋:
conda 安裝包路徑是E:\python\AnacondaForPython\NewInstall\pkgs
pip 安裝包路徑是 E:\python\AnacondaForPython\NewInstall\Lib\site-packages
所以當前環境下pip list只列舉出當前包list
注意如果使用conda install 多個環境時,對於同一個包只需要安裝一次。有conda集中管理。
但是如果使用pip因爲每個環境安裝使用的pip在不同的路徑下,故會重複安裝,而包會從緩存中取。

xlwt庫

(1)Anaconda Prompt安裝如下,驗證仍然 No module named xlwt
在這裏插入圖片描述
(2)轉而cmd安裝成功

在這裏插入圖片描述

numpy庫、 openpyxl 庫、lxml庫

用pip安裝的:

在這裏插入圖片描述
在這裏插入圖片描述

操作Excel:xlsxwriter,xlrd,xlwt,xlutils,連接數據庫:pymysql

在Anaconda Prompt用conda安裝的

其中 xlutils在PyCharm中import xlutils時直接點擊安裝了
在這裏插入圖片描述

pandas

可以快速提取網頁中的表格

內容,標誌標籤有table 表格——> tbody——> tr 行 ——> td 單元格~(我因爲xpath無法提取tr td而來的)

注意(list)列表在網頁中可能看起來像表格,但標籤是

  • ,要分清。
  • 在這裏插入圖片描述

    NumPy

    (Numerical Python) 是 Python 語言的一個擴展程序庫,支持大量的維度數組與矩陣運算,此外也針對數組運算提供大量的數學函數庫。
    在這裏插入圖片描述

    pip

    pip 是 Python 包管理工具,該工具提供了對Python 包的查找、下載、安裝、卸載的功能。Python 2.7.9 + 或 Python 3.4+ 以上版本都自帶 pip 工具。
    如何檢驗:
    在這裏插入圖片描述

    conda

    介紹

    conda分爲anaconda和miniconda。

    1、Conda是一個開源包和虛擬環境的管理系統,可以用於在同一個機器上安裝不同版本的軟件包及其依賴,並能夠在不同的環境之間切換。

    2、Anaconda包括Conda、Python以及一大堆安裝好的工具包。

    3、Miniconda包括Conda、Python。

    安裝第三方庫

    1、打開anaconda的命令行“Anaconda Prompt”,輸入

    pip install 任意包/庫名
    

    2、打開anaconda的命令行“Anaconda Prompt”,輸入

    conda install 任意包/庫名
    

    3、下載whl文件,打開anaconda的命令行“Anaconda Prompt”,輸入

    pip install 路徑+whl文件名
    

    conda與pip到底有什麼不同

    都是包管理工具,雖然它倆的某些功能重疊,但它們設計用於不同的目的。

    一個關鍵的區別是:Pip安裝Python包,而conda安裝包可能包含用任何語言編寫的軟件的包。在使用pip之前,必須通過系統包管理器或下載並運行安裝程序來安裝Python解釋器。而Conda可以直接安裝Python包以及Python解釋器。(俗話,pip是Python包的通用管理器; conda是一個與語言無關的跨平臺環境管理器。以及:pip在任何環境中安裝python包; conda安裝在conda環境中裝任何包。)

    另一個區別是:conda能夠創建可以包含不同版本Python或其他軟件包的隔離環境。 Pip沒有內置的環境支持,而是依賴於 pipenv,poetry和hatch wrap pip和virtualenv等工具提供了統一的方法來處理這些環境。Pip和conda在如何實現環境中的依賴關係方面也有所不同。

    在這裏插入圖片描述參考:Conda和pip比較 – https://www.jianshu.com/p/5601dab5c9e5

    conda install XXX 和 pip install XXX 的區別

    但有些包可能只能通過pip安裝,畢竟conda和pip的使命不一樣。

    常用命令

    查看已經安裝的包:

    pip list 或者 conda list
    

    安裝和更新:

    pip install requests
    pip install requests --upgrade
    

    或者

    conda install requests
    conda update requests
    

    更新所有庫

    conda update --all
    

    更新 conda 自身

    conda update conda
    

    更新 anaconda 自身

    conda update anaconda
    
    發表評論
    所有評論
    還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
    相關文章