爲自己代言：《零基礎學Python數據分析與挖掘》視頻教程上線啦
以下爲譯文：
如今全球各個行業內 Python 的使用狀況怎麼樣呢？
這個問題就是我寫這篇文章的初衷。我找出了22個最常用的 Python 包，希望能給你一些啓發。
首先我列出了最近一年內 PyPI 上下載量最高的 Python 包。我們來看看這些包的作用，它們的之間的關係，以及爲什麼會如此流行。
1. Urllib3
8.93億次下載
Urllib3 是 Python 的 HTTP 客戶端，它提供了許多 Python 標準庫沒有的功能。
線程安全
連接池
客戶端 SSL/TLS 驗證
使用 multipart 編碼進行文件上傳
用於重傳請求並處理 HTTP 重定向的輔助功能
支持 gzip 和 deflate 編碼
支持 HTTP 和 SOCKS 代理
儘管名字叫做 Urllib3，但它並不是 Python 自帶的 urllib2 的後繼版本。如果你想儘可能使用 Python 的核心功能（比如由於某些限制導致不能安裝），那麼可以看看 urllib.request。
對於最終用戶，我強烈推薦 requests 包（參考列表中的第六項）。Urllib3 之所以排名第一是因爲幾乎 1200 個軟件包都依賴它，許多這些軟件包也都在列表中名列前茅。
2. Six
7.32億次下載
Six 是 Python 2 和 Python 3 兼容性工具。該項目的目的是讓代碼能夠同時在 Python 2 和 Python 3 上運行。
它提供了許多函數，掩蓋了 Python 2 和 Python 3 之間的語法差異。最容易理解的例子就是six.print_()。在 Python 3 中，輸出時需要使用 print() 函數，而 Python 2 中是使用不帶括號的 print。因此，使用 six.print_() 可以同時支持兩種語言。
重點：
包的名字 six 來自於2 x 3 = 6
類似的庫還有 future
如果想將代碼轉換成 Python 3（同時不再支持 Python 2），可以看看 2to3
儘管我理解該包如此流行，但還是希望人們儘快拋棄 Python 2，特別是從2020年1月1日起官方已經不再支持 Python 2了。
3. botocore, boto3, s3transfer, awscli
這幾個項目放在一起說：
botocore：第3名，6.6億次下載
s3transfer：第7名，5.84億次下載
awscli：第17名，3.94億次下載
boto3：第22名，3.29億次下載
Botocore 是 AWS 的底層接口。botocore 是 boto3（第22名）庫的基礎，後者可以讓你訪問亞馬遜的S3、EC2等服務。
Botocore 也是 AWS-CLI 的基礎，後者是 AWS 的命令行界面。
s3transfer（第七名）是用於管理S3傳輸的 Python 庫。該庫仍在開發中，它的主頁依然不建議使用，或者使用時至少要固定版本，因爲即使在小版本號之間它的API也可能會發生變化。boto3、AWS-CLI 和許多其他項目都依賴於 s3transfer。
AWS 相關的庫的排名如此高，正說明了 AWS 的服務是多麼流行。
4. Pip
6.27億次下載
我猜許多人都知道並且喜愛 pip（Python的包安裝工具）。使用 pip 從 Python Package Index和其他倉庫（如本地鏡像或包含私有軟件的自定義倉庫等）安裝軟件包不費吹灰之力。
關於 pip 的趣事：
Pip 的名字是個遞歸定義：Pip Installs Packages
Pip 非常容易使用。安裝一個軟件包只需要執行 pip install <軟件包名>。刪除只需要執行 pip uninstall <軟件包名>。
Pip 最大的好處就是它可以安裝一系列包，通常會放在 requirements.txt 文件中。該文件還可以指定每個包的詳細版本號。絕大多數 Python 項目都會包含這個文件。
與 virtualenv（第57名）結合使用 pip，可以創建可預測的、獨立的環境，而不會與系統本身的環境互相影響。
5. python-dateutil
6.17億次下載
Python-dateutil 模塊爲標準的 datetime 模塊提供了強大的功能擴展。普通的 Python datetime 無法做到的事情都可以使用 python-dateutil 完成。
用這個庫可以完成許多非常酷的功能。我只舉一個非常有用的例子：從日誌文件中模糊解析日期字符串：
from dateutil.parser import parse
logline = 'INFO 2020-01-01T00:00:01 Happy new year, human.'
timestamp = parse(log_line, fuzzy=True)
print(timestamp)
# 2020-01-01 00:00:016. requests
6.11億次下載
Requests 基於下載量第一的庫 urllib3。有了它，發送請求變得極其簡單。許多人對 requests 的喜愛超過了 urllib3，因此 requets 的最終用戶可能比 urllib3 還要多。後者更底層，通常作爲其他項目的依賴出現。
下面的例子演示了 requests 有多麼容易使用：
import requests
r = requests.get('https://api.github.com/user', auth=('user', 'pass'))
r.status_code
# 200
r.headers['content-type']
# 'application/json; charset=utf8'
r.encoding
# 'utf-8'
r.text
# u'{"type":"User"...'
r.json()
# {u'disk_usage': 368627, u'private_gists': 484, ...}7. s3transfer
第3、7、17和22名互相關聯，所以請參見第3名的介紹。
8. Certifi
5.52億次下載
近年來，幾乎所有網站都開始使用SSL，這一點可以從地址欄中的鎖圖標看出來，該圖標的意思是網站是安全的、加密的，可以避免竊聽。
加密基於SSL證書，SSL證書由可信的公司或非營利組織負責簽發，如 LetsEncrypt。這些組織會對利用它們的證書對簽發的證書進行數字簽名。
利用這些證書的公開部分，瀏覽器就可以驗證網站的簽名，從而證明你訪問的是真正的網站，而且別人沒有在竊聽數據。
Python 也可以做到同樣的功能，這就需要用到 certifi。它和 Chrome、Firefox 和 Edge 等Web瀏覽器中包含的根證書集合沒有什麼區別。
Certifi 是一個根證書集合，這樣 Python 代碼就可以驗證SSL證書的可信度。
許多項目都信賴並依賴 certifi，可以在這裏看到這些項目。這也是爲何該項目排名如此高的原因。
9. Idna
5.27億次下載
根據 PyPI 的頁面，idna提供“對於RFC5891中定義的IDNA協議（Internationalised Domain Names in Applications）的支持”。
我們來看看 idna 是什麼意思：
IDNA 是處理包含非 ASCII 字符的域名的規則。但原始的域名不是已經支持非 ASCII 字符了嗎？那麼問題何在？
問題是許多應用程序（如Email客戶端和Web瀏覽器等）並不支持非 ASCII 字符。或者更具體地說，Email 和 HTTP 協議並不支持這些字符。
在許多國家這並不是問題，但像中國、俄羅斯、德國、印尼等國家就很不方便。因此，這些國家的一些聰明人聯合起來提出了 IDNA，也並非完全偶然。
IDNA 的核心是兩個函數：ToASCII 和 ToUnicode。ToASCCI 會將國際化的 Unicode 域名轉換成 ASCII 字符串，而 ToUnicode 會做相反的處理。在 IDNA 包中，這兩個函數叫做 idna.encode() 和 idna.decode()，參見下面的例子：
import idna
idna.encode('ドメイン.テスト')
# b'xn--eckwd4c7c.xn--zckzah'
print(idna.decode('xn--eckwd4c7c.xn--zckzah'))
# ドメイン.テスト該編碼的詳細內容可以參見 RFC3490。
10. PyYAML
5.25億次下載
YAML 是一種數據序列化格式。它的設計目標是同時方便人類和機器閱讀——人類很容易讀懂，計算機解析也不難。
PyYAML 是 Python 的 YAM 解析器和編碼器，也就是說它可以讀寫 YAML 格式。它可以將任何 Python 對象編碼爲 YAML：列表，字典，甚至類實例都可以。
Python 提供了自己的配置管理器，但 YAML 提供的功能遠勝於 Python 自帶的 ConfigParser（只能使用最基本的.ini文件）。
例如，YAML 能存儲任何數據類型：boolean，list，float等。ConfigParse 的內部一切都保存爲字符串。如果你要用 ConfigParser 來加載證書，就需要指明你需要的是整數：
config.getint(“p”, “my_int”)
而 pyyaml 能夠自動識別類型，因此只需這樣就能獲得 int：
config[“p”][“my_int”]
YAML 還允許任意深度的嵌套，儘管並非每個項目都需要，但非常方便。
你可以自行決定使用哪一個，但許多項目都使用 YAML 作爲配置文件，因此該項目的流行度非常高。
11. pyasn1
5.12億次下載
像 IDNA 一樣，這個項目的描述的信息量也非常大：
ASN.1 類型和 DER/BER/CER 編碼（X.208）的純 Python 實現。
幸運的是，我們依然能找到這個幾十年之久的標準的許多資料。ASN.1 是 Abstract Syntax Notation One（抽象語法記法一）的縮寫，是數據序列化的鼻祖。它來自於通訊行業。也許你知道 protocol buffer 或者 Apache Thrift 吧？ASN.1正是它們的1984年版本。
ASN.1 描述了一種不同系統之間的跨平臺的接口，可以通過該接口發送數據結構。
還記得第8名的 certifi 嗎？ASN.1 用於定義 HTTPS 協議以及許多其他加密系統中使用的證書的格式。ASN.1 還廣泛用於 SNMP、LDAP、Kerberos、UMTS、LTE 和 VOIP 等協議中。
它是個非常複雜的標準，人們已經發現某些實現充滿了脆弱性。你可以看看 Reddit 上的這個關於 ASN.1 的討論（https://www.reddit.com/r/programming/comments/1hf7ds/useful_old_technologies_asn1/）。
除非真正必要，否則我建議不要使用它。但由於許多地方都在使用該協議，因此許多包都依賴於它。
12. docutils
5.08億次下載
Docutils 是一個模塊化系統，用於將純文本文檔轉換成其他格式，如 HTML、XML 和 LaTeX等。docutils 可以讀取 reStructuredText 格式（一種類似於 MarkDown 的容易閱讀的格式）的純文本文檔。
我猜你一定聽說過 PEP 文檔，甚至可能閱讀過。PEP 文檔是什麼？
PEP 的意思是 Python Enhanced Proposal（Python增強提案）。PEP 是一篇設計文檔，用於給 Pytho n社區提供信息，或者爲 Python（或其處理器、環境）描述一個新特性。PEP 應該提供特性的精確的技術標準，並給出該特性的理由。
PEP 文檔就是使用固定的 reStructuredText 模板，然後通過 docutils 轉換成漂亮的文檔。
Sphinx 的核心也使用了 docutils。Sphinx 用於創建文檔項目。如果說 docutils 是一臺機器，那麼 Sphinx 就是一個工廠。它的最初設計目的是構建P ython 本身的文檔，但許多其他項目也利用 Sphinx 來創建文檔。
你一定度過 readthedocs.org 上的文檔吧？那裏的文檔都是使用 Sphinx 和 docutils 創建的。
13. Chardet
5.01億下載
你可以使用 chardet 模塊來檢查文件或數據流的字符集。在分析大量隨機的文本時這個功能非常有用。但也可以用來判斷遠程下載的數據的字符串。
在安裝 chardet 後，就可以使用命令行工具 chardetect，使用方法如下：
chardetect somefile.txt
somefile.txt: ascii with confidence 1.0也可以在程序中使用該庫，參見文檔（https://chardet.readthedocs.io/en/latest/usage.html）。
Requests 和許多其他包都依賴於 chardet。我估計不會有太多人直接使用 chardet，所以它的流行度肯定是來自於這些依賴。
14. RSA
4.92億次下載
Rsa是 RSA 的純 Python 實現。它支持如下功能：
加密和解密
簽名和簽名驗證
根據 PKCS#1 version 1.5生成祕鑰
它可以作爲 Python 庫使用，也可以在命令行上使用。
RSA 名稱中的三個字母來自於三個人的姓：Ron Rivest，Adi Shamir，和Leonard Adleman。他們於1977年發明了該算法。
RSA 是最早出現的一批公鑰加密系統，廣泛用於安全數據傳輸。這種加密系統包括兩個祕鑰：一個是公鑰，一個是私鑰。使用公鑰加密數據，然後該數據只能用私鑰進行解密。
RSA 算法很慢。通常並不使用 RSA 算法直接加密用戶數據，而是用它來加密對稱加密系統中使用的共享祕鑰，因爲對稱加密系統速度很快，適合用來加密大量數據。
下面 代碼演示了 RSA 的使用方法：
import rsa
# Bob creates a key pair:
(bob_pub, bob_priv) = rsa.newkeys(512)
# Alice ecnrypts a message for Bob
# with his public key
crypto = rsa.encrypt('hello Bob!', bob_pub)
# When Bob gets the message, he
# decrypts it with his private key:
message = rsa.decrypt(crypto, bob_priv)
print(message.decode('utf8'))
# hello Bob!假設 Bob 擁有私鑰 private，Alice 就能確信只有 Bob 才能閱讀該信息。
但 Bob 並不能確信 Alice 是信息的發送者，因爲任何人都可以獲得 Bob 的公鑰。爲了證明發送者的確是 Alice，她可以使用自己的私鑰對信息進行簽名。Bob 可以使用 Alice 的公鑰對簽名進行驗證，來確保發送者的確是 Alice。
許多其他包都依賴於 rsa，如 google-auth（第37名），oauthlib（第54名），awscli（第17名）。這個包並不會經常被直接使用，因爲有許多更快、更原生的方法。
15. Jmespath
4.73億次下載
在 Python 中使用 JSON 很容易，因爲 JSON 可以完美地映射到 Python 的字典上。我認爲這是最好的特性之一。
說實話我從來沒聽說過 jmepath 這個包，儘管我使用過很多 JSON。我會使用 json.loads() 然後手動從字典中讀取數據，或許還得寫幾個循環。
JMESPath，讀作“James path”，能更容易地在 Python 中使用 JSON。你可以用聲明的方式定義怎樣從 JSON 文檔中讀取數據。下面是一些最基本的例子：
import jmespath
# Get a specific element
d = {"foo": {"bar": "baz"}}
print(jmespath.search('foo.bar', d))
# baz
# Using a wildcard to get all names
d = {"foo": {"bar": [{"name": "one"}, {"name": "two"}]}}
print(jmespath.search('foo.bar[*].name', d))
# [“one”, “two”]這僅僅是它的冰山一角。更多用法參見它的文檔和 PyPI 主頁。
16. Setuptools
4.01億次下載
Setuptools 是用來創建 Python 包的工具。
這個項目的文檔很糟糕。文檔並沒有描述它的功能，還包含死鏈接。真正的好文檔在這裏：https://packaging.python.org/，以及這篇文章中關於怎樣創建 Python 包的教程：https://packaging.python.org/tutorials/packaging-projects/。
17. awscli
第3、7、17和22名互相關聯，所以請參見第3名的介紹。
18. pytz
3.94億次下載
類似於第5名的 dateutils，該庫可以幫助你操作日期和時間。處理時區很麻煩。幸運的是，這個包可以讓時區處理變得很容易。
關於時間，我的經驗是：在內部永遠使用UTC，只有在需要產生供人閱讀的輸出時才轉換成本地時間。
下面是 pytz 的例子：
from datetime import datetime
from pytz import timezone
amsterdam = timezone('Europe/Amsterdam')
ams_time = amsterdam.localize(datetime(2002, 10, 27, 6, 0, 0))
print(ams_time)
# 2002-10-27 06:00:00+01:00
# It will also know when it's Summer Time
# in Amsterdam (similar to Daylight Savings Time):
ams_time = amsterdam.localize(datetime(2002, 6, 27, 6, 0, 0))
print(ams_time)
# 2002-06-27 06:00:00+02:00更多文檔和例子可以參見 PyPI 頁面。
19. Futures
3.89億次下載
從 Python 3.2 開始，python 開始提供 concurrent.futures 模塊，可以幫你執行異步操作。futures 包是該庫的反向移植，所以它是用於 Python 2 的。當前的 Python 3 版本不需要該包，因爲 Python 3 本身就提供了該功能。
前面我說過，從2020年1月1日起官方已經停止支持 Python 2。我希望明年再做這個列表的時候，不再看到這個包排進前22名。
下面是 futures 包的基本用法：
from concurrent.futures import ThreadPoolExecutor
from time import sleep
def return_after_5_secs(message):
sleep(5)
return message
pool = ThreadPoolExecutor(3)
future = pool.submit(return_after_5_secs,
("Hello world"))
print(future.done())
# False
sleep(5)
print(future.done())
# True
print(future.result())
# Hello World可見，我們可以創建一個線程池，然後提交一個函數，讓某個線程執行。同時，你的程序會繼續在主線程上運行。這是實現並行執行的一種很容易的方式。
20. Colorama
3.70億次下載
你可以使用 Colorama 在終端上添加顏色：
下面的示例演示了實現這個功能有多麼容易：
from colorama import Fore, Back, Style
print(Fore.RED + 'some red text')
print(Back.GREEN + 'and with a green background')
print(Style.DIM + 'and in dim text')
print(Style.RESET_ALL)
print('back to normal now')21. Simplejson
3.41億次下載
Python 自帶的 json 模塊有什麼問題導致了這個包有如此高的排名？沒有任何問題！實際上， Python 的 json 就是 simplejson。但 simplejson 有一些優點：
能在更多 Python 版本上運行
更新頻率高於 Python
一部分代碼是用C編寫的，運行得非常快
有時候你會看到腳本中這樣寫：
try:
import simplejson as json
except ImportError:
import json不過，除非確實需要一些標準庫中沒有的功能，我依然會使用 json。SImplejson 可能比 json快很多，因爲它的一部分是用C實現的。但是除非你要處理幾千個 JSON 文件，否則這點速度提升並不明顯。此外還可以看看 UltraJSON，這是個幾乎完全用C編寫的包，應該速度更快。
22. boto3
第3、7、17和22名互相關聯，所以請參見第3名的介紹。
結束語
只寫22個包很難，因爲後面的許多包都是終端用戶更傾向使用的包。
寫這篇文章給了我一些啓示：
許多排名靠前的包提供一些核心的功能，如處理時間、配置文件、加密和標準化等。它們通常是其他項目的依賴。
最常見的使用場景就是連接。許多包提供的功能就是連接到服務器，或者支持其他包連接服務器。
其他包是對 Python 的擴展，比如用於創建 Python 包的工具，創建文檔的工具，創建版本兼容性的工具，等等。
我希望你喜歡這個列表，並能夠從中有所收穫！
原文：https://medium.com/better-programming/the-22-most-used-python-packages-in-the-world-7020a904b2e