常用配置文件 參考

 

ini

ini即 Initialize 初始化之意,早期是在 Windows 上配置文件的存儲格式。ini文件的寫法通俗易懂,往往比較簡單,通常由節(Section)、鍵(key)和值(value)組成,就像以下形式:

[localdb]
host = 127.0.0.1
user = root
password = 123456
port = 3306
database = mysql

Python 本身內置的 configparser標準庫,我們直接就可以用來對ini文件進行解析。如我們將上述內容保存在一個名爲db.ini的文件中,然後使用read方法來進行解析和讀取,最後通過items方法來獲取指定節點下的所有鍵值對。

>>> from configparser import ConfigParser
>>> cfg = ConfigParser>>> cfg.read("/Users/Bobot/db.ini")
['/Users/Bobot/db.ini']
>>> cfg.items("localdb")
[('host', '127.0.0.1'), ('user', 'root'), ('password', '123456'), ('port', '3306'), ('database', 'mysql')]

需要注意的是,configparser默認將值以字符串的形式呈現,所以這也就是爲什麼我們在db.ini文件中沒有加引號而是直接將字面量寫在上面的原因。

獲取到鍵值對後,我其實直接就將其轉換成字典,然後通過解包的方式進行穿參,保持代碼簡潔:

#!pip install pymysql
import pymysqlfrom configparser import ConfigParser
cfg = ConfigParsercfg.read("/Users/Bobot/db.ini")
db_cfg = dict(cfg.items("localdb"))
con = pymysql.connect(**db_cfg)

 

json

json格式可以說是我們常見的一種文件形式了,也是目前在互聯網較爲流行的一種數據交換格式。除此之外,json有時也是配置文件的一種。

比如 npm(JavaScript 包管理工具類似 Python 的pip)、以及微軟出品的目前被廣泛使用的 VSCode 編輯器,都使用json編寫配置參數。

和 configparser一樣,Python 也內置了json標準庫,可以通過loadloads方法來導入文件式和字符串的json內容。

{
"localdb":{
"host": "127.0.0.1",
"user": "root",
"password": "123456",
"port": 3306,
"database": "mysql"
}}

我們將上述內容保存爲 db.json後進行讀取和解析,json庫讀取 json 文件相對簡單容易,而且很容易解析成 Python 的字典對象。

>>> import json
>>> from pprint import pprint
>>>>>> with open('/Users/Bobot/db.json') as j:
... cfg = json.load(j)['localdb']
...>>> pprint(cfg){'database': 'mysql',
'host': '127.0.0.1',
'password': '123456',
'port': 3306,
'user': 'root'}

使用 json文件配置的缺點就是語法標準嚴格限制,爲人所詬病之一的就是無法在當中寫註釋,除非採取json類型的其他超集作爲替代方案(VSCode 中能寫註釋的json參數配置文件便是代替方案的一種);同時存在嵌套過深的問題,容易導致出錯,不宜用來寫過長或複雜的參數配置信息。

 

toml

toml格式(或tml格式)是 Github 聯合創始人 Tom Preston-Werner 所提出的一種配置文件格式。根據維基百科的資料,toml最開始提出時是在 2013年7月份,距今已有七年時間;它在某些方面也與後面要談到的yaml文件有些類似,但如果當你知道 yaml 的規範有幾十頁(沒有錯,真的就是幾十頁……)的時候,可能你真的就不太願意去寫那麼複雜的配置文件,toml格式則倒是個不錯的選擇。

toml格式大致如下:

 

 

 

 

01-toml樣式

 

從這裏可以看出 toml有點類似於前面所講的ini文件。但是它比ini擴展了更多的內容。

在樣例圖片中我們可以看到,除了基本的字符串以外,例如時間戳、布爾值、數組等都進一步支持,而且樣式和 Python 的原生寫法十分類似。

當然這裏不會過多介紹 toml格式的一些規範說明,有人已經對官方的規範文檔進行了翻譯,有興趣的朋友可以直接查閱。

這麼契合 Python 方式的配置文件類型已經有開發者造出了相應的「輪子」,目前在 Github 上 Stars 數最多的是則是 uiri/toml的版本,不過該版本僅通過了 v0.5 版本toml規範,但在使用上還是蠻簡潔的,我們可以通過pip命令進行安裝

pip install toml

該庫的解析方式很簡單,也有點類似於 json庫的解析用法,即通過loadloads來進行解析;同理轉換並導出也是同樣類似的用法。

比如我們現在將以下內容寫入到 config.toml中:

[mysql]
host = "127.0.0.1"
user = "root"
port = 3306
database = "test"
[mysql.parameters]pool_size = 5
charset = "utf8"
[mysql.fields]pandas_cols = [ "id", "name", "age", "date"]

緊接着我們就可以通過 toml庫中的load方法來進行讀取:

>>> import toml
>>> import os
>>> from pprint import pprint
>>> cfg = toml.load(os.path.expanduser("~/Desktop/config.toml"))
>>> pprint(cfg){'mysql': {'database': 'test',
'fields': {'pandas_cols': ['id', 'name', 'age', 'date']},
'host': '127.0.0.1',
'parameters': {'charset': 'utf8', 'pool_size': 5},
'port': 3306,
'user': 'root'}}

可以看到 toml文件被間接地轉化成了字典類型,當然這也就是json版的寫法(將單引號替換成雙引號即可),方便我們後續調用或者傳參。

 

yaml

yaml格式(或yml格式)是目前較爲流行的一種配置文件,它早在 2001 由一個名爲 Clark Evans 的人提出;同時它也是目前被廣泛使用的配置文件類型,典型的就是 Docker 容器裏的docker-compose.yml配置文件,如果經常使用 Docker 進行部署的人對此不會陌生。

yaml文件的設計從 Python、XML 等地方獲取靈感,所以在使用時能很清楚地看到這些部分的影子。

在上一節 toml內容裏我曾提到,yaml的規範內容可以說是冗長和複雜,足足有80頁之多(鬥尊強者,恐怖如斯……)。

 

所以感興趣的朋友可以再自行了解相關用法。

YAML 官方早已經提供了相應的 Python 庫進行支持,即 PyYAML;當然也同樣需要我們事先進行安裝:

pip install pyyaml

同 json庫和toml庫一樣,通過load方法來進行加載。

需要注意的是,使用 load方法會存在一定的安全隱患,從思科 Talos 的這份報告中我們可以看到,如果加載了未知或不信任的yaml文件,那麼有可能會存在被攻擊的風險和網絡安全隱患,因爲它能夠直接調用相應的 Python 函數來執行爲攻擊者所需要的命令,比如說在yaml文件中寫入這麼一段:

# 使用Linux和macOS的朋友不要輕易嘗試
!!python/object/apply:os.system ["rm -rf /"]

因此最好是使用 safe_load來代替load方法。

這和 Python 內置的 string標準庫中Template類的substitute模板方法一樣存在着同樣的安全隱患,所以使用safe_substitute來替代是一樣的道理。

如我們現在將之前的一些配置信息寫入 config.yaml文件中:


mysql:
host: "127.0.0.1"
port: 3306
user: "root"
password: "123456"
database: "test"
parameter:
pool_size: 5
charset: "utf8"
fields:
pandas_cols:
- id- name- age- date

然後我們通過 safe_load方法進行解析:


>>> import os
>>> from pprint import pprint>>>>>> with open(os.path.expanduser("~/config.yaml"), "r") as config:
... cfg = yaml.safe_load(config)
...>>> pprint(cfg){'mysql': {'database': 'test',
'fields': {'pandas_cols': ['id', 'name', 'age', 'date']},
'host': '127.0.0.1',
'parameter': {'charset': 'utf8', 'pool_size': 5},
'password': '123456',
'port': 3306,
'user': 'root'}}

可以看到最後結果和前面的 toml庫的解析結果基本一致。

 

說明

在本文裏列舉的配置文件類型其複雜性由上到下依次增加:ini < json ≈ toml < yaml,它們之間各有優劣,可以根據自己實際的需求和團隊協作要求來具體選擇。

轉自:https://mp.weixin.qq.com/s/s8OpyNexL0R9Ay_TX7zA0Q

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章