python數據解析模塊之glom模塊的使用(一)

glom模塊的使用

簡單說下glom模塊主要是處理結構化數據用的，安裝簡單pip install glom即可，下面就glom的方法參數做例子講解。

glom

和模塊同名的glom方法使用方法:

.glom(target, spec, **kwargs)
target參數是結構化數據，一般是json嵌套類型。
spec參數是定義模板
**kwargs包含鍵值類型的參數:default,skip_exc,scope

我們來看個簡單的例子、

target = {'a': {'b':{'c':{'d':{'e':[1,2,3,4,5,6,7]}}}}}

spec = 'a.b.c.d.e'
output = glom(target, spec)
print(output)

#輸出[1, 2, 3, 4, 5, 6, 7]

我們嘗試下更多玩法:

target = {'a': {'b':{'c':{'d':{'e':[1,2,3,4,5,6,7]}}}}}

spec = {'aa':'a.b.c.d.e'}
output = glom(target, spec)
print(output)

#輸出{'aa': [1, 2, 3, 4, 5, 6, 7]}


target2 = {'a': {'b':{'c':[{'d':[1,2,3,4]},{'d':[4,5,6,7]}]}}}

spec2 = {'test':('a.b.c',['d'])}

output2=glom(target2, spec2)
print(output2)

#輸出{'test': [[1, 2, 3, 4], [4, 5, 6, 7]]}

再來一個官方的例子，綜合運用一下:

target = {'system': {'planets': [{'name': 'earth', 'moons': 1},

                                 {'name': 'jupiter', 'moons': 69}]}}


spec = {'names': ('system.planets', ['name']),

            'moons': ('system.planets', ['moons'])}

輸出:{'moons': [1, 69], 'names': ['earth', 'jupiter']}

通過上面的一些例子可以看出，spec基礎用法就是''裏面依次寫鍵名.鍵名.鍵名.鍵名，

另外需要注意的一點，如果列表裏有字典取其值的話要求是鍵名必須相同就上面的'd'鍵。

.
可以看出glom和json的取得相比省去了很多的[].使用方便，另外spec的表達式還支持運用表達式比如lambda。
再來看一個運用參數比較全的例子

target = {'a': [0, 1, 2]} #給定一個結構化數據
spec = {'a': ('a', [lambda x:x/x])}#獲取a的值裏面元素的每個元素除以本身的值。
output = glom(target, spec,default='666',skip_exc=ZeroDivisionError)
print(output)
#輸出666

上面的結果主要演示的是spec的高級用法和第三個參數的用法。上面計算0/0的時候報錯，錯誤類型ZeroDivisionError，所以我們讓ZeroDivisionError跳過了錯誤，同時配合default給定一個錯誤時的默認值。
但是如果出現下面的情況怎麼辦呢？

t={'a': {'b.c':{'c':{'d':{'e':[1,2,3,4,5,6,7]}}}}}

s= {'aa':'a.b.c.c'}
print(glom(t,s))

接下來讓我們看Path方法

Path

glom.Path(*path_parts)
Path objects specify explicit paths when the default 'a.b.c'-style general access syntax won’t work or isn’t desirable. Use this to wrap ints, datetimes, and other valid keys, as well as strings with dots that shouldn’t be expanded，下面具體的看例子。

from glom import glom,Path

target2 = {'a': {'b':{'c':[{'d':[1,2,3,4]},{'d':[4,5,6,7]}],'w':{'3.c':'e'}}}}

output2_1=Path(glom(target2,Path('a','b','w','3.c')))
print(output2_1)
#輸出e

然後我們回過頭來看看上面使用spec的方式時出現的錯誤

t={'a': {'b.c':{'c':{'d':{'e':[1,2,3,4,5,6,7]}}}}}
print(glom(t,{'aa':Path('a','b.c','c')}))

#輸出{'aa': {'d': {'e': [1, 2, 3, 4, 5, 6, 7]}}}

注意點:

1.path的路徑的層次關係必須是緊挨着。比如上面我是直接Path('a','c')就會報錯了。
2.path不能取類似下面這種的列表裏的鍵需要配合glom處理。
Path('system','planets','name')或者Path('system','planets',['name'])都不行。

target = {'system': {'planets': [{'name': 'earth', 'moons': 1},

                                 {'name': 'jupiter', 'moons': 69}]}}

Literal

class glom.Literal(value)