python中pickle的使用(結合實際項目討論)

需求介紹

最近在進行一個序列到序列的智能機器人問答模型,屬於NPL領域,大家都知道NPL重要的就是文本向量化,我在此次搭建模型過程中需要對文本進行構建字典,意思就是將文本的詞和詞彙包括數字、英文內容,將其進行編號,但是如果每次訓練模型都需要重新構建這個詞彙字典,那豈不是又浪費資源又浪費時間嗎?那麼pickle就可以幫助我們這個問題,我們可以將這個字典存儲到一個文件中持久化存儲進去,當用的時候我們直接讀取這個文件就可以,而不再需要二次構建!

Pickle簡介

他在Python中主要的意義就是序列化反序列化的作用,序列化是Python的對象(或者也可以說數據類型)轉化爲字節序列,反序列化就是字節序列轉化爲Python的對象。

代碼實現

import pickle
#存儲
file = open('word_dict.pickle', 'wb')
pickle.dump(word_dict, file)
file.close()
# 讀取
file = open('word_dict.pickle', 'rb')
word_dict = pickle.load(file)
word_dict

補充 

Python2.x版本的與Python3的pickle是不兼容的,前者叫做CPickle後者就是pickle(但是直接pip install貌似不可以,我是下載壓縮包安裝的去PyPI裏下載就OK了)

如果有說的不正確的地方期望各位兄臺,大佬給予糾正!

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章