包含了大文件安全讀取的方法,md5對象的轉換和存儲方法,示例如下:
import rehash
import pickle
import base64
file_path = '' # 文件路徑
file_hash = rehash.md5() # 生成md5迭代器
with open(file_path, 'rb') as the_file:
for line in the_file: # 對可迭代對象the_file進行迭代遍歷,會自動地使用緩衝IO(buffered IO)以及內存管理,避免讀取大文件導致內存溢出
file_hash.update(line)
print(file_hash.hexdigest()) # 獲得md5字符串
# md5迭代器的轉換存儲,使用pickle把對象轉換爲字節流,然後使用base64轉換爲一定長度的字符串
file_hash_str = base64.b64encode(pickle.dumps(file_hash)).decode()
# 字符串逆向轉換爲md5迭代器,可用於再次迭代或者提取md5字符串
file_hash = pickle.loads(base64.b64decode(file_hash_str.encode()))
print(file_hash.hexdigest()) # 校驗轉換效果