使用Python生成大文件的md5,可用於文件分塊傳輸的校驗

 包含了大文件安全讀取的方法,md5對象的轉換和存儲方法,示例如下:

import rehash
import pickle
import base64

file_path = ''  # 文件路徑

file_hash = rehash.md5()  # 生成md5迭代器
with open(file_path, 'rb') as the_file:
    for line in the_file:  # 對可迭代對象the_file進行迭代遍歷,會自動地使用緩衝IO(buffered IO)以及內存管理,避免讀取大文件導致內存溢出
        file_hash.update(line)
print(file_hash.hexdigest())  # 獲得md5字符串

# md5迭代器的轉換存儲,使用pickle把對象轉換爲字節流,然後使用base64轉換爲一定長度的字符串
file_hash_str = base64.b64encode(pickle.dumps(file_hash)).decode()
# 字符串逆向轉換爲md5迭代器,可用於再次迭代或者提取md5字符串
file_hash = pickle.loads(base64.b64decode(file_hash_str.encode()))
print(file_hash.hexdigest())  # 校驗轉換效果

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章