使用Python生成大文件的md5,可用于文件分块传输的校验

 包含了大文件安全读取的方法,md5对象的转换和存储方法,示例如下:

import rehash
import pickle
import base64

file_path = ''  # 文件路径

file_hash = rehash.md5()  # 生成md5迭代器
with open(file_path, 'rb') as the_file:
    for line in the_file:  # 对可迭代对象the_file进行迭代遍历,会自动地使用缓冲IO(buffered IO)以及内存管理,避免读取大文件导致内存溢出
        file_hash.update(line)
print(file_hash.hexdigest())  # 获得md5字符串

# md5迭代器的转换存储,使用pickle把对象转换为字节流,然后使用base64转换为一定长度的字符串
file_hash_str = base64.b64encode(pickle.dumps(file_hash)).decode()
# 字符串逆向转换为md5迭代器,可用于再次迭代或者提取md5字符串
file_hash = pickle.loads(base64.b64decode(file_hash_str.encode()))
print(file_hash.hexdigest())  # 校验转换效果

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章