包含了大文件安全读取的方法,md5对象的转换和存储方法,示例如下:
import rehash
import pickle
import base64
file_path = '' # 文件路径
file_hash = rehash.md5() # 生成md5迭代器
with open(file_path, 'rb') as the_file:
for line in the_file: # 对可迭代对象the_file进行迭代遍历,会自动地使用缓冲IO(buffered IO)以及内存管理,避免读取大文件导致内存溢出
file_hash.update(line)
print(file_hash.hexdigest()) # 获得md5字符串
# md5迭代器的转换存储,使用pickle把对象转换为字节流,然后使用base64转换为一定长度的字符串
file_hash_str = base64.b64encode(pickle.dumps(file_hash)).decode()
# 字符串逆向转换为md5迭代器,可用于再次迭代或者提取md5字符串
file_hash = pickle.loads(base64.b64decode(file_hash_str.encode()))
print(file_hash.hexdigest()) # 校验转换效果