python 计算文件的md5值很方便，但如果只是简单的把文件都入到内存中，大文件会导致问题，一般采用切片的方式分段计算，下面的几个函数可以很好的解决这个问题。
使用 hashlib
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
import hashlib
def md5_for_file(f, block_size=2**20):
md5 = hashlib.md5()
while True:
data = f.read(block_size)
if not data:
break
md5.update(data)
return md5.digest()
def md5sum(filename, blocksize=65536):
hash = hashlib.md5()
with open(filename, "r+b") as f:
for block in iter(lambda: f.read(blocksize), ""):
hash.update(block)
return hash.hexdigest()
使用 Crypto.Hash
1
2
3
4
5
6
7
8
9
10
11
12
13
import os
from Crypto.Hash import MD5
def get_file_checksum(filename):
h = MD5.new()
chunk_size = 8192
with open(filename, 'rb') as f:
while True:
chunk = f.read(chunk_size)
if len(chunk) == 0:
break
h.update(chunk)
return h.hexdigest()
上面三个函数都能正确计算大文件md5 值
本文网址: https://pylist.com/topic/70.html 转摘请注明来源