pyList

用python 正确计算大文件md5 值

🕦 2015-03-10 10:40

python 计算文件的md5值很方便，但如果只是简单的把文件都入到内存中，大文件会导致问题，一般采用切片的方式分段计算，下面的几个函数可以很好的解决这个问题。

用python 正确计算大文件md5 值

使用 hashlib

import hashlib

def md5_for_file(f, block_size=2**20):
    md5 = hashlib.md5()
    while True:
        data = f.read(block_size)
        if not data:
            break
        md5.update(data)
    return md5.digest()

def md5sum(filename, blocksize=65536):
    hash = hashlib.md5()
    with open(filename, "r+b") as f:
        for block in iter(lambda: f.read(blocksize), ""):
            hash.update(block)
    return hash.hexdigest()

使用 Crypto.Hash

import os
from Crypto.Hash import MD5

def get_file_checksum(filename):
    h = MD5.new()
    chunk_size = 8192
    with open(filename, 'rb') as f:
        while True:
            chunk = f.read(chunk_size)
            if len(chunk) == 0:
                break
            h.update(chunk)
    return h.hexdigest()

上面三个函数都能正确计算大文件md5 值

本文标签： python md5 正确 文件 计算
本文网址: https://pylist.com/t/1425955230 （转载注明出处）
如果你有任何建议或疑问可以在下面 留言
发表第一条评论！
验证码图片
相关推荐

标签

golang md5 文件 计算 csv python 读写 标准 路径 获取 运行 print 中文 终端 正确 ssdb 接口 提速 转码 链接 安全 send mail sae 注意 sql torndb 注入 方式 时间 判断 当前 是否 字符串 分割 英文 访问速度 vps bbr 开启 加速 老旧 服务器 笔记本 改造 记录 u盘 mac diskutil 格式化 顽固 网页 文本 正文 提取 新闻 简析 await async 场景 使用 socks5 代理 依赖 安装 ubuntu 互转 简体 繁体 opencc 随机 生成 颜色 sqlite 数据库 经验 苦短 城铁 guido 我用 pil image 高质量 webview file android input 上传 gzip 方法 1.3 caddy tls 部署 快速 预览 js 原生 图片 选择 adblock 攻守 变砖 arris ac1750 sbr 路由 openwrt 修砖记 ubnt er tftp 全屏 浏览器 实现 qq 时隔多年 登录

最近发表

最近浏览