用python 正确计算大文件md5 值

import hashlib

def md5_for_file(f, block_size=2**20):
    md5 = hashlib.md5()
    while True:
        data = f.read(block_size)
        if not data:
            break
        md5.update(data)
    return md5.digest()

def md5sum(filename, blocksize=65536):
    hash = hashlib.md5()
    with open(filename, "r+b") as f:
        for block in iter(lambda: f.read(blocksize), ""):
            hash.update(block)
    return hash.hexdigest()

import os
from Crypto.Hash import MD5

def get_file_checksum(filename):
    h = MD5.new()
    chunk_size = 8192
    with open(filename, 'rb') as f:
        while True:
            chunk = f.read(chunk_size)
            if len(chunk) == 0:
                break
            h.update(chunk)
    return h.hexdigest()

发表第一条评论！

提交

相关推荐

• golang 计算大文件md5

  以前介绍过用python 计算大文件的md5 值，这里将介绍使用 golang 计算大文件md5

  golang md5 文件 计算
• python 标准库读写CSV 文件

  CSV 是（Comma Separated Values 逗号分隔值）的英文缩写，通常都是纯文本文件。这里介绍使用python 标准库读写csv 文件的方法。

  CSV python 读写 文件 标准
• python获取当前运行文件路径的方法

  下面是python获取当前运行文件路径的方法

  python 路径 获取 文件 运行
• python 终端 print 正确显示中文

  当一个py 文件里有print中文时，在终端运行时，会输出乱码

  print python 中文 终端 正确
• python 高效的list 去重方式

  list 去重是编程中经常用到的，python 的去重方式很灵活，下面介绍多种去重方式，并比较得出最高效的方式。

  list python 高效 方式
• Python List 按键高效排序方法

  Python含有许多古老的排序规则，这些规则在你创建定制的排序方法时会占用很多时间，而这些排序方法运行时也会拖延程序实际的运行速度。

  Python List 按键 排序 高效
• python 根据字符串随机生成颜色

  遇到这么一个需求：根据用户名或用户id，随机生成一个颜色。其实就是用python 根据字符串随机生成颜色。

  python 字符串 随机 生成 颜色
• python SQLite3 连接池

  这边文章主要介绍使用 python 建立 SQLite3 连接池，但是得不偿失。

  SQLite3 python 连接池
• Python UUID 模块学习记录

  uuid是一种唯一标识，在许多领域作为标识用途。python的uuid模块就是用来生成它的。

  Python UUID 模块 记录 学习
• 用python正则获取通过搜索引擎过来的搜索关键字

  简单记录一下某个页面来路的搜索关键字，用 python 正则获取request.headers的referer字段。

  python 正则 搜索引擎 关键字 搜索