用python 正确计算大文件md5 值

import hashlib

def md5_for_file(f, block_size=2**20):
    md5 = hashlib.md5()
    while True:
        data = f.read(block_size)
        if not data:
            break
        md5.update(data)
    return md5.digest()

def md5sum(filename, blocksize=65536):
    hash = hashlib.md5()
    with open(filename, "r+b") as f:
        for block in iter(lambda: f.read(blocksize), ""):
            hash.update(block)
    return hash.hexdigest()

import os
from Crypto.Hash import MD5

def get_file_checksum(filename):
    h = MD5.new()
    chunk_size = 8192
    with open(filename, 'rb') as f:
        while True:
            chunk = f.read(chunk_size)
            if len(chunk) == 0:
                break
            h.update(chunk)
    return h.hexdigest()

发表第一条评论！

提交

相关推荐

• golang 计算大文件md5

  以前介绍过用python 计算大文件的md5 值，这里将介绍使用 golang 计算大文件md5

  golang md5 文件 计算
• python 终端 print 正确显示中文

  当一个py 文件里有print中文时，在终端运行时，会输出乱码

  print python 中文 终端 正确
• python获取当前运行文件路径的方法

  下面是python获取当前运行文件路径的方法

  python 路径 获取 文件 运行
• python 标准库读写CSV 文件

  CSV 是（Comma Separated Values 逗号分隔值）的英文缩写，通常都是纯文本文件。这里介绍使用python 标准库读写csv 文件的方法。

  CSV python 读写 文件 标准
• 在 Ubuntu 16.04.6 LTS 系统上安装 Python 3.6.3

  自己的阿里云一个 VPS 用的是系统 Ubuntu 16.04.6 LTS，自带的python版本是 `2.7.12` 与 `3.5.2`，有时候要用到 python `3.6`，又不想卸掉原来版本。下面介绍安装 python 3.6.3 的过程，因为版本较旧，遇到一些坑，这里记录一下。

  Python Ubuntu
• 传说中最快的python字典排序方法

  对简单字典的排序，如d = {'a':2, 'b':23, 'c':5, 'd':17, 'e':1}，按key-value排序，官方有一种传说是最快的方法。

  python 字典 排序 最快 传说
• python 解决os.popen 超时问题

  Python 使用函数 os.popen 会出现过长时间等待导致阻塞问题。

  os popen python 超时 解决
• 给ssdb python 接口提速

  SSDB 是个新兴的数据库，其数据库的特点简单，性能高效，有好多python 接口，个人比较后选择一个最理想的，但还有提速空间，这里仅作经验分享。

  python ssdb 接口 提速
• python 处理命令行参数

  Python 完全支持创建在命令行运行的程序，也支持通过命令行参数和短长样式来指定各种选项。

  python 命令行 参数 处理
• python SQLite 数据库提速经验

  SQLite 特点是轻巧，依赖少，数据库就一个文件，打包即可提走。最近做一个应用，千万条数据，更新频繁，但处理方式很简单，首先直接用SQLite 处理，结果两分钟可以完成处理一次，这个还是太慢了。下面介绍 SQLite 优化提速的经验。

  python SQLite 数据库 提速 经验