SQLite 特点是轻巧，依赖少，数据库就一个文件，打包即可提走。最近做一个应用，千万条数据，更新频繁，但处理方式很简单，首先直接用SQLite 处理，结果两分钟可以完成处理一次，这个还是太慢了。下面介绍 SQLite 优化提速的经验。
后来用memory 数据库模式，先从file db 文件读取已保存数据，再把数据保存到memory 的sqlite 数据。
下面是memory 的示例
python code: sqlite memory
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
import sqlite3
class MySum:
def __init__(self):
self.count = 0
def step(self, value):
self.count += value
def finalize(self):
return self.count
con = sqlite3.connect(":memory:")
con.create_aggregate("mysum", 1, MySum)
cur = con.cursor()
cur.execute("create table test(i)")
cur.execute("insert into test(i) values (1)")
cur.execute("insert into test(i) values (2)")
cur.execute("select mysum(i) from test")
print cur.fetchone()[0]
速度有所提高，1分15秒完成一次小计算。
还是感觉很慢，就用python 的内置数据list、dict来保存中间处理数据。结果很理想，7秒一次小计算。不过占用内存是SQLite memory 的3倍。
本文网址: https://pylist.com/topic/32.html 转摘请注明来源