使用python和sqlite3插入的性能

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了使用python和sqlite3插入的性能，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含699字，纯文字阅读大概需要1分钟。

内容图文

我正在对SQLite3数据库进行大批量插入,并且我试图了解我应该期待什么样的性能而不是我实际看到的.

我的表看起来像这样：

cursor.execute(
            "CREATE TABLE tweets(
             tweet_hash TEXT PRIMARY KEY ON CONFLICT REPLACE,
             tweet_id INTEGER,
             tweet_text TEXT)"
        )

我的插入看起来像这样：

cursor.executemany("INSERT INTO tweets VALUES (?, ?, ?)", to_write)

其中to_write是元组列表.

目前,数据库中有大约1200万行,插入5万行需要大约16分钟,在2008年的macbook上运行.

这听起来合理,还是有些事情发生了？

解决方法:

据我所知,性能不佳的主要原因是浪费时间来提交许多SQLite事务.该怎么办？

然后删除索引

PRAGMA synchronous = OFF (or NORMAL)

插入N行的块(定义N,尝试N = 5000以启动).
在插入块之前

BEGIN TRANSACTION

插入后做

COMMIT

另见http://www.sqlite.org/faq.html#q19

内容总结

以上是互联网集市为您收集整理的使用python和sqlite3插入的性能全部内容，希望文章能够帮你解决使用python和sqlite3插入的性能所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端