(python) 如何用 Python 快速插入数据到数据库中?

我有大概600w条数据,希望可以快速插入数据库中(MySQL,Sqlite 都行),请问大家有什么好的方法,我每1000条插入一次,但是45分钟才插入24w条。

1 mysql用集群而不要用单机版
2)试着修改mysql的存储引擎,当然这影响数据恢复的策略
3)表是否设置了主键或索引影响插入速度
4)采用数据二次提交的方式,也就是关闭默认的autocommit,设置为0,然后每插入10000条再commit一下,采用这种方式起码每秒处理1w条的性能还是有的
5) 换硬盘,上raid或SSD,这个严重影响数据写入速度
6) 还可以试试用load data的方式,适合将现有的文本数据导入

后台默默执行吧,这个确实没有什么好办法,如果单台数据库的话,并发的w请求取决于db,所以是有限的.建议开启写个脚本后台去执行.

发表评论

电子邮件地址不会被公开。 必填项已用*标注