首页 / PHP / 如何处理百万条数据写入到数据库

如何处理百万条数据写入到数据库

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了如何处理百万条数据写入到数据库，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含4421字，纯文字阅读大概需要7分钟。

内容图文

在一个文本文件里存了一百万条数据，一行一条，

我需要把符合条件的每一行数据写入到数据库里，

按照以前的做法就是读取文件里的数据，然后存入数组，然后foreach数组进行一条一条的处理（符合条件的写入到数据库），

但是面对上百万条数据，如果我再继续这样做看来是自寻死路，可是处理大数据真是大姑娘我坐花轿可是头一回，一点经验也没有，

从网上找资料说用php进程/线程来解决，我对进程与线程是一头污水，请大牛们进来分享一下这方面的经验，是怎么处理大数据的，如果通过进程/线程又是怎么实现的呢？

回复内容：

在一个文本文件里存了一百万条数据，一行一条，

我需要把符合条件的每一行数据写入到数据库里，

按照以前的做法就是读取文件里的数据，然后存入数组，然后foreach数组进行一条一条的处理（符合条件的写入到数据库），

但是面对上百万条数据，如果我再继续这样做看来是自寻死路，可是处理大数据真是大姑娘我坐花轿可是头一回，一点经验也没有，

从网上找资料说用php进程/线程来解决，我对进程与线程是一头污水，请大牛们进来分享一下这方面的经验，是怎么处理大数据的，如果通过进程/线程又是怎么实现的呢？

百万条…不算大数字啊…

数据处理的瓶颈基本在IO，你可以直接单线程读写（特别是你还要做数据库插入，随便添加个index你的插入就成为瓶颈了）。

但是你为什么要存入数组啊同学！你准备把文件内容全部塞进内存吗啊？读一条，判断一次，OK就存数据库不OK就丢掉，就这么简单，存什么数组…

还有你真的准备用PHP做数据处理吗…

按一千万行的数据来计算，假设你对 PHP 最熟悉，开发速度最快，假设你要写入到 MySQL 中。

  1. 用 shell 将一千万行文件切分成 100 个文件,这样每个文件有10万行,具体做法可以 man split。

  2. 写 php 脚本,脚本内容是读一个文件,然后输出有效的数据。注意数据格式，严格按照表中字段的顺序来写，字段之间用半角分号隔开，行之间用 \n 隔开。具体参数可配置，参见 MySQL 的 load data 命令参数。注意是 php cli 方式运行的，不要拿 Apache 或者 其他 web server 下面跑这个东西。如果按行读不知道怎么搞可以直接用 php 的 file() 函数，生成的 sql 语句通过 error_log($sql, 3, "/path/to/dataa") 函数写入到文件中。同时可以 echo 一些调试信息，以备后续检查。

  3. 写 shell 脚本调用 php 处理日志.脚本可以类似来写

    /path/to/php/bin/php -f genMySQLdata.php source=loga out=dataa > /errora.log & /path/to/php/bin/php -f genMySQLdata.php source=logb out=datab > /errorb.log & /path/to/php/bin/php -f genMySQLdata.php source=logc out=datac > /errorc.log & ....重复一百行，机器配置低可以分批写，每个写 10 行也行。这个脚本内容很有规律吧，本身也可以用 php 来生成。时间又省了。 在机器上执行这个 shell 脚本，实际上就启动多个 PHP 进程来生成数据。配置够牛的话，就等于你启动了 100 个 PHP 进程来处理数据。速度又快了。

  4. 继续写 shell 脚本，内容是打开 MySQL 用 load data 来载入数据。

    mysql -h127.0.0.1 -uUser -ppwd -P3306 -D dbname -e 'load data infile "/path/to/dataa" into table TableName(Field1, Field1, Field1);' 其中的 field1 ... 要跟生成数据的顺序对应，这个命令可以直接执行，也可以放到 shell 里面重复写 N 行,然后执行 shell 脚本。

PS：注意编码

如果是一次性把这100万数据导入mysql就完事了，用mysql的load data就可以搞的，我用load data 导入以前csdn泄漏的帐号密码650万左右的数据也就2分钟多点。。。
如果是多次复用程序，想做成脚本，可以每次读取10万个，foreach外面显式开启事务（ps:循环插入必须显式开启事务，性能比较好，一次性写入后，再统一commit，10万条速度提升最起码百倍甚至千倍，磁盘io也低），变量用完记得unset，插入100万数据那是小case。
也可以用insert into values(1,2),(2,3)...拼接的方式，性能最快。不过注意sql语句长度有限制，可以一次性插入1000条。 不显式开启事务，foreach里insert是最垃圾的做法，最慢，io压力也最大，因为每次insert，都有一次昂贵的系统调用fsync(). 循环100万次相当于调用100万次fsync. 显示开启事务，每10万次一次commit调用一次fsync，100万次只调用10次fsync。

这个场景,瓶颈不再php上,一百万数据的插入所需时间很短的,
不用一次全读内存,一次读一条,符合条件的拼成sql,不要着急插mysql,
等拼个几百条在插一次,速度快很多,注意最后拼出来的sql大小不要超过max_ allowed_ packet,

用python吧,先用python读取文本生成sql，再用source导入，OK！

f = open("/data/data.txt")
t = open("/data/sql.txt", 'w+');
s = '';
i = 0;
line = f.readline();
while line:
    a  = line.split("\t");
    t.write("INSERT INTO `table`(`id`, `add_time`) VALUES");
    b = "('%s', '%s');" %(a[0], a[2]);
    line = f.readline(); 
    if line == '':
        b = "('%s', '%s');" %(a[0], a[2]);
    t.write(b);
f.close();
t.close();

补充一下，记得把Index都删了，然后load data in file.最后再把Index加上，这样会快很多

其实你为什么不试一下写个线程来处理数据的导入呢，在导入之前我建议开启事物、我一般比较喜欢在程序中开启事物。

一般数据库都提供 buck insert的功能吧~

LOAD DATA INFILE http://dev.mysql.com/doc/refman/5.7/en/load-data.html

不应该从文件筛选数据插入数据库，而应该整文件插入数据库，然后从数据库筛选，那样要简单多了。

数据库不就是干那个的吗？

内容总结

以上是互联网集市为您收集整理的如何处理百万条数据写入到数据库全部内容，希望文章能够帮你解决如何处理百万条数据写入到数据库所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/234831.html

来源：【匿名】