首页 / MYSQL / 使用JDBC在MySQL数据库中快速批量插入数据

使用JDBC在MySQL数据库中快速批量插入数据

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了使用JDBC在MySQL数据库中快速批量插入数据，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含3661字，纯文字阅读大概需要6分钟。

内容图文

   print?
  1. package cyl.demo.ipsearcher;  
  2.   
  3. import java.io.BufferedReader;  
  4. import java.io.FileInputStream;  
  5. import java.io.IOException;  
  6. import java.io.InputStreamReader;  
  7. import java.sql.Connection;  
  8. import java.sql.DriverManager;  
  9. import java.sql.PreparedStatement;  
  10. import java.sql.SQLException;  
  11.   
  12. public class DbStoreHelper {  
  13.   
  14.     private String insert_sql;  
  15.     private String charset;  
  16.     private boolean debug;  
  17.   
  18.     private String connectStr;  
  19.     private String username;  
  20.     private String password;  
  21.   
  22.     public DbStoreHelper() {  
  23.         connectStr = "jdbc:mysql://localhost:3306/db_ip";  
  24.         // connectStr += "?useServerPrepStmts=false&rewriteBatchedStatements=true";  
  25.         insert_sql = "INSERT INTO tb_ipinfos (iplong1,iplong2,ipstr1,ipstr2,ipdesc) VALUES (?,?,?,?,?)";  
  26.         charset = "gbk";  
  27.         debug = true;  
  28.         username = "root";  
  29.         password = "***";  
  30.     }  
  31.   
  32.     public void storeToDb(String srcFile) throws IOException {  
  33.         BufferedReader bfr = new BufferedReader(new InputStreamReader(new FileInputStream(srcFile), charset));  
  34.         try {  
  35.             doStore(bfr);  
  36.         } catch (Exception e) {  
  37.             e.printStackTrace();  
  38.         } finally {  
  39.             bfr.close();  
  40.         }  
  41.     }  
  42.   
  43.     private void doStore(BufferedReader bfr) throws ClassNotFoundException, SQLException, IOException {  
  44.         Class.forName("com.mysql.jdbc.Driver");  
  45.         Connection conn = DriverManager.getConnection(connectStr, username,password);  
  46.         conn.setAutoCommit(false); // 设置手动提交  
  47.         int count = 0;  
  48.         PreparedStatement psts = conn.prepareStatement(insert_sql);  
  49.         String line = null;  
  50.         while (null != (line = bfr.readLine())) {  
  51.             String[] infos = line.split(";");  
  52.             if (infos.length < 5)   continue;  
  53.             if (debug) {  
  54.                 System.out.println(line);  
  55.             }  
  56.             psts.setLong(1, Long.valueOf(infos[0]));  
  57.             psts.setLong(2, Long.valueOf(infos[1]));  
  58.             psts.setString(3, infos[2]);  
  59.             psts.setString(4, infos[3]);  
  60.             psts.setString(5, infos[4]);  
  61.             psts.addBatch();          // 加入批量处理  
  62.             count++;              
  63.         }  
  64.         psts.executeBatch(); // 执行批量处理  
  65.         conn.commit();  // 提交  
  66.         System.out.println("All down : " + count);  
  67.         conn.close();  
  68.     }  
  69.   
  70. }  
执行完成以后： [plain] view plain copy    print?
  1. All down : 103498  
  2. Convert finished.  
  3. All spend time/s : 47  
一共10W+，执行时间一共花费 47 秒.   这个效率仍然不高，似乎没有达到想要的效果，需要进一步改进。 在MySQL JDBC连接字符串中还可以加入参数， rewriteBatchedStatements=true，mysql默认关闭了batch处理，通过此参数进行打开，这个参数可以重写向数据库提交的SQL语句，具体参见：http://www.cnblogs.com/chenjianjx/archive/2012/08/14/2637914.html useServerPrepStmts=false，如果不开启(useServerPrepStmts=false)，使用com.mysql.jdbc.PreparedStatement进行本地SQL拼装，最后送到db上就是已经替换了?后的最终SQL.   在此稍加改进，连接字符串中加入下面语句（代码构造方法中去掉注释）： connectStr += "?useServerPrepStmts=false&rewriteBatchedStatements=true";   再次执行如下： [plain] view plain copy    print?
  1. All down : 103498  
  2. Convert finished.  
  3. All spend time/s : 10  
同样的数据量，这次执行只花费了10秒 ，处理效率大大提高.

使用JDBC在MySQL数据库中快速批量插入数据

标签：final   res   ase   about   bar   readline   log   number   编程   

本文系统来源：http://www.cnblogs.com/adolfmc/p/7599835.html

内容总结

以上是互联网集市为您收集整理的使用JDBC在MySQL数据库中快速批量插入数据全部内容，希望文章能够帮你解决使用JDBC在MySQL数据库中快速批量插入数据所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/491944.html

来源：【匿名】