首页 / MYSQL / 1000万条数据导入mysql_MySQL

1000万条数据导入mysql_MySQL

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了1000万条数据导入mysql_MySQL，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含4385字，纯文字阅读大概需要7分钟。

内容图文

bitsCN.com

1000万条数据导入mysql

今天需要将一个含有1000万条数据的文本内容插入到数据库表中，最初自然想到的是使用Insertinto '表名'values(),(),()...这种插入方式，但是发现这种方式对1000万条数据量的情况，明显效率低下，于是选用了直接将文本内容导入数据表的方法：

LOADDATA LOCAL INFILE '/home/xyw/result.txt' INTO TABLEdomainlib_tmp(domain);

这种方式可以将本地的数据文件'result.txt'直接导入到domainlib_tmp表的domain字段中，这种方式是选择性的导入数据，即只是填充字段domain，如果想填充表中的所有字段，可以使用：

LOADDATA LOCAL INFILE '/home/xyw/result.txt' INTO TABLE domainlib_tmpFIELDS TERMINATED BY '/t' LINES TERMINATED BY '/n';

TERMINATEDBY '/t'表示用/t来分割字段；LINESTERMINATED BY '/n'表示用/n来分割一行。如果您不指定FIELDS子句，则默认值为假设您写下如下语句时的值：

FIELDSTERMINATED BY '/t' ENCLOSED BY '' ESCAPED BY '//'

如果您不指定LINES子句，则默认值为假设您写下如下语句时的值：

LINESTERMINATED BY '/n' STARTING BY ''

windows和linux的文本终止符不相同（windows使用/r/n；linux使用/n），我在这一块就遇到了问题，我在windows下生成了一个文件，然后在linux下使用，发现填充后的每条记录的结尾都有一个未知字符，导致查询失败，最后我使用的方法是把文本的内容重新复制到linux下新建的文本中，然后导入linux下新建的文本内容就可以解决。而且我发现在导入部分字段数据时，无法使用TERMINATEDBY，即下面这种方式会报错：

LOADDATA LOCAL INFILE '/home/xyw/seco.txt' INTO TABLE tmp2(admin) FIELDSTERMINATED by '/t' LINES TERMINATED by '/r/n';

有关Loaddata infile的使用方法自己查阅mysql手册吧。

注意：在导入数据之前一定要把表中的索引删除，否则会特别特别慢。

下面说一下mysql的优化问题。

我发现在使用load data infile时，数据表引擎使用MyISAM比InnoDB快很多！而且数据的查询速度MyISAM也要比InnoDB好，所以我把我的mysql配置文件中默认使用的引擎改成了MyISAM。

有关MyISAM和InnoDB差异的文章，请参考：

MySQLMyISAM和InnoDB对比

mysql的优化需要修改mysql配置文件：my.cnf

Mysql配置原则：

配置合理的MySQL服务器,尽量在应用本身达到一个MySQL最合理的使用

针对 MyISAM或 InnoDB不同引擎进行不同定制性配置

针对不同的应用情况进行合理配置

针对 my.cnf进行配置,后面设置是针对内存为2G的服务器进行的合理设置

公共选项：

选项

缺省值

推荐值

说明

max_connections

100

1024

MySQL服务器同时处理的数据库连接的最大数量

query_cache_size

0（不打开）

16M

查询缓存区的最大长度,按照当前需求,一倍一倍增加,本选项比较重要

sort_buffer_size

512K

16M

每个线程的排序缓存大小,一般按照内存可以设置为2M以上,推荐是16M,该选项对排序orderby,group by起作用

record_buffer

128K

16M

每个进行一个顺序扫描的线程为其扫描的每张表分配这个大小的一个缓冲区,可以设置为2M以上

table_cache

512

为所有线程打开表的数量。增加该值能增加mysqld要求的文件描述符的数量.MySQL对每个唯一打开的表需要2个文件描述符。

MyISAM选项：

选项

缺省值

推荐值

说明

key_buffer_size

256M

用来存放索引区块的缓存值,建议128M以上,不要大于内存的30%

read_buffer_size

128K

16M

用来做MyISAM表全表扫描的缓冲大小.为从数据表顺序读取数据的读操作保留的缓存区的长度

myisam_sort_buffer_size

16M

128M

设置,恢复,修改表的时候使用的缓冲大小,值不要设的太大

InnoDB选项

选项

缺省值

推荐值

说明

innodb_buffer_pool_size

32M

InnoDB使用一个缓冲池来保存索引和原始数据,这里你设置越大,你在存取表里面数据时所需要的磁盘I/O越少,一般是内存的一半,不超过2G,否则系统会崩溃,这个参数非常重要

innodb_additional_mem_po

ol_size

128M

InnoDB用来保存metadata信息,如果内存是4G,最好本值超过200M

innodb_flush_log_at_trx_co

mmit

0代表日志只大约每秒写入日志文件并且日志文件刷新到磁盘;1为执行完没执行一条SQL马上commit;2代表日志写入日志文件在每次提交后,但是日志文件只有大约每秒才会刷新到磁盘上.对速度影响比较大,同时也关系数据完整性

innodb_log_file_size

256M

在日志组中每个日志文件的大小,一般是innodb_buffer_pool_size的25%,官方推荐是innodb_buffer_pool_size的40-50%,设置大一点来避免在日志文件覆写上不必要的缓冲池刷新行为

innodb_log_buffer_size

128K

用来缓冲日志数据的缓冲区的大小.推荐是8M,官方推荐该值小于16M,最好是1M-8M之间

其他有关my.cnf选项的介绍参考：

mysql配置文件my.cnf详解[部分]

下面给出我的配置：（只是mysqld部分）

################自定义配置################

character-set-server=utf8

default-storage-engine=MyISAM

#default-storage-engine=InnoDB

max_connections=1024

query_cache_size=64M

#table_cache=256

#tmp_table_size=35M

#***MyISAM Specific options

key_buffer_size=512M

read_buffer_size=32M

read_rnd_buffer_size=32M

sort_buffer_size=32M

#***INNODB Specific options ***

innodb_additional_mem_pool_size=128M

innodb_flush_log_at_trx_commit=0

innodb_log_buffer_size=8M

innodb_buffer_pool_size=1G

innodb_log_file_size=256M

innodb_thread_concurrency=18

######################################

bitsCN.com

内容总结

以上是互联网集市为您收集整理的1000万条数据导入mysql_MySQL全部内容，希望文章能够帮你解决1000万条数据导入mysql_MySQL所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/575138.html

来源：【匿名】

【上一篇】文件夹隐藏属性为灰色，无法修改的解决方案_MySQL 【下一篇】用IE远程创建Mysql数据库的简易程序

更多 ►

【1000万条数据导入mysql_MySQL】教程文章相关的互联网学习教程文章

从入门到自闭之Python--MySQL数据库的单表操作【代码】

单表查询：select * from 表 where 条件 group by 分组 having 过滤 order by 排序 limit n;语法：select distinct 字段1，字段2... from 表名 where 条件 group by 组名 having 筛选 order by 排序 limit 限制条数找到表:from拿着where指定的约束条件，去文件/表中取出一条条记录将取出的一条条记录进行分组group by，如果没有group by，则整体作为一组执行select（去重）：select * from 表名;将分组的结果进行having过滤将结果按...

mysql大数据量下优化

1 优化sql和索引2 增加缓存如：redis3 主从复制或主主复制，读写分离4 利用mysql自带分区表5 先做垂直拆分，将一个大系统分为多个小系统，也就是分布式6 水平切分，要选择一个合理的sharding key,为了有好的查询效率，表结构也要改动，做一定的冗余，应用也要改，sql中尽量带sharding key，将数据定位到限定的表上去查，而不是扫描全部的表参考：https://www.cnblogs.com/nengka/p/mysqloptimization.html原文：https://www.cnblo...

jeecg数据库切换至mysql8.0方式【代码】

1、修改pom.xml mysql版本 <mysql.version>8.0.11</mysql.version>2、修改dbconfig.properties文件hibernate.dialect=org.hibernate.dialect.MySQL5Dialect jdbc.url.jeecg=jdbc:mysql://172.xx.xx.xx:3306/dbname?useUnicode=true&characterEncoding=UTF-8&serverTimezone=UTC&useSSL=false3、数据库连接池增加驱动 spring-mvc-hibernate.xml<property name="driverClassName" value="com.mysql.cj.jdbc.Driver"/> 以前版本的驱...

mysql - 日期数据类型

分类：类型名称日期格式日期范围存储需求YEARYYYY1901 ~ 21551 个字节TIMEHH:MM:SS-838:59:59 ~ 838:59:593 个字节DATEYYYY-MM-DD1000-01-01 ~ 9999-12-33 个字节DATETIMEYYYY-MM-DD HH:MM:SS1000-01-01 00:00:00 ~ 9999-12-31 23:59:598 个字节TIMESTAMPYYYY-MM-DD HH:MM:SS1980-01-01 00:00:01 UTC ~ 2040-01-19 03:14:07 UTC4 个字节DATETIME 类型DATETIME 类型用于需要同时包含日期和时间信息的值，在存储时需要 8 个字节。日...

备份mysql数据库【图】

使用navicate 使用命令备份mysqldump -hlocalhost -uroot -prootdatabases > C:\Users\asus008\Desktop\mp4\databases.sql还原mysql -hlocalhost -uroot -proot databases < C:\Users\asus008\Desktop\mp4\databases.sql备份多个数据库mysqldump -hlocalhost -uroot -proot --databases oa tele > C:\Users\asus008\Desktop\mp4\databasesf.sql备份所有数据库mysqldump --all -databases -hlocalhost -uroot -proot > C:\Users\as...

Ubuntu下取消MySQL数据库本机绑定限制方法

出现问题：在Ubuntu系统中，添加了MySQL账户，赋予了数据库完全操作权限，并且允许数据库从外部链接但是，还是无法远程访问MySQL数据库。原因：Ubuntu系统中，默认安装的MySQL限制了只有本机才能访问数据库解决办法：取消MySQL数据库的本机绑定限制nano /etc/mysql/my.cnf #编辑配置文件找到bind-address = 127.0.0.1改为#bind-address = 127.0.0.1ctrl+o #保存配置ctrl+x #退出/etc/init.d/mysql restart #重启数据库现在已经可以...

MySQL数据库web维护管理软件【图】

TreeSoft数据库管理系统使用JAVA开发，采用稳定通用的springMVC +JDBC架构，实现基于WEB方式对 MySQL，Oracle，PostgreSQL 等数据库进行维护管理操作。功能包括：数据库的展示,库表的展示，表字段结构的展示， SQL语句的在线编辑批量执行，表结构的在线设计维护，数据的在线编辑维护，查询语句保存，JSON数据格式化，SQL语法帮助，在线数据源选择配置等。系统内置14套UI皮肤，45套代码编辑区UI方案，使用中可以依个人喜好选择配...

如何删除MySQL表中的前10万条数据

给出以下几种方案：方案一：delete from t limit 100000; 直接删除方案二：delete from t limit 1000; 在for循环中执行100次方案三：在100个连接中同时执行 delete from t limit 1000;前面有说到，要尽量避免长连接，方案一事务较长，占用锁时间长，可能会导致其他客户端连接等待资源时间过长，甚至还有可能导致主从延迟。方案二，串行化执行，把长事务划分成短事务，每次事务占用锁的时间会较短，其他连接等待时间也会相应缩短。将...

mysql数据库相关基础知识01【代码】

数据库的简介1.什么是数据库：数据仓库。访问必须只能用SQL语句来访问。数据库也是一个文件的系统。 2.数据库的作用：存储数据的作用。开发任何的应用，都有数据库。 3.关系型的数据库：数据库中保存的都是实体与实体之间的关系。 4.常见的数据库* Java开发，必用的两个数据库Oracle和MySQL* Oracle数据库（甲骨文）大型的数据库，收费的。* MySQL数据库小型的数据库，免费开源的。被Oracle收购了（在6.x版本下开始收费了）*...

大量删除MySQL中的数据【代码】

出现的背景：公司做了一个redis相关的项目，其中mysql存储了很多统计数据。比如客户端上报的数据，redis实例的数据，应用的数据，机器的数据等。每天都在上报，采集，由于没有定期删除，数据大量累积。大概有一年左右的数据，一个表的数据已经达到亿级别的。这样算下来，一个表的数据至少是几十GB了。因此需要删除过期的数据，暂时保留近三个月的统计数据。解决方案：基本每个表都有个字段叫create_time或者collect_time的字段，只...

关于Mysql 查询所有表的实时记录用于对比2个MySQL 库的数据是否异步【代码】【图】

Xu言：今天，为了研究一个MySQL主从同步开机后报错问题，如下图故障原因分析：经过分析，可能是主从服务器开机顺序导致。（有待下次断电再次测试）主从错误提示：日志读取错误的问题。解决方法：更新日志记录文件，重新主从同步。担心主从问题过程中有数据写入，想去确认下主从库上的数据是否一致。想到了查询下数据库行数的方式。网上查询了下，一般有2种：方法一：查看当前表的记录行数SELECT count(*) from 表名方法二：...

python连接mysql数据库

1.系统必须安装MySQL-python软件，否则python没有连接的模块(在Linux系统)yum install MySQL-python2.安装mysql数据库yum install mysql-server mysql[root@AY140528120357495c4bZ ~]# /etc/init.d/mysqld restartStopping mysqld: [ OK ]Starting mysqld: [ OK ][root@AY140528120357495c4bZ ~]#3.在mysql中创建数据库和表[root@AY1405...

配置MySQL数据库【图】

一、配置MySQL数据库1、解压绿色版mysql，如下图二、安装服务1、运行cmd（管理员版本，否则没有权限），如下图 2、运行命令mysqld –install安装服务，如下图：如果不需要mysql里，只需要运行mysqld –remove即可移除，如下图 3、运行net start mysql 启动服务，如下图如需要配置是否开机启动mysql可以在windows服务里面配置。三、客户端测试1、mysql –uroot –p 如下图四、配置编码为UTF-81、在mysql5.6的根目录下，复制my-d...

Mysql备份数据库的一种方法

今天添加了一个数据库自动备份的模块，mysql数据备份的方法有很多，可以对单个数据库备份，可以多个数据库备份，也可以对某一个表进行备份，可以只备份数据库的结构不备份数据，可以根据需要做不同处理，正好现在有点时间，简单的记录一下最为简单的一种备份方法。Mysql版本：5.11.利用mysqldump对mysql数据库进行备份mysqldump是一个单独的可执行程序，并非mysql运行时的一个命令，使用mysqldump时，如果是在Windows下下，需要先在...

MYSQLshu数据库学习----查询

查询语句是MYSQL数据库中用到的最多的语句。查询语句分为几种单表查询集合函数查询连接查询子查询合并查询正则表达式查询一：单表查询SELECT 属性 FROM 表名 [WHERE 查询条件][GROUP BY 属性名1 [HAVING 分组条件]][ORDER BY 属性2 [ASC/DESC]][LIMIT];WHERE 查询条件查询条件符号或关键字例子比较=、<、<=、>、>=、!=、<>、!>、!<WHERE ID = 1指定范围BETWEEN AND、NOT BETWEEN ANDWHERE ID BETWEEN 2 AND 3指定集合IN、NOT INWH...

MYSQL - 技术教程分类

MySQL 教程 MySQL 安装 MySQL 管理 MySQL PHP 语法 MySQL 连接 MySQL 创建数据库 MySQL 删除数据库 MySQL 选择数据库 MySQL 数据类型 MySQL 创建数据表 MySQL 删除数据表 MySQL 插入数据 MySQL 查询数据 MySQL WHERE 子句 MySQL UPDATE 更新 MySQL DELETE 语句 MySQL LIKE 子句 MySQL UNION MySQL 排序 MySQL 分组 MySQL 连接的使用 MySQL NULL 值处理 MySQL 事务 MySQL ALTER命令 MySQL 索引 MySQL 临时表 MySQL 复制表 MySQL 元数据 MySQL 序列使用 MySQL 处理重复数据 MySQL 及 SQL 注入 MySQL 导出数据 MySQL 导入数据 MySQL 函数 MySQL 运算符 mysql 全部

MYSQL - 最热教程

sql分组取最大记录方法 mysql如何设置默认值 mysql创建数据表时指定默认值教程 MySQL 5.7 的初始化操作（root初始密码...Oracle中合并数据集(多行变一行)mysql 相同内容的字段合并为一条的方法解决mysql设置时区时的错误Unknown or ...解决ubuntu下mysql的'Access denied fo...ubuntu系统中MysqlERROR1045(28000)报错...mysql数据库设置不区分大小写

首页 / MYSQL / 1000万条数据导入mysql_MySQL

1000万条数据导入mysql_MySQL

内容导读

内容图文

内容总结

内容备注

内容手机端

【1000万条数据导入mysql_MySQL】教程文章相关的互联网学习教程文章

从入门到自闭之Python--MySQL数据库的单表操作【代码】

mysql大数据量下优化

jeecg数据库切换至mysql8.0方式【代码】

mysql - 日期数据类型

备份mysql数据库【图】

Ubuntu下取消MySQL数据库本机绑定限制方法

MySQL数据库web维护管理软件【图】

如何删除MySQL表中的前10万条数据

mysql数据库相关基础知识01【代码】

大量删除MySQL中的数据【代码】

关于Mysql 查询所有表的实时记录用于对比2个MySQL 库的数据是否异步【代码】【图】

python连接mysql数据库

配置MySQL数据库【图】

Mysql备份数据库的一种方法

MYSQLshu数据库学习----查询

MYSQL - 相关标签

数据 - 相关标签

MYSQL - 技术教程分类

MYSQL - 最新教程

MYSQL - 最热教程