首页 / 面试 / 面试题：如何造10w条测试数据，在数据库插入10w条不同数据

面试题：如何造10w条测试数据，在数据库插入10w条不同数据

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了面试题：如何造10w条测试数据，在数据库插入10w条不同数据，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含8322字，纯文字阅读大概需要12分钟。

内容图文

前言
面试题：如果造10w条测试数据，如何在数据库插入10w条数据，数据不重复
最近面试经常会问到sql相关的问题，在数据库中造测试数据是平常工作中经常会用到的场景，一般做压力测试，性能测试也需在数据库中先准备测试数据。那么如何批量生成大量的测试数据呢？
由于平常用python较多，所以想到用python先生成sql，再执行sql往数据库插入数据。
使用语言：python 3.6
插入数据
首先我要插入的 SQL 语句，需每条 id 不重复 ,下面是执行单个插入语句
INSERT INTO apps.apiapp_card (id, card_id, card_user, add_time) VALUES ('1', '', 'test123', '2019-12-17');
10w 太多执行时间长，用 python 先生成 1w条测下执行时间。
首先要生成多个inert 语句，这里我用 python 语言写段生成sql的文本。

用 %s 替换需要变的字段值，如果有多个值都需要变，可以用多个%s替换对应值，我这里设计的表，只要id不一样就可以插入成功。
用for 循环，每次循环 id 加1，这样 id 就可以保证不会重复，否则插入数据库时有重复的无法写入成功。
a 是追加写入
每条sql后面分号隔开
每次写入数据，最后面加\n 换行

python3

作者：上海-悠悠 QQ群717225969

for i in range(10000):
a = "INSERT INTO apps.apiapp_card (id, card_id, card_user, add_time) VALUES ('%s', '', 'test123', '2019-12-17');"%str(i+1)
with open("a.txt", "a") as fp:
fp.write(a+"\n")
执行python代码，在本地生成一个 a.text 文件，打开生成的数据，部分如下
INSERT INTO apps.apiapp_card (id, card_id, card_user, add_time) VALUES ('1', '', 'test123', '2019-12-17');
INSERT INTO apps.apiapp_card (id, card_id, card_user, add_time) VALUES ('2', '', 'test123', '2019-12-17');
INSERT INTO apps.apiapp_card (id, card_id, card_user, add_time) VALUES ('3', '', 'test123', '2019-12-17');
INSERT INTO apps.apiapp_card (id, card_id, card_user, add_time) VALUES ('4', '', 'test123', '2019-12-17');
......
INSERT INTO apps.apiapp_card (id, card_id, card_user, add_time) VALUES ('10000', '', 'test123', '2019-12-17');

如果id是手机号呢，如何生成10w个不同手机号？
可以按手机号前3位开头的号码段生成，比如186开头的，先用初始数据 1860000000，再这个数字基础上每次加1
加到 18600099999，这样号码段1860000000-18600099999就是10w个手机号了。
把id换成手机号后，修改代码如下

python3

作者：上海-悠悠 QQ群717225969

for i in range(10000):
a = "INSERT INTO apps.apiapp_card (id, card_id, card_user, add_time) VALUES ('%s', '', 'test123', '2019-12-17');"%str(i+1860000000)
with open("a.txt", "a") as fp:
fp.write(a+"\n")
只需在上面基础上把 str(i+1) 改成 str(i+1860000000) 就可以生成手机号了
INSERT INTO apps.apiapp_card (id, card_id, card_user, add_time) VALUES ('1860000000', '', 'test123', '2019-12-17');
INSERT INTO apps.apiapp_card (id, card_id, card_user, add_time) VALUES ('1860000001', '', 'test123', '2019-12-17');
INSERT INTO apps.apiapp_card (id, card_id, card_user, add_time) VALUES ('1860000002', '', 'test123', '2019-12-17');
把生成的文本复制出来，多个INSERT INTO 对应的 sql 一次性贴到 navicat 客户端执行
执行完成花了5分钟左右，也就是说10w条得50分钟，这太慢了，要是数据更多，会等太久，不是我们想要的效果！
批量执行
由于单个执行，花费时间太长，现在需要优化下改成一个 inert 语句，改成批量插入数据，只写一个 insert into 这样一次性批量写到数据库，会快很多。
可以将SQL语句进行拼接，使用 insert into table () values (),(),(),()然后再一次性插入。
批量执行要么全部成功，要么一个都不会写入成功，当写的 SQL 语法有问题时就不会写入成功了。
需注意：

拼接 sql ,多个values 值中间用英文逗号隔开
value 值要与数据表的字段一一对应
一定要注意最后一条数据后面不是逗号，改成分号

python3

作者：上海-悠悠 QQ群717225969

insert_sql = "INSERT INTO apps.apiapp_card VALUES "
with open("b.txt", "a") as fp:
fp.write(insert_sql+"\n")
for i in range(10000):
a = "('%s', '', 'test123', '2019-12-17'),"%str(i+10001)
with open("b.txt", "a") as fp:
fp.write(a+"\n")
执行完成后，复制 b.text 文件的内容，需注意的是这里一定要改成；结尾，否则语法报错
部分数据内容展示如下
INSERT INTO apps.apiapp_card VALUES
('10001', '', 'test123', '2019-12-17'),
('10002', '', 'test123', '2019-12-17'),
......
('20000', '', 'test123', '2019-12-17');
复制生成的 INSERT INTO 到 navicat 客户端执行
执行完成，最后看的测试结果，1w条数据只用了0.217秒，速度明显提高不少。
10w数据插入
接着测下，当生成10 w条数据的时候，会花多少时间？

作者：上海-悠悠 QQ群717225969

python3

insert_sql = "INSERT INTO apps.apiapp_card VALUES "
with open("b.txt", "a") as fp:
fp.write(insert_sql+"\n")
for i in range(100000):
a = "('%s', '', 'test123', '2019-12-17'),"%str(i+100000)
with open("b.txt", "a") as fp:
fp.write(a+"\n")
使用python脚本执行后生成的数据如下
INSERT INTO apps.apiapp_card VALUES
('100000', '', 'test123', '2019-12-17'),
('100001', '', 'test123', '2019-12-17'),
......
('199999', '', 'test123', '2019-12-17');
直接插入mysql 这时候会有报错：Err 1153 - Got a packet bigger than 'max_allowed_packet' bytes
报错原因：由于数据量较大，mysql 会对单表数据量较大的 SQL 做限制，10w条数据的字符串超出了max_allowed_packet
的允许范围。
解决办法：需修改mysql 数据库的max_allowed_packet的值，改大一点
max_allowed_packet
先在 navicat 输入命令查看 max_allowed_packet 最大允许包
show global variables like 'max_allowed_packet';
查看到 value 值是 4194304，最大限制是 40 M,我们只需的sql字符串太大了，超出了这个范围。
在 navicat 客户端我们无法直接修改对应 value值，需登录到mysql，用命令行修改。
我这里 mysql 是搭建在 docker 上，需先进容器，登录到mysql.
操作步骤如下：
docker exec 进docker容器
mysql -uroot -p 输入密码后登录mysql
set global max_allowed_packet=419430400; 设置最大允许包 400M
show global variables like 'max_allowed_packet'; 查看前面设置是否生效
[root@VM_0_2_centos ~]# docker exec -it 934b30a6dc36 /bin/bash
root@934b30a6dc36:/# mysql -uroot -p
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 303822
Server version: 5.7.27 MySQL Community Server (GPL)

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> set global max_allowed_packet=419430400;
Query OK, 0 rows affected (0.00 sec)

mysql>
从上面的查询结果可以看到，已经生效了。
再次重新执行上面10w条数据，查看运行结果总共花11秒左右时间。
受影响的行: 100000
时间: 11.678s
上面的方法只能临时生效，当重启mysql后，你会发现又还原回去了。
这里还有一种永久生效的方法，需修改my.cnf配置文件
在[mysqld]部分添加一句，如果有就修改对应的值：

max_allowed_packet=40M
这里的值，可以用 M单位，修改后，需要重启下mysql就可以生效了
使用python执行
如果不用 navicat 客户端，直接用python去执行，会花多少时间呢？
先封装连接mysql的方法，然后拼接执行的sql语句，拼接的时候需注意，最后的字符，需改成；
在执行代码前先获取当前的时间戳，代码执行完成后再次获取一次时间戳。两次的时间间隔，就是执行的时间了，时间单位是s
python 执行 mysql 代码参考如下
import pymysql
'''

python3

作者：上海-悠悠 QQ群717225969
pip install PyMySQL==0.9.3
'''

dbinfo = {
"host": "192.168.1.x",
"user": "root",
"password": "123456",
"port": 3306}

class DbConnect():
def init(self, db_cof, database=""):
self.db_cof = db_cof
# 打开数据库连接
self.db = pymysql.connect(database=database,
cursorclass=pymysql.cursors.DictCursor,
**db_cof)

    # 使用cursor()方法获取操作游标
    self.cursor = self.db.cursor()

def select(self, sql):
    # SQL 查询语句
    # sql = "SELECT * FROM EMPLOYEE \
    #        WHERE INCOME > %s" % (1000)
    self.cursor.execute(sql)
    results = self.cursor.fetchall()
    return results

def execute(self, sql):
    # SQL 删除、提交、修改语句
    # sql = "DELETE FROM EMPLOYEE WHERE AGE > %s" % (20)
    try:
       # 执行SQL语句
       self.cursor.execute(sql)
       # 提交修改
       self.db.commit()
    except:
       # 发生错误时回滚
       self.db.rollback()

def close(self):
    # 关闭连接
    self.db.close()

if name == 'main':
import time
insert_sql = "INSERT INTO apps.apiapp_card VALUES "
insert_values = "".join(["('%s', '', 'test123', '2019-12-17'), \n"%str(i+100000) for i in range(100000)])
# 拼接sql
sql = insert_sql + insert_values[:-3]+";"
# print(sql)
# 执行sql
time1 = time.time()
db = DbConnect(dbinfo, database="apps")
db.execute(sql)
db.close()
time2 = time.time()
print("总过耗时：%s" % (time2-time1))
使用python执行结果：总过耗时：1.0816256999969482,结果超出我的想象，10w条数据居然只要1秒钟！

内容总结

以上是互联网集市为您收集整理的面试题：如何造10w条测试数据，在数据库插入10w条不同数据全部内容，希望文章能够帮你解决面试题：如何造10w条测试数据，在数据库插入10w条不同数据所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/872128.html

来源：【匿名】

【上一篇】SQL面试题-练习2 【下一篇】色色整理的PHP面试题集锦

更多 ►

【面试题：如何造10w条测试数据，在数据库插入10w条不同数据】教程文章相关的互联网学习教程文章

(面试题)Object和String （2019年10月21日）

1.请列举几种常见的生成对象的方式　　1.调用构造方法new一个对象 2.用clone来浅拷贝一个新的对象 3. 使用反射的机制创建对象 4.采用序列化机制2.字符串的内容可以改变吗？　　字符串的内容不可以改变，每次重新赋值都是指向一个新的对象3.分析一下 String a= new String("dsd");的过程　　　　首先它会在方法区的常量池中寻找，是否有dad这个字符串，如果有的话，那么就直接指向他，如果没有的话，那就在堆内存中新建一个内存...

前端面试题

https://www.jianshu.com/p/fc1faa8730b2https://www.jianshu.com/p/1a20dac12cf6https://www.jianshu.com/p/988840419605 https://www.jianshu.com/p/f60b619aa52b原文：https://www.cnblogs.com/answercard/p/9178599.html

iOS 面试题【代码】

int a[5] = {1,2,3,4,5}; int *ptr = (int*)(&a+1); printf("%d,%d",*(a+1),*(ptr-1));上面代码输出结果是：2,5 sizeof：是一个运算符，类型结果为size_t，在头文件中typedef为unsigned int,值通常在编译时计算好，参数类型可以是数组、指针、类型、对象，函数等。注意对齐问题，要以最长类型计算，得出占用字节的大小。strlen：是一个函数，只能用char*做参数，且必须是以\0结尾，在运行时才能得出结果，返回的是字符的实际长度。...

软件测试常见面试题【代码】

转载：https://www.cnblogs.com/yinrw/p/10795210.html 软件的生命周期（prdctrm）计划阶段（planning）-〉需求分析（requirement）-〉设计阶段（design）-〉编码（coding）->测试（testing）->运行与维护（running maintrnacne）测试用例用例编号　测试项目　测试标题　重要级别　预置条件　输入数据　执行步骤　　预期结果 1、问：你在测试中发现了一个bug，但是开发经理认为这不是一个bug，你应该怎样解决？首先，将问题...

Mysql面试题及答案

1 创建poll表，用于记录单选投票用户的数据字段包括 id[ Autoincreace ] , ip , time , iid(用户选则的选项，int型)写出create上述table的完整sql语句drop table if exists poll;create table poll(id int unsigned not null auto_increment,ip varchar(15) not null,time datetimenot null,iid int not null,primary key (id))2 写出将一个选择2号选项的ip为127.0.0.1的用户在当前时间的投票记录到数据库的SQLinsert into poll (i...

面试题23：链表中环的入口节点【代码】

考察链表的操作，找到单向链表中环的入口节点C++版#include <iostream> #include <algorithm> using namespace std;// 定义链表 struct ListNode{int val;struct ListNode* next;ListNode(int val):val(val),next(nullptr){} };// 在链表存在环的前提下找到一快一慢两个指针相遇的节点 ListNode* MeetingNode(ListNode* pHead){if(pHead == nullptr)return nullptr;// 定义走的慢节点ListNode* pSlow = pHead->next;if(pSlow == nu...

一道多线程面试题的多种解决方法【代码】【图】

一道多线程面试题的多种解决方法多线程题目分析整体测试设计方法基于Synchronized基于ReentrantLock基于CountDownLatch基于CycliBarrier基于Semaphore基于LockSupport题目实现一个容器，线程2添加10个元素，线程1实时监督线程2，当容器中元素个数达到5个时，给出提示并结束。分析这题本身并不是很难，类似生产者、消费者问题，线程1等待线程2添加元素达到5个，线程1消费这个事件。因此可以想到的是利用生产者消费者范式来解决。我...

spring的面试题

spring是什么？是一个轻量级的开源的容器框架，用来装Javabean（Java对象的），中间层框架，起一个连接作用，常用与dao层框架整合使用，是企业开发更方便，快捷。spring是一个轻量级的控制反转（ioc）和面向切面（aop）的容器框架谈谈你对aop的理解？谈谈你对ioc的理解？ioc本身是一个容器：可以理解成一个map（key，value），里面存在着各种对象（xml配置bean节点，注解注入的bean，），在项目启动时会读取配置或者扫描注解，通...

剑指Offer面试题8（java版）:旋转数组的最小数字【图】

题目：把一个数组最开始的若干个元素搬到数组的末尾，我们称之为旋转。输入一个递增的排序的数组的一个旋转，输出旋转数组的最小元素。例如数组｛3，4，5，1，2｝为{1,2,3,4,5}的一个旋转，该数组的最小元素为1.这道题最直观的解法并不难，从头到尾遍历一次，我们就能找到最小的元素。这种思路的时间复杂度为O（n)。但是这个思路没有利用输入的旋转数组的特性，肯定达不到面试官的要求。我们注意到旋转之后的数组实际上可以划分...

小猿圈web前端面试题汇总【图】

现如今开发语言从最早的iOS、Android发展到了java、python、linux、html5多种多样，学习的人群也是越来越多，程序员是高薪职业，所以很多年轻的大学生以及高中生都会选择自学，而学习web前端开发的朋友也是相对人群较多的群体，但是web前端开发工程师仍旧供不应求，那么为什么学习的人那么多，但是岗位还没有得到满足呢，是以为大部分程序员只是会写，面试的时候笔试就被poss了，下面小猿圈HTML5视频教程讲师给你讲解web前端面试中...

Java笔试面试题004

1、请解释分布式事务管理？解答：分布式事务是指事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系统的不同节点之上。为了实现分布式事务，需要使用下面将介绍的两阶段提交协议。阶段一：开始向事务涉及到的全部资源发送提交前信息。此时，事务涉及到的资源还有最后一次机会来异常结束事务。如果任意一个资源决定异常结束事务，则整个事务取消，不会进行资源的更新。否则，事务将正常执行，除非发生...

10年大牛程序员分享JAVA学习路线-教程视频-JAVA面试题【图】

学过了Java基础教程，相信你一定对Java已经有了一定的了解，度过了初入Java世界的难关，经历了最难的开始，供你你成功进阶，万事开头难，熬过了开头，成功还会远吗?分享下Java学习路线图，为你助攻!?1.1 Java学习总体方向对于刚学习Java的同学，了解Java学习的大致结构。当然你能在Orace Java的主页上看到还有如Java FX、Java DB这样的技术。但是既然要和市场接轨，必然要有所取舍。Java SE是我们Java入门的开端，这块内容也就是大...

2019年自做407道 Java面试题答案【图】

基础与语法JDK和JRE有什么区别？==和equals的区别是什么?基本类型和包装类对象使用 == 和 equals进行比较的结果？什么是装箱？什么是拆箱？装箱和拆箱的执行过程？常见问题？hashCode()相同，equals()也一定为true吗？final在java中的作用final finally finalize()区别finally语句块一定执行吗？final与static的区别return与finally的执行顺序对返回值的影响String对象中的replace和replaceAll的区别？Math.round(-1.5) 等于多少？...

Rust语言解面试题1【图】

/* 比较一下 :http://blog.csdn.net/iilovetopview/article/details/43745059发现还是D语言的快。*/use std::time::duration::Duration; use std::num::Int; use std::collections::HashMap; //use std::collections::hash::map; pub struct Va { pub Ac: Vec<usize>, pub aa: HashMap<usize, usize>, } fn main() { let r = Duration::span(fnx); println!(" time :{} milliseconds",r.num_milliseco...

嵌入式开发C语言面试题总结

1. 用预处理指令#define 声明一个常数，用以表明1年中有多少秒（忽略闰年问题） #define SECONDS_PER_YEAR (60 * 60 * 24 * 365)UL 我在这想看到几件事情： 1). #define 语法的基本知识（例如：不能以分号结束，括号的使用，等等） 2). 懂得预处理器将为你计算常数表达式的值，因此，直接写出你是如何计算一年中有多少秒而不是计算出实际的值，是更清晰而没有代价的。 3). 意识到这个表达式将使一个16位机的整型数溢出-因此要...

面试 - 最热教程

10个最常见的HTML5面试题及答案 Netty面试题（2020）java各公司面试记录 Android 开发面试题集合整理（内含答案...4轮字节面试后杳无音信，自己是在了备胎...Java面试题分享 php面试题五之nginx如何调用php和php-f...安卓rxjava使用，Android性能优化面试题...Java 面试——Zookeeper 【DB笔试面试643】在Oracle中，如何查询...

首页 / 面试 / 面试题：如何造10w条测试数据，在数据库插入10w条不同数据

面试题：如何造10w条测试数据，在数据库插入10w条不同数据

内容导读

内容图文

python3

作者：上海-悠悠 QQ群717225969

python3

作者：上海-悠悠 QQ群717225969

python3

作者：上海-悠悠 QQ群717225969

作者：上海-悠悠 QQ群717225969

python3

python3

内容总结

内容备注

内容手机端

【面试题：如何造10w条测试数据，在数据库插入10w条不同数据】教程文章相关的互联网学习教程文章

(面试题)Object和String （2019年10月21日）

前端面试题

iOS 面试题【代码】

软件测试常见面试题【代码】

Mysql面试题及答案

面试题23：链表中环的入口节点【代码】

一道多线程面试题的多种解决方法【代码】【图】

spring的面试题

剑指Offer面试题8（java版）:旋转数组的最小数字【图】

小猿圈web前端面试题汇总【图】

Java笔试面试题004

10年大牛程序员分享JAVA学习路线-教程视频-JAVA面试题【图】

2019年自做407道 Java面试题答案【图】

Rust语言解面试题1【图】

嵌入式开发C语言面试题总结

数据库 - 相关标签

面试 - 最新教程

面试 - 最热教程