首页 / MYSQL / 删除MySQL重复数据的方法

删除MySQL重复数据的方法

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了删除MySQL重复数据的方法，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含5034字，纯文字阅读大概需要8分钟。

内容图文

本文实例讲述了删除MySQL重复数据的方法。分享给大家供大家参考。具体方法如下：项目背景在最近做的一个linux性能采集项目中，发现线程的程序入库很慢，再仔细定位，发现数据库里面很多冗余数据。因为在采集中，对于同一台设备，同一个时间点应该只有一个

本文实例讲述了删除MySQL重复数据的方法。分享给大家供大家参考。具体方法如下：

项目背景

在最近做的一个linux性能采集项目中，发现线程的程序入库很慢，再仔细定位，发现数据库里面很多冗余数据。因为在采集中，对于同一台设备，同一个时间点应该只有一个数据，然而，数据库中存入了多个数据。对于如何造成了这个结果，一时没有想清楚，但为了解决入库慢的问题，首先要删除冗余数据。

问题描述

数据库的表结构很简单，如下：

查询所有数据量

select count(*) from perf_linux;

输出 427366

查询所有时间点不同设备的数据量

select count(distinct conf_id, insert_time) from perf_linux ;

输出42387

由上面的数据可以看出，数据冗余了10倍左右。

再按时间分组看一下:

select id, conf_id ,insert_time from perf_linux order by insert_time, conf_id;

输出：

| 2a79f7cd-43a9-4c7b-adb2-316b6c04283e | 1 | 2014-12-09 15:09:14 |
| 50d6f6c2-9c8b-45fd-98fd-2be211221cfd | 1 | 2014-12-09 15:09:14 |
| 740b52e1-e868-4074-ba36-74e2634401b3 | 1 | 2014-12-09 15:09:14 |
| 8b0096a4-9e85-417b-a131-e3505ca79a9c | 1 | 2014-12-09 15:09:14 |
| 90a9e882-5220-4508-a56f-8d4ab4a7929b | 1 | 2014-12-09 15:09:14 |
| d17403ed-24a4-45e8-b51b-2a95118383d9 | 1 | 2014-12-09 15:09:14 |
| 0c2da917-579b-4080-857d-7159f38b44ac | 2 | 2014-12-09 15:09:14 |
| 263083eb-8f63-4d2b-a03f-3320aa678735 | 2 | 2014-12-09 15:09:14 |
| d6c57a38-080b-465a-a55a-beafd9daf32d | 2 | 2014-12-09 15:09:14 |
| f672227b-1fb8-4b85-880d-2cc34b02880d | 2 | 2014-12-09 15:09:14 |
| f80020fe-6cb5-48ec-beb0-4e8ebeb0ca57 | 2 | 2014-12-09 15:09:14 |
| ff633a35-824d-49ba-b78c-5bcc5df8d1cc | 2 | 2014-12-09 15:09:14 |
| 5c41e48a-abfc-4108-a00e-ca7def7d5a5a | 3 | 2014-12-09 15:09:14 |
| 60b7ab9e-c91a-4020-a6d3-7bceb1dc47c5 | 3 | 2014-12-09 15:09:14 |
| 7b6cd2b8-ac6d-43eb-8858-e15885e676c8 | 3 | 2014-12-09 15:09:14 |
| d53a3df5-08c4-4604-8fac-cb51077935f6 | 3 | 2014-12-09 15:09:14 |
| d9e4ba14-f98d-42a8-b3bc-2879d58aa797 | 3 | 2014-12-09 15:09:14 |
| f56f82f6-32a7-47f7-ae07-b13168743884 | 3 | 2014-12-09 15:09:14 |
| 076c4c1b-0028-4a9c-a8c4-de655bd6ab6b | 4 | 2014-12-09 15:09:14 |
| 2a90ad9e-11a5-4707-95e8-78491da658ad | 4 | 2014-12-09 15:09:14 |
| 3b17ad1d-e589-4b65-93a7-d61fc99b4071 | 4 | 2014-12-09 15:09:14 |
| 6988d6cf-44ef-47f7-808d-09791caf2d90 | 4 | 2014-12-09 15:09:14 |
| 8404d281-f9e5-4153-a47e-128c05386758 | 4 | 2014-12-09 15:09:14 |
| e042e310-7ff2-4e4d-8c98-71e3e4d57828 | 4 | 2014-12-09 15:09:14 |
+--------------------------------------+---------+---------------------+

由上图可见，同一个时间点的同一个设备的数据有冗余，现在我们要把这些冗余数据去掉。

解决方法

思路是这样的：首先应该按照conf_id和时间点来判断，进行分组（group by）查询，每组中再取一个就可以。分组是很简单，但是分组怎么取一个呢？我采用了中间表的形式。

创建中间表，并把数据导入中间表

create table perf_linux_t like perf_linux;
insert into perf_linux_t select * from perf_linux;

在中间表中增加一个字段，此字段是自增长的。

ALTER TABLE `perf_linux_t`
ADD COLUMN `auto_id` INT NOT NULL AUTO_INCREMENT ,
DROP PRIMARY KEY,
ADD PRIMARY KEY (`auto_id`);

删除无用数据

先查询一下

select min(auto_id) as auto_id from perf_linux_t group by insert_time ;

删除不对的数据

delete from perf_linux_t where auto_id not in (select min(auto_id) as auto_id from perf_linux_t group by insert_time);

慢着，输出错误：

You can't specify target table 'perf_linux_t' for update in FROM clause

不能删除啊，那只能再建一个中间表了。

再建中间表

create table tmp like perf_linux_t;

转变思路，不删除不符合的数据，而是把符合的数据存到这张新表中。

insert into tmp select * from perf_linux_t where auto_id in (select min(auto_id) as auto_id from perf_linux_t group by insert_time,conf_id );

把这张表中的无用列删除

ALTER TABLE `tmp`
DROP COLUMN `auto_id`,
DROP PRIMARY KEY;

导回数据

删除原来的数据

truncate table perf_linux;

插入数据

insert into perf_linux select * from tmp;

删除中间表

drop table tmp;
drop table perf_linux_t;

总结

通过这个方法，数据变为了42387条，删除了冗余的数据。但实际上程序的问题并没有完全定位，还需要观察才能定位问题。

希望本文所述对大家的mysql数据库程序设计有所帮助。

内容总结

以上是互联网集市为您收集整理的删除MySQL重复数据的方法全部内容，希望文章能够帮你解决删除MySQL重复数据的方法所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/557169.html

来源：【匿名】

【上一篇】MySql服务器系统变量和状态变量介绍【下一篇】用IE远程创建Mysql数据库的简易程序

更多 ►

【删除MySQL重复数据的方法】教程文章相关的互联网学习教程文章

MySQL 数据库查询数据，过滤重复数据保留一条数据---（MySQL中的row_number变相实现方法）【代码】

原文:MySQL 数据库查询数据，过滤重复数据保留一条数据---（MySQL中的row_number变相实现方法）转自： http://www.maomao365.com/?p=10564 摘要: 下文讲述MySQL数据库查询重复数据时，只保留一条数据的方法实现思路: 在MySQL数据库中没有row_number函数，所以我们需变向实现此功能。 --1.基础数据表查看 mysql>select*from `maomao365.com`; +-------+------------+| keyId | infoB |+-------+------------+|1| mysql test ||...

MySQL 处理重复数据

MySQL 处理重复数据有些 MySQL 数据表中可能存在重复的记录，有些情况我们允许重复数据的存在，但有时候我们也需要删除这些重复的数据。本章节我们将为大家介绍如何防止数据表出现重复数据及如何删除数据表中的重复数据。防止表中出现重复数据你可以在MySQL数据表中设置指定的字段为 PRIMARY KEY（主键）或者 UNIQUE（唯一）索引来保证数据的唯一性。让我们尝试一个实例：下表中无索引及主键，所以该表允许出现多条重复记录。CRE...

MySQL 删除数据库中重复数据（以部分数据为准）【图】

delete from zqzrdp where tel in (select min(dpxx_id) from zqzrdp group by tel having count(tel)>1);执行，报错异常意为：你不能指定目标表的更新在FROM子句。傻了，MySQL 这样写，不行，让人郁闷。难倒只能分步操作，蛋疼以下是网友写的，同样是坑爹的代码，我机器上运行不了。 1. 查询需要删除的记录，会保留一条记录。代码如下复制代码 select a.id,a.subject,a.RECEIVER from test1 a left join (select c.subject...

mysql 去除重复数据语句【代码】

纠结的过程：mysql> select * from role group by role_name,deleted; +---------+-----------+---------+ | role_id | role_name | deleted | +---------+-----------+---------+ | 2 | xue | 12 | | 1 | zhao | 12 | | 3 | zhao | 13 | +---------+-----------+---------+ 3 rows in set mysql> delete from role c where c.role_id not in (select b.role_id from role c gr...

mysql 删除重复数据sql声明

CREATE TABLE tmp AS SELECT id FROM get_review_url WHERE (no,title,name,content) IN (SELECT no,title,name,content FROM get_review_url GROUP BY no,title,name,content HAVING COUNT(*) > 1) AND id NOT IN (SELECT MIN(id) FROM get_review_url GROUP BY no,title,name,content HAVING COUNT(*)>1); DELETE FROM get_review_url WHERE id IN (SELECT id FROM tmp); DROP TABLE tmp; 版权声明：本文博客原创文章。博客，未...

删除重复数据Mysql【代码】

-- 删除多余的重复记录(多个字段)，只保留最小id的记录 SELECT * FROM logistics_info_new WHERE id IN ( SELECT stu_repeat_copy.id FROM ( SELECT id FROM logistics_info_new WHERE (logistics_no) -- 注意：此处一定要加括号，当成联合字段来处理 IN ( -- 查找学号和姓名均重复的学生信息 SELECT logistics_no FROM logistics_info_new GROUP BY logistics_no HAVING COUNT(1) > 1 ) AND id NOT IN ( -- 查询最小id的记录 SELE...

雷林鹏分享：MySQL 处理重复数据

MySQL 处理重复数据有些 MySQL 数据表中可能存在重复的记录，有些情况我们允许重复数据的存在，但有时候我们也需要删除这些重复的数据。本章节我们将为大家介绍如何防止数据表出现重复数据及如何删除数据表中的重复数据。防止表中出现重复数据你可以在MySQL数据表中设置指定的字段为 PRIMARY KEY(主键) 或者 UNIQUE(唯一) 索引来保证数据的唯一性。让我们尝试一个实例：下表中无索引及主键，所以该表允许出现多条重复记录。CREATE ...

mysql 删除重复数据保留一条

验证：mysql 5.6版本方法一： delete a from table a left join( select (id) from table group by studentName,classId) b on a.id=b.id where b.id is null; 方法二： explain delete from table where id not in (select minid from (select min(id) as minid from table group by studentName,classId) b); 方法三：参考：http://www.cnblogs.com/nzbbody/p/4470638.html1、创建一个临时表，选取需要的数据。2、清空原表。3、...

MySQL中删除重复数据的简单方法，mysql删除重复数据【代码】【图】

MYSQL里有五百万数据，但大多是重复的，真实的就180万，于是想怎样把这些重复的数据搞出来，在网上找了一圈，好多是用NOT IN这样的代码，这样效率很低，自己琢磨组合了一下，找到一个高效的处理方式，用这个方式，五百万数据，十来分钟就全部去除重复了，请各位参考。第一步：从500万数据表data_content_152里提取出不重复的字段SFZHM对应的ID字段到TMP3表 create table tmp3 as select min(id) as col1 from data_content_152 gr...

MySQL 处理重复数据

mysql学习笔记，用distinct去除重复数据【代码】

大家好，我是天空之城，今天给大家带来，用distinct去除重复数据,支持单列或多列语法 SELECT DISTINCT column name, column name(会作用于两个字段，组合去重) FROM table_ name;还是用上次employee表格练习 mysql> select distinct sex from employee; +------+ | sex | +------+ | 男 | | 女 | +------+mysql> select distinct dept from employee; +-------+ | dept | +-------+ | 部门A | | 部门C | | 部门B | +-------...

MYSQL - 技术教程分类

MySQL 教程 MySQL 安装 MySQL 管理 MySQL PHP 语法 MySQL 连接 MySQL 创建数据库 MySQL 删除数据库 MySQL 选择数据库 MySQL 数据类型 MySQL 创建数据表 MySQL 删除数据表 MySQL 插入数据 MySQL 查询数据 MySQL WHERE 子句 MySQL UPDATE 更新 MySQL DELETE 语句 MySQL LIKE 子句 MySQL UNION MySQL 排序 MySQL 分组 MySQL 连接的使用 MySQL NULL 值处理 MySQL 事务 MySQL ALTER命令 MySQL 索引 MySQL 临时表 MySQL 复制表 MySQL 元数据 MySQL 序列使用 MySQL 处理重复数据 MySQL 及 SQL 注入 MySQL 导出数据 MySQL 导入数据 MySQL 函数 MySQL 运算符 mysql 全部

MYSQL - 最热教程

sql分组取最大记录方法 mysql如何设置默认值 mysql创建数据表时指定默认值教程 MySQL 5.7 的初始化操作（root初始密码...Oracle中合并数据集(多行变一行)mysql 相同内容的字段合并为一条的方法解决mysql设置时区时的错误Unknown or ...解决ubuntu下mysql的'Access denied fo...ubuntu系统中MysqlERROR1045(28000)报错...mysql数据库设置不区分大小写

首页 / MYSQL / 删除MySQL重复数据的方法

删除MySQL重复数据的方法

内容导读

内容图文

内容总结

内容备注

内容手机端

【删除MySQL重复数据的方法】教程文章相关的互联网学习教程文章

MySQL 数据库查询数据，过滤重复数据保留一条数据---（MySQL中的row_number变相实现方法）【代码】

MySQL 处理重复数据

MySQL 删除数据库中重复数据（以部分数据为准）【图】

mysql 去除重复数据语句【代码】

mysql 删除重复数据sql声明

删除重复数据Mysql【代码】

雷林鹏分享：MySQL 处理重复数据

mysql 删除重复数据保留一条

MySQL中删除重复数据的简单方法，mysql删除重复数据【代码】【图】

MySQL 处理重复数据

mysql学习笔记，用distinct去除重复数据【代码】

mysql 修改重复数据 isdel

按某几列删除表中重复数据

MySQL 处理重复数据

mysql查找删除表中重复数据方法总结【图】

MYSQL - 相关标签

数据 - 相关标签

MYSQL - 技术教程分类

MYSQL - 最新教程

MYSQL - 最热教程