有 tb 表，表数据如下：idnameagetime1张三202012-12-122李四222013-01-123王五222014-04-234张三202014-04-225张三202011-12-126李四222015-01-12 问题1：获取数据 name ,age 并把 name字段去除重复答：select distinct name,age from tb;查询出的结果为name age张三 20李四 22王五 22问题2：想把 id,name,age,time 字段查出，并用 name 字段去除重复答：这时用 distinct 就不行了，用如下语句select * from tb as a where i...
mysql的sql语句中，count这个关键词能统计表中的数量,如 有一个tableA表，表中数据如下：idnameage1tony182jacky193jojo18SELECT COUNT(age) FROM tableA 以上这条语句能查出table表中有多少条数据。查询结果是3 而COUNT这个关键词与 DISTINCT一同使用时，可以将统计的数据中某字段不重复的数量。 如：SELECT COUNT(DISTINCT age) from tableA 以上语句的查询结果是对age这字段的去重。结果是2原文：http:/...
hadoop mapreduce数据去重 假设我们有下面两个文件，需要把重复的数据去除。 file0 [plain] 2012-3-1 a 2012-3-2 b 2012-3-3 c 2012-3-4 d 2012-3-5 a 2012-3-6 b 2012-3-7 c 2012-3-3 c file1 [plain] 2012-3-1 b 2012-3-2 a 2012-3-3 b 2012-3-4 d 2012-3-hadoop mapreduce数据去重假设我们有下面两个文件，需要把重复的数据去除。
file0[plain]
2012-3-1 a
2012-3-2 b
2012-3-3 c
2012-3-4 d
2012-3-5 a
2012-3-6 b ...
INTO A表(id,n1,n2,n3)
select @row :=@row+1 AS id,t1.* from
(
SELECT DISTINCT n1,n2,n3 FROM B表
) t1,(select @row :=0) as t2mysql旧表去重数据导入新表且赋予主键id新值标签：mysql数据导入 mysql旧表导入新 mysql导入主键值 本文系统来源：http://blog.csdn.net/jo_andy/article/details/46392123
有一个tableA表，表中数据如下： id name age 1 tony 18 2 jacky 19 3 jojo 18 SELECT COUNT(age) FROM tableA
以上这条语句能查出table表中有多少条数据。查询结果是3
而COUNT这个关键词与 DISTINCT一同使用时，可以将统计的数据中某字段不重复的数量。 如：
SELECT COUNT(DISTINCT age) from tableA
以上语句的查询结果是对age这字段的去重。结果是2mysql count distinct 统计结果去重标签：本文...
在使用mysql时，有时需要查询出某个字段不重复的记录，虽然mysql提供 有distinct这个关键字来过滤掉多余的重复记录只保留一条，但往往只用它来返回不重复记录的条数，而不是用它来返回不重记录的所有值。其原因是 distinct只能返回它的目标字段，而无法返回其它字段
下面先来看看例子： table
id name
1 a
2 b
3 c
4 c
5 b库结构大概这样，这只是一个简单的例子，实际情况会复杂得多。比如我想用一条语句查询...
create table t_source
(
item_id int,
created_time datetime,
modified_time datetime,
item_name varchar(20),
other varchar(20)
); 2. 建立目标表create table t_target like t_source; 3. 生成100万测试数据，其中有50万created_time和item_name重复delimiter //
create procedure sp_generate_data()
begin set @i := 1; while @i<=500000 do set @created_time := date_add(‘2017-01-01‘...
1. 查询出4份数据的created_time边界值select date_add(‘2017-01-01‘,interval 125000 second) dt1,date_add(‘2017-01-01‘,interval 2*125000 second) dt2,date_add(‘2017-01-01‘,interval 3*125000 second) dt3,max(created_time) dt4from t_source; 查询结果如图一所示。图一2. 查看每份数据的记录数，确认数据平均分布select case when created_time >= ‘2017-01-01‘ and created_time < ‘2017-01-02 10:43:20‘...
在使用MySQL时，有时需要查询出某个字段不重复的记录，这时可以使用mysql提供的distinct这个关键字来过滤重复的记录，但是实际中我们往往用distinct来返回不重复字段的条数（count(distinct id)）,其原因是distinct只能返回他的目标字段，而无法返回其他字段，例如有如下表user:用distinct来返回不重复的用户名：select distinct name from user;，结果为：这样只把不重复的用户名查询出来了，但是用户的id，并没有被查询出来：sel...
引用：
http://blog.sina.com.cn/s/blog_6c9d65a10101bkgk.htmlhttp://www.jb51.net/article/39302.htm
1、使用distinct去重(适合查询整张表的总数)有多个学校＋教师投稿，需要统计出作者的总数
select count(author) as total from files
每个作者都投稿很多，这里有重复的记录。
select distinct author from files;
有可能两个学校的教师姓名相同，结果只统计一个，出错。
select distinct author,sid from files
统计(作者＋...
--1）查询时忽略重复值
SELECT DISTINCT City FROM Student--2）查询成绩分布分布情况
SELECT DISTINCT(Score), Count(ID) FROM Student GROUP BY Score
--学生成绩可能重复，以此得到分数、得到这一成绩的学生数。--DISTINCT是关键词
select count(DISTINCT send_uid) from gift_recordmysql去重标签：uid mysql 去重 分数 这一 忽略 send 情况 tin 本文系统来源：http://www.cnblogs.com/dengyg200891/...
FROM xxx WHERE id NOT in(
SELECT tmp.id FROM(SELECT id,COUNT(id) AS cnt FROM xxx GROUP BY ticket_id,ota_id HAVING cnt>1)tmp
UNION ALL
SELECT tmp2.id FROM (SELECT id,COUNT(id) AS cnt FROM xxx GROUP BY ticket_id,ota_id HAVING cnt=1)tmp2) 【MySQL】去重标签：去重 sel blog xxx from union style logs _id 本文系统来源：http://www.cnblogs.com/flydkPocketMagic/p/7447119.html
name, COUNT(*) FROM product GROUP BY name HAVING COUNT(*) > 1;删除重复数据：DELETE FROM products AS A JOIN(SELECT name, COUNT(*), MAX(id) AS id FROM products GROUP BY name HAVING COUNT(*) > 1) AS B ON A.name = B.name WHERE A.id < B.id; MySQL数据去重标签：delete nbsp where sel having weight post 数据 from 本文系统来源：https://www.cnblogs.com/00986014w/p/8467731.html
年初时，写过一篇去重的，在小表中还能用用，在大表中真的是效率低下，现在给了一次优化
https://www.cnblogs.com/jarjune/p/8328013.html继上一篇文章
方法三：
DELIMITER //DROP PROCEDURE IF EXISTS delete_rows_2;CREATE PROCEDURE delete_rows_2(IN TABLENAME VARCHAR(50), IN FIELDNAMES VARCHAR(100), IN AUTOFIELD VARCHAR(50))
BEGINDECLARE DELETE_TABLE_ROWS_SQL VARCHAR(1000);SET DELETE_TABLE_ROWS_SQL = CONCAT(DEL...
count(1) from 表 where 条件 group by 字段;但是有时往往需要添加不同的条件已经去重的统计以上语句就不能满足需求。
解决方案为：
1.添加条件的统计方案：COUNT(CASE WHEN 条件 THEN 1 ELSE NULL END) xxx GROUP BY 分组字段
2.添加条件并去重的统计方案：COUNT(DISTINCT CASE WHEN 条件 THEN 去重字段 END) xxx GROUP BY 分组字段
综合示例：SELECT dc.user_sources AS sources,
COUNT(CASE WHEN dc.`count_type` IN (1,4) TH...
FROM xxx WHERE id NOT in(
SELECT tmp.id FROM(SELECT id,COUNT(id) AS cnt FROM xxx GROUP BY ticket_id,ota_id HAVING cnt>1)tmp
UNION ALL
SELECT tmp2.id FROM (SELECT id,COUNT(id) AS cnt FROM xxx GROUP BY ticket_id,ota_id HAVING cnt=1)tmp2)