服务器之家

服务器之家 > 正文

MySQL 去除重复数据实例详解

时间:2020-08-01 17:13     来源/作者:lqh

MySQL 去除重复数据实例详解

有两个意义上的重复记录,一是完全重复的记录,也即所有字段均都重复,二是部分字段重复的记录。对于第一种重复,比较容易解决,只需在查询语句中使用distinct关键字去重,几乎所有数据库系统都支持distinct操作。发生这种重复的原因主要是表设计不周,通过给表增加主键或唯一索引列即可避免。

?
1
select distinct * from t;

对于第二类重复问题,通常要求查询出重复记录中的任一条记录。假设表t有id,name,address三个字段,id是主键,有重复的字段为name,address,要求得到这两个字段唯一的结果集。

-- Oracle、MySQL,使用相关子查询

?
1
2
3
4
5
6
7
8
9
select * from t t1
 
 where t1.id =
 
 (select min(t2.id)
 
  from t t2
 
  where t1.name = t2.name and t1.address = t2.address);

 -- Hive只支持在FROM子句中使用子查询,子查询必须有名字,并且列必须唯一

?
1
2
3
4
5
6
7
8
9
select t1.*
 
 from t t1,
 
   (select name, address, min(id) id from t group by name, address) t2
 
 where t1.id = t2.id;

-- 还可以使用hive的row_number()分析函数

?
1
2
3
4
5
6
7
8
9
select t.id, t.name, t.address
 
 from (select id, name, address,
 
row_number() over (distribute by name, address sort by id) as rn
 
     from t) t
 
 where t.rn=1;

感谢阅读,希望能帮助到大家,谢谢大家对本站的支持!

原文链接:http://blog.csdn.net/wzy0623/article/details/53926508

相关文章

热门资讯

2020微信伤感网名听哭了 让对方看到心疼的伤感网名大全
2020微信伤感网名听哭了 让对方看到心疼的伤感网名大全 2019-12-26
歪歪漫画vip账号共享2020_yy漫画免费账号密码共享
歪歪漫画vip账号共享2020_yy漫画免费账号密码共享 2020-04-07
Intellij idea2020永久破解,亲测可用!!!
Intellij idea2020永久破解,亲测可用!!! 2020-07-29
男生常说24816是什么意思?女生说13579是什么意思?
男生常说24816是什么意思?女生说13579是什么意思? 2019-09-17
沙雕群名称大全2019精选 今年最火的微信群名沙雕有创意
沙雕群名称大全2019精选 今年最火的微信群名沙雕有创意 2019-07-07
返回顶部