Hello,MySQL-odbc exec删除重复值

在往期推文中——Hello，MySQL——odbc insert导入stata数据，我们介绍了如何把stata中的数据导入到mysql。由于小编的“粗心”，运行了两次sample文件，导致部分观测值出现了重复现象，今天，小编就给大家带来如何删除重复值。

首先先让观众老爷们看一下小编的sample表，键入以下命令：

odbc load,table("sample") dsn("Stata_MySQL") noq clear

list

运行结果如下：

可以看出，我们的sample表中， id为1到6的观测值出现了两次，id为8的也出现了两次。那么问题来了，如何删除这些重复值呢？观众老爷们不用急，小编这就给大家慢慢道来。

我们键入以下命令：

local cols `"SELECT id,COUNT(*) FROM sample GROUP BY id"'

odbc exec("`cols'"), dsn("Stata_MySQL")

运行结果如下：

这里我们用了COUNT()函数，在mysql中，COUNT（）表示确定表中行的数目或符合特定条件的行的个数，GROUP BY语句在mysql中表示分组，相当于stata中bysort。可以看到只有id 等于7出现一次，其他都出现两次，那么我们怎么删除重复值呢？在stata中，其实我们duplicates drop id，就可以实现这个操作，那么我们怎么用stata连接mysql对数据库进行操作？

也许会有小伙伴会说，直接判断COUNT（*）大于1，然后把大于一的删除就可以了，真是太聪明了，不过这里有一个问题，这里判断COUNT（*）是否大于一，不用mysql中WHERE语句，因为WHERE过滤过滤指定的是行，而不是分组，所以我们得另谋出路——HAVING，键入以下命令：

local cols `"SELECT id,COUNT(*) FROM sample GROUP BY id HAVING COUNT(*) > 1;"'

odbc exec("`cols'"), dsn("Stata_MySQL")

我们可以看到，原来八条数据变成了七条，id为7的因为只出现一次，就没有出现在查询结果里。因为我们的数据集中两条数据是一模一样，所以电脑不知道该删哪个不该删哪个，可喜的是我们可以再生成一个主键（1,2,…,n），然后我们就可以根据主键不同把重复值删了。键入以下命令：

local cols `"alter table sample add number int(1) not null primary key auto_increment;"'

odbc exec("`cols'"), dsn("Stata_MySQL")

odbc load,table("sample") dsn("Stata_MySQL") noq clear

运行结果如下：

我们查看一下表sample，结果如下：

可以看出，我们生成了一个1到15的主键列，接下来我们就可以按照这个主键去除重复值，我们的思路是删除重复值保留number比较大的那行。

键入以下命令：

local cols `"delete from sample where number in (select number from  (select number from sample group by id having count(id) > 1) as t);"'

odbc exec("`cols'"), dsn("Stata_MySQL")

odbc load,table("sample") dsn("Stata_MySQL") noq clear

运行结果如下：

我们再次查看一下表sample，结果如下：

这样，我们就把重复值删除了，保留number比较大的那行。Mysql中删除用的是delect语句，这里需要注意的是MySQL中delete 语句子查询有限制，使用mysql进行delete from操作时，若子查询的 FROM 字句和更新/删除对象使用同一张表，会出现错误，我们可以通过多加一层select 别名表来变通解决。