在实际开发中，数据重复是常见问题，例如用户多次登录记录、订单状态重复更新等。如何高效提取符合业务需求的唯一值或最新记录，对系统性能和数据准确性至关重要。
本文将探讨如何使用 SQL 的 窗口函数、分组查询 以及 DISTINCT 实现复杂场景下的数据去重与唯一值提取，避免重复数据干扰业务分析。
一、核心 SQL 函数与技术
| 函数/技术 | 说明 | 示例 |
|---|---|---|
| DISTINCT | 去除重复行，返回唯一记录 | SELECT DISTINCT(user_id) FROM logins |
| GROUP BY | 按指定列分组，返回每组的聚合结果 | SELECT user_id, MAX(login_time) FROM logins GROUP BY user_id |
| ROW_NUMBER() | 窗口函数，为每组记录编号，通常用于去重或排名 | ROW_NUMBER() OVER (PARTITION BY user_id ORDER BY login_time DESC) |
| RANK() | 类似 ROW_NUMBER()，但排名相同记录具有相同序号 | RANK() OVER (PARTITION BY user_id ORDER BY score DESC) |
| DENSE_RANK() | 连续排名，不跳跃 | DENSE_RANK() OVER (PARTITION BY user_id ORDER BY amount DESC) |
二、实战案例
案例 1：查询每个用户的最新登录记录
需求描述：
系统中存储了用户的多次登录记录，我们需要提取每个用户最近的一次登录记录，去除重复数据。
表结构 logins
| login_id | user_id | login_time |
|---|---|---|
| 101 | 1 | 2024-01-01 08:30:00 |
| 102 | 1 | 2024-01-02 10:00:00 |
| 103 | 2 | 2024-01-01 09:15:00 |
| 104 | 2 | 2024-01-03 14:45:00 |
| 105 | 3 | 2024-01-02 11:00:00 |
方法 1：使用 GROUP BY 结合 MAX()
SELECT user_id, MAX(login_time) AS latest_login
FROM logins
GROUP BY user_id;
查询结果
| user_id | latest_login |
|---|---|
| 1 | 2024-01-02 10:00:00 |
| 2 | 2024-01-03 14:45:00 |
| 3 | 2024-01-02 11:00:00 |
解释：
- 通过
GROUP BY user_id对每个用户分组，MAX(login_time)提取每组中最新的登录时间。 - 该方法高效，适用于简单去重场景，但无法返回完整的记录（如
login_id）。
方法 2：使用窗口函数 ROW_NUMBER()
SELECT login_id, user_id, login_time
FROM ( SELECT login_id, user_id, login_time, ROW_NUMBER() OVER (PARTITION BY user_id ORDER BY login_time DESC) AS rn FROM logins
) t
WHERE rn = 1;
查询结果
| login_id | user_id | login_time |
|---|---|---|
| 102 | 1 | 2024-01-02 10:00:00 |
| 104 | 2 | 2024-01-03 14:45:00 |
| 105 | 3 | 2024-01-02 11:00:00 |
解释：
ROW_NUMBER()为每个用户的登录记录按时间降序排序，并按用户分区。- 只保留排名为
1的记录，即最新的登录记录。 - 优势：保留了原始记录的完整性（包括
login_id）。
案例 2：提取每个用户的最高订单金额记录
需求描述：
在电商系统中，每个用户可能有多笔订单，我们需要提取每个用户最高的订单记录。
表结构 orders
| order_id | user_id | amount | order_time |
|---|---|---|---|
| 1001 | 1 | 500 | 2024-01-05 09:00:00 |
| 1002 | 1 | 800 | 2024-01-06 14:00:00 |
| 1003 | 2 | 1200 | 2024-01-04 16:30:00 |
| 1004 | 2 | 900 | 2024-01-05 11:00:00 |
| 1005 | 3 | 700 | 2024-01-06 10:00:00 |
方法 1：使用 RANK() 保留最高金额记录
SELECT order_id, user_id, amount, order_time
FROM ( SELECT order_id, user_id, amount, order_time, RANK() OVER (PARTITION BY user_id ORDER BY amount DESC) AS rnk FROM orders
) t
WHERE rnk = 1;
查询结果
| order_id | user_id | amount | order_time |
|---|---|---|---|
| 1002 | 1 | 800 | 2024-01-06 14:00:00 |
| 1003 | 2 | 1200 | 2024-01-04 16:30:00 |
| 1005 | 3 | 700 | 2024-01-06 10:00:00 |
解释：
RANK()允许处理最高金额相同的情况，例如如果两个订单金额相同，则两条记录都将保留。- 区别：
RANK()和DENSE_RANK()不会跳跃记录，而ROW_NUMBER()只保留一条记录。
案例 3：去除重复订单记录，保留最新一笔
需求描述：
订单系统中可能存在重复提交的订单记录，如何保留每个用户最新的一笔订单。
SQL 实现
DELETE t1
FROM orders t1
JOIN orders t2
ON t1.user_id = t2.user_id
AND t1.order_time < t2.order_time;
解释：
- 通过自联结（
JOIN）比较同一用户的订单时间，保留最新的订单记录，删除早期的重复记录。
三、去重与唯一值提取的优化建议
-
使用窗口函数提升性能：
窗口函数如ROW_NUMBER()和RANK()能够在一次查询中完成分组与排序，减少多次查询操作，提高去重效率。 -
索引优化：
在频繁去重或分组查询的场景下，为分组字段（如user_id）和时间字段（如login_time）创建索引，可以显著提升查询性能。
CREATE INDEX idx_user_login ON logins(user_id, login_time DESC);
- 聚合函数慎用：
在只需要统计数据时，可以使用GROUP BY和MAX()，但在保留完整记录时，应选择窗口函数进行精细控制。
四、总结
- 去重策略多样化：根据业务需求选择合适的去重方法，
GROUP BY适用于简单去重，ROW_NUMBER()和RANK()适用于复杂场景。 - 窗口函数灵活高效：
ROW_NUMBER()等函数可以在保留完整记录的同时，精确筛选唯一值，解决复杂去重需求。 - 索引优化：在大数据量环境下，合理使用索引能有效提升去重查询的性能。
)
