审核用的sql是用来检查数据质量、确保数据符合预期的语句，核心功能是数据校验而非修改。1. 查找空值或缺失值：使用is null判断真正空值，或结合like、=识别“n/a”“unknown”等占位符；2. 校验数据格式：利用like配合通配符检查日期等固定格式，或使用regexp通过正则表达式验证邮箱等复杂格式；3. 校验数据逻辑：通过where条件发现逻辑错误，如金额小于0或订单日期早于注册日期，必要时关联多表验证；4. 检查数据一致性：使用left join结合is null找出外键不匹配的记录，或对比汇总值与明细加总是否一致；5. 找出重复数据：通过group by对关键字段分组，配合having count(*) > 1识别重复记录；6. 提高执行效率：建立索引、表分区、启用并行查询、优化sql写法以避免全表扫描，提升审核效率。编写审核sql是一个持续完善的过程，需随业务理解深入不断补充校验规则，最终确保数据的完整性、准确性与一致性。
审核用的 SQL，简单来说，就是用来检查数据质量、确保数据符合预期的 SQL 语句。它不是用来修改数据，而是用来“照镜子”，看看数据有没有“生病”。
审核 SQL 核心功能在于数据校验。它能告诉你，数据有没有缺失、格式是否正确、逻辑上是否合理等等。
数据质量审核的 SQL 应该怎么写？
核心在于“查”，而不是“改”。我们希望通过 SQL 找出不符合规范的数据，而不是直接修改它。
如何用 SQL 找出空值或缺失值？
这是最基本，但也是最重要的一步。毕竟，如果数据缺失，后续的分析就无从谈起。
SELECT * FROM users WHERE name IS NULL OR email IS NULL;
这条 SQL 语句会找出
users
表中
name
或
字段为空的记录。
IS NULL
是 SQL 中用来判断字段是否为空的关键。
稍微复杂一点，如果你的空值不是真的 NULL，而是用一些特殊字符代替的，比如 “N/A”、”Unknown”，那就要用
LIKE
或
=
来判断：
SELECT * FROM products WHERE price = 'Unknown' OR description LIKE '%N/A%';
这里，我们假设
price
字段用 “Unknown” 代表未知价格，
description
字段用 “N/A” 代表没有描述。
如何用 SQL 校验数据格式？
数据格式错误也是常见问题，比如日期格式不对、电话号码格式不对等等。
SELECT * FROM orders WHERE order_date NOT LIKE '____-__-__';
这条 SQL 语句会找出
orders
表中
order_date
字段格式不符合
YYYY-MM-DD
格式的记录。
LIKE
配合通配符
_
（代表任意单个字符）可以进行简单的格式校验。
更复杂的格式校验，比如邮箱格式，可能需要用到正则表达式。不同数据库对正则表达式的支持程度不同，但基本思路都是一样的：
SELECT * FROM users WHERE email NOT REGEXP '^[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+.[A-Za-z]{2,}$';
这条 SQL 语句会找出
users
表中
字段不符合邮箱格式的记录。
REGEXP
是 SQL 中用来进行正则表达式匹配的关键字。
如何用 SQL 校验数据逻辑？
数据逻辑错误是指数据本身没有问题，但数据之间的关系不符合预期。比如，订单金额小于 0，或者订单日期早于用户注册日期。
SELECT * FROM orders WHERE amount < 0; SELECT * FROM orders o JOIN users u ON o.user_id = u.id WHERE o.order_date < u.registration_date;
第一条 SQL 语句会找出
orders
表中
amount
字段小于 0 的记录。第二条 SQL 语句会找出
orders
表中订单日期早于用户注册日期的记录。
这种逻辑校验往往需要关联多个表，才能找出潜在的问题。
如何利用 SQL 进行数据一致性校验？
数据一致性是确保不同表之间的数据相互匹配的关键。例如，在一个电商平台中，订单表中的用户 ID 必须在用户表中存在。
SELECT o.* FROM orders o LEFT JOIN users u ON o.user_id = u.id WHERE u.id IS NULL;
这条 SQL 语句会找出
orders
表中
user_id
在
users
表中不存在的记录。
LEFT JOIN
配合
WHERE u.id IS NULL
可以找出左表中存在，但右表中不存在的记录。
另一种常见的一致性校验是检查总数是否匹配。比如，一个月的销售额汇总数据是否等于每天销售额的加总。
如何用 SQL 找出重复数据？
重复数据会影响统计分析的准确性，需要及时清理。
SELECT column1, column2, COUNT(*) FROM table_name GROUP BY column1, column2 HAVING COUNT(*) > 1;
这条 SQL 语句会找出
table_name
表中
column1
和
column2
组合重复出现的记录。
GROUP BY
和
HAVING
是 SQL 中用来进行分组统计的关键。
需要注意的是，重复数据的判断标准可能不同。有时候，只需要判断某个字段是否重复，有时候需要判断多个字段的组合是否重复。
如何高效地执行审核 SQL？
审核 SQL 的效率非常重要，尤其是当数据量很大的时候。
- 索引： 确保相关的字段都建有索引。索引可以大大加快查询速度。
- 分区： 如果表很大，可以考虑进行分区。分区可以将数据分成多个小块，从而提高查询效率。
- 并行： 某些数据库支持并行查询。可以尝试开启并行查询，以加快查询速度。
- 优化器： 了解数据库的查询优化器是如何工作的。有时候，可以通过修改 SQL 语句来引导优化器选择更优的执行计划。
- 避免全表扫描： 尽量避免使用全表扫描。全表扫描的效率非常低。
其实，审核 SQL 的编写是一个不断迭代的过程。一开始，你可能只能想到一些简单的校验规则。但随着对业务的理解加深，你会发现更多潜在的数据问题，并不断完善你的审核 SQL。
评论（已关闭）
评论已关闭