深色模式
03 · 数据质量与治理:怎么知道数据可信
学完你能说出:
- 数据质量的 6 个维度,每个配一个例子。
- 制定质量规则的套路:逐字段 × 6 维度 → 阈值从哪来(含 IQR)→ 违规怎么分级处理。
- 每次 ETL 自动检查什么;数据治理的 5 个方面;拿到一份新数据怎么评估。
先看地图
上一篇讲了数据怎么流进来。这一篇回答:流进来的数据能不能信。本篇讲 6 个点:
① 6 个质量维度 → ② 定规则的套路 → ③ 违规怎么处理 → ④ 自动检查 → ⑤ 数据治理的 5 个方面 → ⑥ 拿到新数据怎么评估
一句话本质
数据质量 = 按规则检查数据,不合格的分级处理,并持续监控;数据治理是更大的框架:在质量之外,还要管标准、元数据、血缘和安全,让数据「可信、可找、可追溯、可控」。
生活类比
食品厂的质检:
- 6 个维度 = 检查表:重量够不够(完整)、标签对不对(有效)、成分准不准(准确)、批次号是否重复(唯一)、包装上和单据上写的是否一致(一致)、是不是按时出厂(及时);
- 强规则 = 发霉的直接销毁;弱规则 = 包装有点瘪的照常发货,但记一笔;
- 数据治理 = 整个食品安全体系:标准、原料溯源、批次记录、谁能进车间。
一步步看
1. 6 个质量维度
用一个「中风风险预测」课程项目的公开数据(5110 条体检记录)和一个电影数据集举例:
| 维度 | 问的是 | 例子 |
|---|---|---|
| 完整性 | 该有的有没有 | BMI 有 201 条是 N/A |
| 有效性 | 格式、取值范围对不对 | BMI 超过 60 的 13 条(医学上几乎不可能);性别出现 1 条「Other」 |
| 准确性 | 值是不是真实的 | 电影营收记为 0,其实是「没有记录」,不是真的 0 |
| 一致性 | 不同地方、不同字段之间矛盾吗 | 「上海」和「上海市」;年龄 2 岁却标着「已婚」 |
| 唯一性 | 该唯一的有没有重复 | 同一个病人 id 出现两次 |
| 及时性 | 数据是不是按时到了 | 每天 6 点前该到的数据 9 点还没来 |
2. 定规则的套路:三步
第 1 步:逐字段 × 6 维度,问一遍。 以 BMI 字段为例:
| 问题 | 维度 | BMI 的答案 |
|---|---|---|
| 能不能为空? | 完整性 | 可以,后面用中位数填 |
| 取值范围? | 有效性 | 10–60 |
| 格式? | 有效性 | 数字,「N/A」要转成空值 |
| 要唯一吗? | 唯一性 | 不用(id 才要唯一) |
| 和别的字段矛盾吗? | 一致性 | 和年龄组合检查 |
每个字段过一遍,规则清单就出来了。
第 2 步:阈值从哪来(3 个来源)
- 业务常识或行业标准:年龄 0–120,BMI 10–60,血糖 40–400。
- 从数据分布里算:没有现成标准时,常用 IQR 法则:
- 把数据从小到大排,Q1 是 25% 位置的值,Q3 是 75% 位置的值,IQR = Q3 − Q1;
- 超出 [Q1 − 1.5 × IQR,Q3 + 1.5 × IQR] 的算异常值;
- 例子:Q1 = 20,Q3 = 30,IQR = 10,正常范围是 5 到 45。
- 问业务方:营收为 0 算缺失还是真的是 0?数据本身看不出来,要问懂业务的人。
第 3 步:违规怎么处理(分级)
| 级别 | 处理 | 例子 |
|---|---|---|
| 强规则:明显错误 | 拒绝 / 阻断,不让进下游 | BMI > 60 的记录删除或拦截 |
| 弱规则:可疑但可能是真的 | 放行,但告警或标记 | BMI 在合法范围内,但超出了训练数据的分布范围:允许通过并提示 |
| 可修复 | 填充、转换、标准化 | BMI 缺失用中位数填;「上海市」→「上海」 |
| 说不清 | 标记出来,交业务方确认 | 营收为 0 |
这个项目的清洗结果:5110 行 → 删掉性别为 Other 的 1 行(只有 1 条,模型学不到规律)和 BMI > 60 的 13 行 → 5096 行;BMI 缺失的 201 行不删,用中位数填充(中位数不受极端值影响;直接删会丢掉约 4% 的数据,还可能让样本有偏差)。
3. 每次 ETL 自动检查什么
| 检查项 | 怎么做 | 例子 |
|---|---|---|
| 行数对账 | 目标表行数和源表对比 | 源表 10 万行,ODS 只有 9.5 万 → 告警 |
| 空值率 | 关键字段的空值比例 | user_id 空值率从 0.1% 涨到 20% → 告警 |
| 主键唯一 | GROUP BY 主键 HAVING COUNT(*) > 1 | 出现重复订单号 → 阻断 |
| 值域 | 是否超出规则范围 | 金额为负 → 阻断 |
| 波动 | 和昨天、上周同一天比 | 销售额日环比 -80% → 告警,人工确认 |
不通过怎么办:强规则失败就暂停下游任务(调度系统里设为「质量检查失败则不触发下游」)并告警;弱规则只告警。修好数据或规则后重跑,形成闭环:
定标准 → 写成规则 → 每次 ETL 自动检查 → 告警或阻断 → 修数据或改规则 → 回到定标准4. 数据治理的 5 个方面
| 方面 | 解决什么 | 例子 |
|---|---|---|
| 数据标准 | 统一口径和命名 | 「销售额」是否含退款、含运费,全公司一个定义;表名按「层_主题_内容」命名 |
| 元数据 | 数据的「说明书」 | 数据字典:每张表、每个字段是什么意思、谁负责、多久更新 |
| 数据血缘 | 数从哪来、到哪去 | ADS 的销售额来自 DWS 哪张表、再往上来自哪个业务库;源头改了能知道影响哪些报表 |
| 数据质量 | 数据对不对 | 上面讲的规则和检查 |
| 数据安全 | 谁能看、怎么保护 | 权限分级;手机号、身份证脱敏;访问留痕 |
质量是治理的一部分,治理范围更大。
5. 拿到一份新数据怎么评估
| 步骤 | 做什么 | 例子 |
|---|---|---|
| ① 看全貌 | 行数、列数、每列类型、来源和时间范围 | 5110 行、12 列 |
| ② 查质量 | 按 6 个维度逐字段检查 | BMI 201 个缺失、13 个异常 |
| ③ 看分布 | 每列的分布、标签的比例 | 中风的正样本只占约 4.9%:类别不平衡,后面建模不能只看准确率 |
| ④ 对照需求 | 这份数据能不能回答要解决的问题 | 缺少某个关键字段吗?时间范围够吗? |
| ⑤ 写报告 | 问题清单 + 处理建议,交需求方确认 | 哪些删、哪些填、哪些要确认 |
为什么这么设计
为什么规则要分级,而不是一律删掉?
- 问题:一刀切删除会丢掉大量信息(201 行缺失全删就少了约 4%),还可能删掉真实但罕见的数据;一刀切放行又会让脏数据污染下游。
- 方案:按严重程度分成强规则(阻断)、弱规则(告警)、可修复(填充转换)、说不清(交业务确认)。
- 好处:既保住数据量和真实性,又能拦住明显错误;告警让人知道哪里可疑。
一句话答法
定质量规则有固定套路:逐字段按完整性、有效性、准确性、一致性、唯一性、及时性确定规则;阈值来自业务标准、数据分布(比如 IQR)或业务方确认;违规分级处理:严重的阻断,可疑的告警,可修复的就填充转换,说不清的交业务方确认,并持续监控形成闭环。
为什么缺失值用中位数填,而不是平均数?
- 问题:平均数会被极端值拉偏:几条 BMI 很高的记录会把平均数往上拽。
- 方案:用中位数(排在中间的那个值)。
- 好处:不受极端值影响,更接近「典型值」。前提是缺失比例不高,且缺失和其他特征没有强相关;否则要考虑分组填充或建模填充。
一句话答法
中位数不受极端值影响,比平均数更能代表典型值,所以数值型字段的少量缺失常用中位数填充。
为什么质量检查不通过要暂停下游?
- 问题:脏数据一旦流进 DWS、ADS,会被多张报表、多个下游使用,影响面成倍扩大,事后还要一层层清理。
- 方案:在每层出口做检查,强规则失败就不触发下游。
- 好处:问题被拦在最早的地方,影响最小;修好后从这一层重跑即可。
一句话答法
脏数据越往下游影响越大、越难清理,所以每层跑完就做质量检查,强规则不通过就暂停下游并告警,修好后从这层重跑。
英文术语拆解
| 术语 | 拆开看 | 一句话意思 |
|---|---|---|
| Data Quality | Data 数据 + Quality 质量 | 数据是否完整、有效、准确、一致、唯一、及时 |
| Data Governance | Data 数据 + Governance 治理 | 管理数据的整套体系 |
| Metadata | Meta 关于……的 + data 数据 | 元数据:描述数据的数据 |
| Data Lineage | Data 数据 + Lineage 血统 | 数据血缘:来源和去向 |
| IQR | Inter 之间 + Quartile 四分位 + Range 范围 | 四分位距:Q3 − Q1 |
| Imputation | 归因、填补 | 缺失值填充 |
| DAMA | Data Management Association | 国际数据管理协会,其 DMBOK 是数据治理常用的知识框架 |
面试怎么问
Q:数据质量有哪些维度?
常说 6 个:完整性(该有的有没有,比如空值)、有效性(格式和取值范围对不对)、准确性(值是否真实,比如营收为 0 其实是没记录)、一致性(不同来源、不同字段是否矛盾)、唯一性(主键是否重复)、及时性(数据是否按时到达)。
Q:怎么制定数据质量规则?
先逐字段按 6 个维度问一遍,得到规则清单;阈值来自业务标准、数据分布(比如 IQR 法则,超出 Q1 − 1.5 倍 IQR 到 Q3 + 1.5 倍 IQR 的算异常)或业务方确认;违规分级处理:强规则阻断,弱规则告警,可修复的填充或转换,说不清的交业务方确认;最后在每次 ETL 里自动检查,持续监控。可以举自己项目里的例子。
Q:拿到一份新数据,你怎么评估?
先看全貌:行数、字段、类型、来源和时间范围;再按质量维度逐字段检查缺失、异常、重复;然后看分布,特别是标签比例,比如正样本只有约 5% 就是类别不平衡;对照需求看能不能回答业务问题;最后写一份问题清单和处理建议,交需求方确认。
Q:数据治理包括什么?和数据质量是什么关系?
包括数据标准(统一口径和命名)、元数据(数据字典)、数据血缘(数从哪来到哪去)、数据质量、数据安全(权限和脱敏)。数据质量是数据治理的一部分。
容易混的地方
- 有效性 vs 准确性:有效性是「格式和范围合不合规」(BMI = 300 不合规);准确性是「合规但不真实」(营收 = 0 格式没问题,含义不对)。
- 异常值不一定是错误:IQR 找出的是「离群」,可能是真实的极端情况,要结合业务判断,这就是为什么要有弱规则。
- 质量 ≠ 治理:治理还包括标准、元数据、血缘、安全。
- 类别不平衡不是数据错误:它是数据分布的特点,影响的是建模方法和评估指标。
和其他知识的连接
- ← 来自 ETL 与增量同步:检查发生在每次 ETL 之后。
- ← 来自 工程落地 5 个「能」:输入校验和质量规则是同一个思路。
- → 影响 示范:数据平台与数仓:「难」这一格的主角。
- → 影响 RAG 是什么:知识库的文档同样要去重、清洗、记来源、管权限,RAG 的效果很大程度取决于数据治理。
自测 3 问
Q1:一列数据 Q1 = 20、Q3 = 30,用 IQR 法则,正常范围是多少?45 和 50 哪个算异常?
点开看答案
IQR = 10,正常范围是 20 − 15 = 5 到 30 + 15 = 45。45 在边界上不算异常,50 超出上界算异常。
Q2:电影营收为 0,属于哪个质量维度的问题?直接算平均营收会怎样?怎么处理?
点开看答案
格式合法但含义不对(0 表示没记录),属于准确性问题,也可以说是隐藏的完整性问题。直接算平均会被大量 0 拉低。处理:确认含义后把 0 当缺失值,统计时排除或单独标注,并在报告里说明。
Q3:5110 条记录里 BMI 缺失 201 条、BMI > 60 有 13 条、性别 Other 有 1 条。分别怎么处理?为什么?
点开看答案
BMI > 60:违反强规则(医学上几乎不可能),删除;性别 Other:只有 1 条,模型学不到规律,删除;BMI 缺失:不删,约占 4%,删了丢信息还可能有偏,用中位数填充(不受极端值影响)。结果 5096 行。
✅ 验收清单
- 能说出 6 个质量维度,每个举一个例子
- 能说出定规则的三步,并算出一个 IQR 正常范围
- 能说出强规则、弱规则、可修复、说不清四级处理各怎么做
- 能列出 5 项 ETL 自动检查,并说出不通过时怎么办
- 能说出数据治理的 5 个方面
- 能按 5 步讲出拿到新数据怎么评估
下一步该懂什么
- 用系统设计骨架把整个数仓讲一遍 → 示范:数据平台与数仓