Skip to content

03 · 数据质量与治理:怎么知道数据可信 ​

学完你能说出:

  • 数据质量的 6 个维度,每个配一个例子。
  • 制定质量规则的套路:逐字段 × 6 维度 → 阈值从哪来(含 IQR)→ 违规怎么分级处理。
  • 每次 ETL 自动检查什么;数据治理的 5 个方面;拿到一份新数据怎么评估。

先看地图 ​

上一篇讲了数据怎么流进来。这一篇回答:流进来的数据能不能信。本篇讲 6 个点:

① 6 个质量维度 → ② 定规则的套路 → ③ 违规怎么处理 → ④ 自动检查 → ⑤ 数据治理的 5 个方面 → ⑥ 拿到新数据怎么评估

一句话本质 ​

数据质量 = 按规则检查数据,不合格的分级处理,并持续监控;数据治理是更大的框架:在质量之外,还要管标准、元数据、血缘和安全,让数据「可信、可找、可追溯、可控」。

生活类比 ​

食品厂的质检:

  • 6 个维度 = 检查表:重量够不够(完整)、标签对不对(有效)、成分准不准(准确)、批次号是否重复(唯一)、包装上和单据上写的是否一致(一致)、是不是按时出厂(及时);
  • 强规则 = 发霉的直接销毁;弱规则 = 包装有点瘪的照常发货,但记一笔;
  • 数据治理 = 整个食品安全体系:标准、原料溯源、批次记录、谁能进车间。

一步步看 ​

1. 6 个质量维度 ​

用一个「中风风险预测」课程项目的公开数据(5110 条体检记录)和一个电影数据集举例:

维度问的是例子
完整性该有的有没有BMI 有 201 条是 N/A
有效性格式、取值范围对不对BMI 超过 60 的 13 条(医学上几乎不可能);性别出现 1 条「Other」
准确性值是不是真实的电影营收记为 0,其实是「没有记录」,不是真的 0
一致性不同地方、不同字段之间矛盾吗「上海」和「上海市」;年龄 2 岁却标着「已婚」
唯一性该唯一的有没有重复同一个病人 id 出现两次
及时性数据是不是按时到了每天 6 点前该到的数据 9 点还没来

2. 定规则的套路:三步 ​

第 1 步:逐字段 × 6 维度,问一遍。 以 BMI 字段为例:

问题维度BMI 的答案
能不能为空?完整性可以,后面用中位数填
取值范围?有效性10–60
格式?有效性数字,「N/A」要转成空值
要唯一吗?唯一性不用(id 才要唯一)
和别的字段矛盾吗?一致性和年龄组合检查

每个字段过一遍,规则清单就出来了。

第 2 步:阈值从哪来(3 个来源)

  1. 业务常识或行业标准:年龄 0–120,BMI 10–60,血糖 40–400。
  2. 从数据分布里算:没有现成标准时,常用 IQR 法则:
    • 把数据从小到大排,Q1 是 25% 位置的值,Q3 是 75% 位置的值,IQR = Q3 − Q1;
    • 超出 [Q1 − 1.5 × IQR,Q3 + 1.5 × IQR] 的算异常值;
    • 例子:Q1 = 20,Q3 = 30,IQR = 10,正常范围是 5 到 45。
  3. 问业务方:营收为 0 算缺失还是真的是 0?数据本身看不出来,要问懂业务的人。

第 3 步:违规怎么处理(分级)

级别处理例子
强规则:明显错误拒绝 / 阻断,不让进下游BMI > 60 的记录删除或拦截
弱规则:可疑但可能是真的放行,但告警或标记BMI 在合法范围内,但超出了训练数据的分布范围:允许通过并提示
可修复填充、转换、标准化BMI 缺失用中位数填;「上海市」→「上海」
说不清标记出来,交业务方确认营收为 0

这个项目的清洗结果:5110 行 → 删掉性别为 Other 的 1 行(只有 1 条,模型学不到规律)和 BMI > 60 的 13 行 → 5096 行;BMI 缺失的 201 行不删,用中位数填充(中位数不受极端值影响;直接删会丢掉约 4% 的数据,还可能让样本有偏差)。

3. 每次 ETL 自动检查什么 ​

检查项怎么做例子
行数对账目标表行数和源表对比源表 10 万行,ODS 只有 9.5 万 → 告警
空值率关键字段的空值比例user_id 空值率从 0.1% 涨到 20% → 告警
主键唯一GROUP BY 主键 HAVING COUNT(*) > 1出现重复订单号 → 阻断
值域是否超出规则范围金额为负 → 阻断
波动和昨天、上周同一天比销售额日环比 -80% → 告警,人工确认

不通过怎么办:强规则失败就暂停下游任务(调度系统里设为「质量检查失败则不触发下游」)并告警;弱规则只告警。修好数据或规则后重跑,形成闭环:

定标准 → 写成规则 → 每次 ETL 自动检查 → 告警或阻断 → 修数据或改规则 → 回到定标准

4. 数据治理的 5 个方面 ​

方面解决什么例子
数据标准统一口径和命名「销售额」是否含退款、含运费,全公司一个定义;表名按「层_主题_内容」命名
元数据数据的「说明书」数据字典:每张表、每个字段是什么意思、谁负责、多久更新
数据血缘数从哪来、到哪去ADS 的销售额来自 DWS 哪张表、再往上来自哪个业务库;源头改了能知道影响哪些报表
数据质量数据对不对上面讲的规则和检查
数据安全谁能看、怎么保护权限分级;手机号、身份证脱敏;访问留痕

质量是治理的一部分,治理范围更大。

5. 拿到一份新数据怎么评估 ​

步骤做什么例子
① 看全貌行数、列数、每列类型、来源和时间范围5110 行、12 列
② 查质量按 6 个维度逐字段检查BMI 201 个缺失、13 个异常
③ 看分布每列的分布、标签的比例中风的正样本只占约 4.9%:类别不平衡,后面建模不能只看准确率
④ 对照需求这份数据能不能回答要解决的问题缺少某个关键字段吗?时间范围够吗?
⑤ 写报告问题清单 + 处理建议,交需求方确认哪些删、哪些填、哪些要确认

为什么这么设计 ​

为什么规则要分级,而不是一律删掉? ​

  • 问题:一刀切删除会丢掉大量信息(201 行缺失全删就少了约 4%),还可能删掉真实但罕见的数据;一刀切放行又会让脏数据污染下游。
  • 方案:按严重程度分成强规则(阻断)、弱规则(告警)、可修复(填充转换)、说不清(交业务确认)。
  • 好处:既保住数据量和真实性,又能拦住明显错误;告警让人知道哪里可疑。

一句话答法

定质量规则有固定套路:逐字段按完整性、有效性、准确性、一致性、唯一性、及时性确定规则;阈值来自业务标准、数据分布(比如 IQR)或业务方确认;违规分级处理:严重的阻断,可疑的告警,可修复的就填充转换,说不清的交业务方确认,并持续监控形成闭环。

为什么缺失值用中位数填,而不是平均数? ​

  • 问题:平均数会被极端值拉偏:几条 BMI 很高的记录会把平均数往上拽。
  • 方案:用中位数(排在中间的那个值)。
  • 好处:不受极端值影响,更接近「典型值」。前提是缺失比例不高,且缺失和其他特征没有强相关;否则要考虑分组填充或建模填充。

一句话答法

中位数不受极端值影响,比平均数更能代表典型值,所以数值型字段的少量缺失常用中位数填充。

为什么质量检查不通过要暂停下游? ​

  • 问题:脏数据一旦流进 DWS、ADS,会被多张报表、多个下游使用,影响面成倍扩大,事后还要一层层清理。
  • 方案:在每层出口做检查,强规则失败就不触发下游。
  • 好处:问题被拦在最早的地方,影响最小;修好后从这一层重跑即可。

一句话答法

脏数据越往下游影响越大、越难清理,所以每层跑完就做质量检查,强规则不通过就暂停下游并告警,修好后从这层重跑。

英文术语拆解 ​

术语拆开看一句话意思
Data QualityData 数据 + Quality 质量数据是否完整、有效、准确、一致、唯一、及时
Data GovernanceData 数据 + Governance 治理管理数据的整套体系
MetadataMeta 关于……的 + data 数据元数据:描述数据的数据
Data LineageData 数据 + Lineage 血统数据血缘:来源和去向
IQRInter 之间 + Quartile 四分位 + Range 范围四分位距:Q3 − Q1
Imputation归因、填补缺失值填充
DAMAData Management Association国际数据管理协会,其 DMBOK 是数据治理常用的知识框架

面试怎么问 ​

Q:数据质量有哪些维度?

常说 6 个:完整性(该有的有没有,比如空值)、有效性(格式和取值范围对不对)、准确性(值是否真实,比如营收为 0 其实是没记录)、一致性(不同来源、不同字段是否矛盾)、唯一性(主键是否重复)、及时性(数据是否按时到达)。

Q:怎么制定数据质量规则?

先逐字段按 6 个维度问一遍,得到规则清单;阈值来自业务标准、数据分布(比如 IQR 法则,超出 Q1 − 1.5 倍 IQR 到 Q3 + 1.5 倍 IQR 的算异常)或业务方确认;违规分级处理:强规则阻断,弱规则告警,可修复的填充或转换,说不清的交业务方确认;最后在每次 ETL 里自动检查,持续监控。可以举自己项目里的例子。

Q:拿到一份新数据,你怎么评估?

先看全貌:行数、字段、类型、来源和时间范围;再按质量维度逐字段检查缺失、异常、重复;然后看分布,特别是标签比例,比如正样本只有约 5% 就是类别不平衡;对照需求看能不能回答业务问题;最后写一份问题清单和处理建议,交需求方确认。

Q:数据治理包括什么?和数据质量是什么关系?

包括数据标准(统一口径和命名)、元数据(数据字典)、数据血缘(数从哪来到哪去)、数据质量、数据安全(权限和脱敏)。数据质量是数据治理的一部分。

容易混的地方 ​

  • 有效性 vs 准确性:有效性是「格式和范围合不合规」(BMI = 300 不合规);准确性是「合规但不真实」(营收 = 0 格式没问题,含义不对)。
  • 异常值不一定是错误:IQR 找出的是「离群」,可能是真实的极端情况,要结合业务判断,这就是为什么要有弱规则。
  • 质量 ≠ 治理:治理还包括标准、元数据、血缘、安全。
  • 类别不平衡不是数据错误:它是数据分布的特点,影响的是建模方法和评估指标。

和其他知识的连接 ​

自测 3 问 ​

Q1:一列数据 Q1 = 20、Q3 = 30,用 IQR 法则,正常范围是多少?45 和 50 哪个算异常?

点开看答案

IQR = 10,正常范围是 20 − 15 = 5 到 30 + 15 = 45。45 在边界上不算异常,50 超出上界算异常。

Q2:电影营收为 0,属于哪个质量维度的问题?直接算平均营收会怎样?怎么处理?

点开看答案

格式合法但含义不对(0 表示没记录),属于准确性问题,也可以说是隐藏的完整性问题。直接算平均会被大量 0 拉低。处理:确认含义后把 0 当缺失值,统计时排除或单独标注,并在报告里说明。

Q3:5110 条记录里 BMI 缺失 201 条、BMI > 60 有 13 条、性别 Other 有 1 条。分别怎么处理?为什么?

点开看答案

BMI > 60:违反强规则(医学上几乎不可能),删除;性别 Other:只有 1 条,模型学不到规律,删除;BMI 缺失:不删,约占 4%,删了丢信息还可能有偏,用中位数填充(不受极端值影响)。结果 5096 行。

✅ 验收清单 ​

  • 能说出 6 个质量维度,每个举一个例子
  • 能说出定规则的三步,并算出一个 IQR 正常范围
  • 能说出强规则、弱规则、可修复、说不清四级处理各怎么做
  • 能列出 5 项 ETL 自动检查,并说出不通过时怎么办
  • 能说出数据治理的 5 个方面
  • 能按 5 步讲出拿到新数据怎么评估

下一步该懂什么 ​